Chapitre 5 • Pro ces sus sto chas tiques et pro gram ma tion…
200
Mr() 5 M() # A. On obtient ainsi des sys tèmes d’équa tions dif fé ren tielles linéaires
pour les pro ba bi li tés de tran si tion sur un inter valle de temps quel conque (que l’on ne
peut résoudre analytiquement que dans des cas simples, comme ci dessous).
Don nons un exemple simple de pro ces sus de Markov : dans un bureau tra vaille
un ingé nieur. Des col lègues se pré sentent aléa toi re ment à la porte de ce bureau (sans
rendez vous !) : si l’ingé nieur est déjà occupé, ces col lègues renoncent à attendre et
revien dront une autre fois. Si notre ingé nieur n’est pas déjà occupé avec un autre
col lègue, le visi teur entre et une dis cus sion, de durée aléa toire..., s’engage. La
pro ba bi lité pour qu’un visi teur se pré sente pen dant un inter valle de temps Dt est :
lDt 1 o(Dt) ; celle que plu sieurs visi teurs se pré sentent est négli geable (en o(Dt).
Une conver sa tion en cours à t se ter mi nera entre t et t 1 Dt avec la pro ba bi lité
m Dt 1 ο(Dt). On peut alors asso cier un pro ces sus de Markov au « fonc tion ne ment »
de ce bureau ; l’ensemble des états est e 5 5E 0 , E 1 6 où E 0 (resp. E 1 ) désigne l’état
pour lequel il n’y a pas de visite en cours dans le bureau de l’ingé nieur (resp. une
visite est en cours). Voici les pro ba bi li tés de tran si tion entre t et t 1 Dt :
p 01 1 Dt 2 5 lDt 1 o1 Dt 2 ; p 00 1 Dt 2 5 1 2 lDt 1 o 1 Dt 2
p 10 (Dt) 5 mDt 1 o(Dt) ; p 11 (Dt) 5 1 2 mDt 1 o(Dt)
Le géné ra teur infi ni té si mal est alors : A 5 c
2l l
m 2m
d ; on véri fie que la somme
des élé ments de toute ligne est nulle.
On peut asso cier à un pro ces sus de Markov homogène un graphe G 5 1 e, U2 où
à chaque état du pro ces sus est asso cié un som met du graphe et où, à chaque tran si
tion de pro ba bi lité non nulle (ou non négli geable), est asso cié un arc qui sera valué
par la pro ba bi lité de la tran si tion entre t et t 1 Dt. Ainsi pour notre exemple :
Du graphe des tran si tions entre t et t 1 Dt, on déduit le « graphe sim pli fié »
G 5 1 e, Ur 2 déduit du pré cé dent en sup pri mant les boucles et en valuant tout arc
(E i , E j ) par le taux l ij (rappel : l ij > 0, i 2 j).
5.6 Pro ba bi li tés des états
Dans les appli ca tions (modé li sa tions par pro ces sus de Markov), les para mètres
signi fi ca tifs du fonc tion ne ment des sys tèmes ainsi modé li sés s’éva luent à par tir des
valeurs des pro ba bi li tés des états : d’où l’inté rêt pra tique de cette notion.
200
Mr() 5 M() # A. On obtient ainsi des sys tèmes d’équa tions dif fé ren tielles linéaires
pour les pro ba bi li tés de tran si tion sur un inter valle de temps quel conque (que l’on ne
peut résoudre analytiquement que dans des cas simples, comme ci dessous).
Don nons un exemple simple de pro ces sus de Markov : dans un bureau tra vaille
un ingé nieur. Des col lègues se pré sentent aléa toi re ment à la porte de ce bureau (sans
rendez vous !) : si l’ingé nieur est déjà occupé, ces col lègues renoncent à attendre et
revien dront une autre fois. Si notre ingé nieur n’est pas déjà occupé avec un autre
col lègue, le visi teur entre et une dis cus sion, de durée aléa toire..., s’engage. La
pro ba bi lité pour qu’un visi teur se pré sente pen dant un inter valle de temps Dt est :
lDt 1 o(Dt) ; celle que plu sieurs visi teurs se pré sentent est négli geable (en o(Dt).
Une conver sa tion en cours à t se ter mi nera entre t et t 1 Dt avec la pro ba bi lité
m Dt 1 ο(Dt). On peut alors asso cier un pro ces sus de Markov au « fonc tion ne ment »
de ce bureau ; l’ensemble des états est e 5 5E 0 , E 1 6 où E 0 (resp. E 1 ) désigne l’état
pour lequel il n’y a pas de visite en cours dans le bureau de l’ingé nieur (resp. une
visite est en cours). Voici les pro ba bi li tés de tran si tion entre t et t 1 Dt :
p 01 1 Dt 2 5 lDt 1 o1 Dt 2 ; p 00 1 Dt 2 5 1 2 lDt 1 o 1 Dt 2
p 10 (Dt) 5 mDt 1 o(Dt) ; p 11 (Dt) 5 1 2 mDt 1 o(Dt)
Le géné ra teur infi ni té si mal est alors : A 5 c
2l l
m 2m
d ; on véri fie que la somme
des élé ments de toute ligne est nulle.
On peut asso cier à un pro ces sus de Markov homogène un graphe G 5 1 e, U2 où
à chaque état du pro ces sus est asso cié un som met du graphe et où, à chaque tran si
tion de pro ba bi lité non nulle (ou non négli geable), est asso cié un arc qui sera valué
par la pro ba bi lité de la tran si tion entre t et t 1 Dt. Ainsi pour notre exemple :
Du graphe des tran si tions entre t et t 1 Dt, on déduit le « graphe sim pli fié »
G 5 1 e, Ur 2 déduit du pré cé dent en sup pri mant les boucles et en valuant tout arc
(E i , E j ) par le taux l ij (rappel : l ij > 0, i 2 j).
5.6 Pro ba bi li tés des états
Dans les appli ca tions (modé li sa tions par pro ces sus de Markov), les para mètres
signi fi ca tifs du fonc tion ne ment des sys tèmes ainsi modé li sés s’éva luent à par tir des
valeurs des pro ba bi li tés des états : d’où l’inté rêt pra tique de cette notion.