Chapitre 5 • Pro ces sus sto chas tiques et pro gram ma tion…
198
main te nant les pro ces sus de Markov, qui sont des pro ces sus sto chas tiques à temps
continu et à espace d’états dis cret : ils consti tuent un outil pri vi lé gié pour modé li ser
en recherche opé ra tion nelle bien des pro blèmes : dans le domaine des phé no mènes
d’attente ou de la fia bi lité et de la sûreté de fonc tion ne ment, notam ment.
Un pro ces sus sto chas tique X t carac té rise l’état d’un sys tème à l’ins tant t. C’est un
pro ces sus de Markov à temps continu et à espace d’états dis cret s’il véri fie les trois
prop rié tés sui vantes :
1) le temps t est continu.
Le plus sou vent le temps varie de 0 à l’infini ; alors : tPT 5 R
1
;
2) X t appar tient à un espace d’états e qui est dis cret (c’est àdire, comme nous
l’avons déjà dit, fini ou infini dénom brable) : X t Pe 5 5E 1 , E 2 , c , E m , c 6. Dans la
suite on omet tra de rap pe ler à chaque fois ce carac tère dis cret. Mais dans ce paragraphe,
e peut être infini.
3) Le pro ces sus sto chas tique X t véri fielaprop riété « sans mémoire » (ou prop
riété de Markov) : la pro ba bi lité pour que le sys tème passe par l’état E j à l’ins tant
t 1 , sachant qu’il était dans l’état E i à l’ins tant t, ne dépend pas des états par les
quels le sys tème est passé entre les ins tants 0 et t
–
:
P3X t 1 5 E j k X u pour 0 < u , t , X t 5 E i 4 5 P3X t 1 5 E j k X t 5 E i 4.
4) Nous sup po se rons en outre dans la suite que les pro ces sus de Markov sont
« homo gènes » (de même que nous l’avons fait pour les chaînes de Markov) : la
pro ba bi lité de tran si tion ci dessus sera sup po sée indé pen dante de t et dépen dra donc
seule ment de la durée τ d’évo lu tion du sys tème (entre t et t 1 ) :
P3X t 1 5 E j k X t 5 E i 4 5 p ij 1 2 .
On notera M() 5 3p ij () 4 la matrice de ces pro ba bi li tés de tran si tion.
N.B. On sup pose le plus sou vent les pro ces sus de Markov « homo gènes »
car l’emploi de pro ces sus de Markov non homo gènes est des plus rares dans les
applications.
Notons que l’on a pour les pro ba bi li tés de tran si tion :
a
E j Pe
p ij 1 2 5 1 pour tout état E i .
En effet, sachant qu’à l’ins tant t le pro ces sus est dans l’état E i , il est cer tain qu’à
l’ins tant t 1 il se trou vera dans l’un quelconque des états de e (le pro ces sus ne
peut pas « s’échap per » de son espace d’états), et la pro ba bi lité d’un évé ne ment
cer tain vaut 1.
Don nons main te nant la rela tion de Chapman Kolmogorov pour les pro ba bi li tés
des tran si tions : p ij (u 1 ) 5 a
E k Pe
p ik (u ) # p kj ( ), dont voici la démons tra tion :
p ij (u 1 ) 5 P3X U1 5 E j k X 0 5 E i 4 5 a
E k Pe
P3X U1 5 E j et X U 5 E k k X 0 5 E i 4.
198
main te nant les pro ces sus de Markov, qui sont des pro ces sus sto chas tiques à temps
continu et à espace d’états dis cret : ils consti tuent un outil pri vi lé gié pour modé li ser
en recherche opé ra tion nelle bien des pro blèmes : dans le domaine des phé no mènes
d’attente ou de la fia bi lité et de la sûreté de fonc tion ne ment, notam ment.
Un pro ces sus sto chas tique X t carac té rise l’état d’un sys tème à l’ins tant t. C’est un
pro ces sus de Markov à temps continu et à espace d’états dis cret s’il véri fie les trois
prop rié tés sui vantes :
1) le temps t est continu.
Le plus sou vent le temps varie de 0 à l’infini ; alors : tPT 5 R
1
;
2) X t appar tient à un espace d’états e qui est dis cret (c’est àdire, comme nous
l’avons déjà dit, fini ou infini dénom brable) : X t Pe 5 5E 1 , E 2 , c , E m , c 6. Dans la
suite on omet tra de rap pe ler à chaque fois ce carac tère dis cret. Mais dans ce paragraphe,
e peut être infini.
3) Le pro ces sus sto chas tique X t véri fielaprop riété « sans mémoire » (ou prop
riété de Markov) : la pro ba bi lité pour que le sys tème passe par l’état E j à l’ins tant
t 1 , sachant qu’il était dans l’état E i à l’ins tant t, ne dépend pas des états par les
quels le sys tème est passé entre les ins tants 0 et t
–
:
P3X t 1 5 E j k X u pour 0 < u , t , X t 5 E i 4 5 P3X t 1 5 E j k X t 5 E i 4.
4) Nous sup po se rons en outre dans la suite que les pro ces sus de Markov sont
« homo gènes » (de même que nous l’avons fait pour les chaînes de Markov) : la
pro ba bi lité de tran si tion ci dessus sera sup po sée indé pen dante de t et dépen dra donc
seule ment de la durée τ d’évo lu tion du sys tème (entre t et t 1 ) :
P3X t 1 5 E j k X t 5 E i 4 5 p ij 1 2 .
On notera M() 5 3p ij () 4 la matrice de ces pro ba bi li tés de tran si tion.
N.B. On sup pose le plus sou vent les pro ces sus de Markov « homo gènes »
car l’emploi de pro ces sus de Markov non homo gènes est des plus rares dans les
applications.
Notons que l’on a pour les pro ba bi li tés de tran si tion :
a
E j Pe
p ij 1 2 5 1 pour tout état E i .
En effet, sachant qu’à l’ins tant t le pro ces sus est dans l’état E i , il est cer tain qu’à
l’ins tant t 1 il se trou vera dans l’un quelconque des états de e (le pro ces sus ne
peut pas « s’échap per » de son espace d’états), et la pro ba bi lité d’un évé ne ment
cer tain vaut 1.
Don nons main te nant la rela tion de Chapman Kolmogorov pour les pro ba bi li tés
des tran si tions : p ij (u 1 ) 5 a
E k Pe
p ik (u ) # p kj ( ), dont voici la démons tra tion :
p ij (u 1 ) 5 P3X U1 5 E j k X 0 5 E i 4 5 a
E k Pe
P3X U1 5 E j et X U 5 E k k X 0 5 E i 4.