5.5 Pro ces sus de Markov à espace d’états dis cret
199
© Dunod – Toute reproduction non autorisée est un délit.
En appli quant la défi ni tion des pro ba bi li tés condi tion nelles :
P3U k V 4 5 P 3U et V4 / P 3V4, le lec teur véri fiera aisé ment que :
P3A et B k C 4 5 P3A k B et C 4 # P3B k C 4. D’où :
p ij (u 1 ) 5 a
E k Pe
P3X U1 5 E j k X 0 5 E i et X U 5 E k 4 # P3X U 5 E k k X 0 5 E i 4.
D’après la prop riété sans mémoire, la pre mière pro ba bi lité de ce pro duit ne
dépend pas de l’évé ne ment X 0 5 E i , qui est anté rieur à u ; elle est alors égale à :
P3X U1 5 E j k X U 5 E k 4 5 p kj ( ),
ceci en tenant compte de la prop riété d’homo gé néité. Par ailleurs, par défi ni tion :
P3X U 5 E k k X 0 5 E i 4 5 p ik (u).
Fina le ment : p ij (u 1 ) 5 a
E k Pe
p ik (u ) # p kj ( ).
Matriciellement, cette rela tion four nit : M(u 1 ) 5 M(u ) # M( ).
Don nons main te nant l’expres sion des pro ba bi li tés de tran si tions sur un inter valle
de temps infi ni té si mal : 5 Dt. Sous des hypo thèses très larges, véri fiées notam
ment si e est fini, on peut mon trer que les prop rié tés 1), 2), 3) et 4) font que :
•
p ij (Dt) 5 l ij # Dt 1 o(Dt)
où i 2 j
p ii (Dt) 5 1 2 a
E j He
j2i
l ij # Dt 1 o(Dt) 5 1 2 q i Dt 1 o(Dt)
Rap pe lons que ο(Dt) est la nota tion de Lan dau ; lim
DtS0
o 1 Dt 2 5 0 et que
lim
DtS0
o(Dt)
D t
5 0.
On dit que les termes en ο(Dt) sont « d’ordre supé rieur à un en Dt ».
Notons que l ij est le taux de tran si tion de E i vers E j ; en effet :
lim
DtS0
3p ij (Dt)/Dt 4 5 l ij .
Ce taux est néces sai re ment posi tif ou nul (puisque p ij 1 Dt 2 > 0).
On peut alors mon trer que la pro ba bi lité que, étant dans l’état E i à l’ins tant t, le
pro ces sus reste constam ment dans cet état entre t et t 1 vaut e
2 q i
; on peut aussi
prou ver que la pro ba bi lité pour que le pro ces sus, étant dans l’état E i à l’ins tant t,
quitte pour la pre mière fois cet état E i pour pas ser dans l’état E j vaut : l ij /q i 5 m ij
( i 2 j, sinon m ij 5 0) . La matrice [m ij ] étant telle que a
E j Pe
m ij 5 1, est une matrice
sto chas tique.
Le « géné ra teur infi ni té si mal » du pro ces sus de Markov est une matrice A 5 3a ij 4
où a ij 5 l ij pour j 2 i et a ii 5 2q i . La somme des élé ments de toute ligne de cette
matrice est donc nulle. En notant M( ) 5 3p ij ( ) 4 et Mr( ) 5 B
d
dt
p ij ( ) R, on montre
que l’on a les équa tions « du passé » : Mr( ) 5 A # M( ) et les équa tions « du futur » :
199
© Dunod – Toute reproduction non autorisée est un délit.
En appli quant la défi ni tion des pro ba bi li tés condi tion nelles :
P3U k V 4 5 P 3U et V4 / P 3V4, le lec teur véri fiera aisé ment que :
P3A et B k C 4 5 P3A k B et C 4 # P3B k C 4. D’où :
p ij (u 1 ) 5 a
E k Pe
P3X U1 5 E j k X 0 5 E i et X U 5 E k 4 # P3X U 5 E k k X 0 5 E i 4.
D’après la prop riété sans mémoire, la pre mière pro ba bi lité de ce pro duit ne
dépend pas de l’évé ne ment X 0 5 E i , qui est anté rieur à u ; elle est alors égale à :
P3X U1 5 E j k X U 5 E k 4 5 p kj ( ),
ceci en tenant compte de la prop riété d’homo gé néité. Par ailleurs, par défi ni tion :
P3X U 5 E k k X 0 5 E i 4 5 p ik (u).
Fina le ment : p ij (u 1 ) 5 a
E k Pe
p ik (u ) # p kj ( ).
Matriciellement, cette rela tion four nit : M(u 1 ) 5 M(u ) # M( ).
Don nons main te nant l’expres sion des pro ba bi li tés de tran si tions sur un inter valle
de temps infi ni té si mal : 5 Dt. Sous des hypo thèses très larges, véri fiées notam
ment si e est fini, on peut mon trer que les prop rié tés 1), 2), 3) et 4) font que :
•
p ij (Dt) 5 l ij # Dt 1 o(Dt)
où i 2 j
p ii (Dt) 5 1 2 a
E j He
j2i
l ij # Dt 1 o(Dt) 5 1 2 q i Dt 1 o(Dt)
Rap pe lons que ο(Dt) est la nota tion de Lan dau ; lim
DtS0
o 1 Dt 2 5 0 et que
lim
DtS0
o(Dt)
D t
5 0.
On dit que les termes en ο(Dt) sont « d’ordre supé rieur à un en Dt ».
Notons que l ij est le taux de tran si tion de E i vers E j ; en effet :
lim
DtS0
3p ij (Dt)/Dt 4 5 l ij .
Ce taux est néces sai re ment posi tif ou nul (puisque p ij 1 Dt 2 > 0).
On peut alors mon trer que la pro ba bi lité que, étant dans l’état E i à l’ins tant t, le
pro ces sus reste constam ment dans cet état entre t et t 1 vaut e
2 q i
; on peut aussi
prou ver que la pro ba bi lité pour que le pro ces sus, étant dans l’état E i à l’ins tant t,
quitte pour la pre mière fois cet état E i pour pas ser dans l’état E j vaut : l ij /q i 5 m ij
( i 2 j, sinon m ij 5 0) . La matrice [m ij ] étant telle que a
E j Pe
m ij 5 1, est une matrice
sto chas tique.
Le « géné ra teur infi ni té si mal » du pro ces sus de Markov est une matrice A 5 3a ij 4
où a ij 5 l ij pour j 2 i et a ii 5 2q i . La somme des élé ments de toute ligne de cette
matrice est donc nulle. En notant M( ) 5 3p ij ( ) 4 et Mr( ) 5 B
d
dt
p ij ( ) R, on montre
que l’on a les équa tions « du passé » : Mr( ) 5 A # M( ) et les équa tions « du futur » :