5.3 Chaînes de Markov à espace d’états dis cret
189
© Dunod – Toute reproduction non autorisée est un délit.
On dit alors que la chaîne est markovienne d’ordre 1. Elle serait d’ordre p si
la pro ba bi lité de l’état atteint à l’ins tant n ne dépen dait que des p états anté rieurs
(atteints res pec ti ve ment à t 2 p, t 2 p 1 1, c , t 2 1) ; par une démul ti pli cation des
états, on peut rame ner une chaîne d’ordre p à une chaîne d’ordre 1.
Les pro ba bi li tés condi tion nelles P 3X n 5 j k X n21 5 i 4 sont appe lées pro ba bi li tés
de tran si tion. On fera le plus sou vent l’hypo thèse que la chaîne est homo gène
(1)
:
alors les pro ba bi li tés de tran si tion p
(n)
ij seront indé pen dantes de l’ins tant n de la tran
si tion (c’est pour quoi on les qua li fie, par fois, de sta tion naires dans le temps) :
p
1n2
ij 5 P3X n 5 j k X n21 5 i 4 5 p ij .
Ainsi, par exemple, la pro ba bi lité de pas ser de l’état E 12 à l’état E 37 entre les ins
tants t 5 0 et t 5 1, ou encore entre t 5 1 321 et 1 322 est la même : elle vaut p 12,37 .
Dans la suite, nous sup po sons que l’ensemble e des états est fini, de car di nal r.
Les pro ba bi li tés de tran si tion p ij véri fient ;
0 < p ij < 1 et :
pour i = 1, 2,... n : a
r
j51
p ij 5 1, car il est certain que si la chaîne est dans l’état E i à
t = n – 1, elle sera dans l’un quelconque des états E 1 , E 2 ,..., E r à t = n.
Ainsi une chaîne de Markov homo gène, à espace d’état fini, est don née par une
matrice M car rée r 3 r, à terme posi tifs : 3p ij 4 5 M, dont la somme des termes, pour
toute ligne, est égale à un. Une telle matrice est dite sto chas tique.
Nous dési gnons par (n) le vec teur (sto chas tique) des pro ba bi li tés des états :
P( n ) 5 3p 1 ( n ) , p 2 ( n ) , c , p r ( n ) 4, où :
p k (n) 5 P3X n 5 k 4 et a
p d
i51
p i (n) 5 1 pour tout n = 0,1,...
Ainsi (0) sera la dis tri bu tion ini tiale des pro ba bi li tés des états.
Éva luons (1) connais sant (0) ; on peut expri mer p j 1 12 à l’aide de la for mule
des pro ba bi li tés totales. Rap pe lons que : P 3B 4 5 a
i
P 3B k A i 4 # P 3A i 4, où B est un évé
ne ment et les A i forment un sys tème com plet d’évé ne ments, c’est àdire une par
tition de l’ensemble fon da men tal . Ainsi, en pre nant pour A i l’évé ne ment X 0 5 i :
P3X 1 5 j4 5 a
r
i 51
P3X 1 5 j k X 0 5 i 4 # P 3X 0 5 i 4, soit :
p j 1 12 5 a
r
i 51
p i 1 02 # p ij ; soit, matriciellement :
P( 1) 5 P( 0) # M ; De même on a :
P( n ) 5 P( n 2 1) # M
1. Un pro ces sus 5X t , t H T6 est homo gène si, pour tout inter valle [s, t], la pro ba bi lité
P3X t 5 y k X s 5 x4 dépend seule ment de la lon gueur t – s de cet inter valle. Alors, pour tout
u : P3X t1u 5 y k X s1u 5 x4 5 P3X t 5 y k X s 5 x4. En par ti cu lier, cette pro ba bi lité est égale à :
P3X t2s 5 y k X 0 5 x4.
(1)
189
© Dunod – Toute reproduction non autorisée est un délit.
On dit alors que la chaîne est markovienne d’ordre 1. Elle serait d’ordre p si
la pro ba bi lité de l’état atteint à l’ins tant n ne dépen dait que des p états anté rieurs
(atteints res pec ti ve ment à t 2 p, t 2 p 1 1, c , t 2 1) ; par une démul ti pli cation des
états, on peut rame ner une chaîne d’ordre p à une chaîne d’ordre 1.
Les pro ba bi li tés condi tion nelles P 3X n 5 j k X n21 5 i 4 sont appe lées pro ba bi li tés
de tran si tion. On fera le plus sou vent l’hypo thèse que la chaîne est homo gène
(1)
:
alors les pro ba bi li tés de tran si tion p
(n)
ij seront indé pen dantes de l’ins tant n de la tran
si tion (c’est pour quoi on les qua li fie, par fois, de sta tion naires dans le temps) :
p
1n2
ij 5 P3X n 5 j k X n21 5 i 4 5 p ij .
Ainsi, par exemple, la pro ba bi lité de pas ser de l’état E 12 à l’état E 37 entre les ins
tants t 5 0 et t 5 1, ou encore entre t 5 1 321 et 1 322 est la même : elle vaut p 12,37 .
Dans la suite, nous sup po sons que l’ensemble e des états est fini, de car di nal r.
Les pro ba bi li tés de tran si tion p ij véri fient ;
0 < p ij < 1 et :
pour i = 1, 2,... n : a
r
j51
p ij 5 1, car il est certain que si la chaîne est dans l’état E i à
t = n – 1, elle sera dans l’un quelconque des états E 1 , E 2 ,..., E r à t = n.
Ainsi une chaîne de Markov homo gène, à espace d’état fini, est don née par une
matrice M car rée r 3 r, à terme posi tifs : 3p ij 4 5 M, dont la somme des termes, pour
toute ligne, est égale à un. Une telle matrice est dite sto chas tique.
Nous dési gnons par (n) le vec teur (sto chas tique) des pro ba bi li tés des états :
P( n ) 5 3p 1 ( n ) , p 2 ( n ) , c , p r ( n ) 4, où :
p k (n) 5 P3X n 5 k 4 et a
p d
i51
p i (n) 5 1 pour tout n = 0,1,...
Ainsi (0) sera la dis tri bu tion ini tiale des pro ba bi li tés des états.
Éva luons (1) connais sant (0) ; on peut expri mer p j 1 12 à l’aide de la for mule
des pro ba bi li tés totales. Rap pe lons que : P 3B 4 5 a
i
P 3B k A i 4 # P 3A i 4, où B est un évé
ne ment et les A i forment un sys tème com plet d’évé ne ments, c’est àdire une par
tition de l’ensemble fon da men tal . Ainsi, en pre nant pour A i l’évé ne ment X 0 5 i :
P3X 1 5 j4 5 a
r
i 51
P3X 1 5 j k X 0 5 i 4 # P 3X 0 5 i 4, soit :
p j 1 12 5 a
r
i 51
p i 1 02 # p ij ; soit, matriciellement :
P( 1) 5 P( 0) # M ; De même on a :
P( n ) 5 P( n 2 1) # M
1. Un pro ces sus 5X t , t H T6 est homo gène si, pour tout inter valle [s, t], la pro ba bi lité
P3X t 5 y k X s 5 x4 dépend seule ment de la lon gueur t – s de cet inter valle. Alors, pour tout
u : P3X t1u 5 y k X s1u 5 x4 5 P3X t 5 y k X s 5 x4. En par ti cu lier, cette pro ba bi lité est égale à :
P3X t2s 5 y k X 0 5 x4.
(1)