Chapitre 5 • Pro ces sus sto chas tiques et pro gram ma tion…
190
On peut écrire aussi :
P( n 2 1) 5 P( n 2 2) # M
et ainsi de suite, jus qu’à :
P(2) 5 P(1) # M
e t P( 1) 5 P( 0) # M
En rem pla çant (1) par sa valeur dans l’expres sion de (2), (2) par sa valeur
dans l’expres sion de P 1 32 , c , on obtient évi dem ment :
P(n) 5 P(0) # M
n
,
ce qui signi fie que la « situa tion du sys tème » (c’est àdire les pro ba bi li tés des états)
après la n
ième
tran si tion ne dépend que de la dis tri bu tion ini tiale (0) et des pro ba bi
li tés de tran si tion, [p ij ] 5 M. Notons que si les probabilités de transition possèdent la
propriété “sans mémoire”, ce n’est pas le cas pour les probabilités des états.
Nous notons p
1n2
ij la pro ba bi lité de pas ser de l’état E i à l’état E j , en exac te ment n
tran si tions
(1)
. Dans ces condi tions, on a évi dem ment pour n = 2 transitions :
p
122
ij 5 a
r
k51
p ik # p kj
car, pour aller de E i à E j en exac te ment deux tran si tions, il faut pas ser par un état
inter mé diaire E k , qui peut être n’importe lequel des r états for mant l’espace d’état e
(fig. 5.1). De la même façon, on a aussi pour n = 1 + (n – 1) transitions :
p
1n2
ij 5 a
r
k51
p ik # p
1n212
kj
,
puis, d’une manière plus géné rale pour n = p+q transitions :
p
1p1q2
ij
5 a
r
k51
p
1p2
ik
# p
1q2
kj .
Cette der nière rela tion est appe lée rela tion de ChapmanKolmogorov ; elle est carac té ris tique du fait que la chaîne est
« sans mémoire ».
Il est facile de mon trer que la pro ba bi lité de pas ser de
l’état E i à l’état E j en exactement n tran si tions, soit p
1n2
ij , est
égale à l’élé ment (i, j) de la matrice M
n
:
3p
1n2
ij 4 5 3p ij 4
n
, soit M
(n) 5 M
n
.
En effet, on a bien : p
122
ij 5 a
r
k51
p ik # p kj ; on reconnaît la formule
du produit matriciel et donc 3p
(2)
ij 4 5 M
2
.
1. Nous pose rons, en outre, p
(0)
ij 5 d ij , d ij étant le sym bole de Kronecker (d ij 5 1 si et seule ment
si i 5 j et d ij 5 0 sinon).
Figure 5.1
(1)
190
On peut écrire aussi :
P( n 2 1) 5 P( n 2 2) # M
et ainsi de suite, jus qu’à :
P(2) 5 P(1) # M
e t P( 1) 5 P( 0) # M
En rem pla çant (1) par sa valeur dans l’expres sion de (2), (2) par sa valeur
dans l’expres sion de P 1 32 , c , on obtient évi dem ment :
P(n) 5 P(0) # M
n
,
ce qui signi fie que la « situa tion du sys tème » (c’est àdire les pro ba bi li tés des états)
après la n
ième
tran si tion ne dépend que de la dis tri bu tion ini tiale (0) et des pro ba bi
li tés de tran si tion, [p ij ] 5 M. Notons que si les probabilités de transition possèdent la
propriété “sans mémoire”, ce n’est pas le cas pour les probabilités des états.
Nous notons p
1n2
ij la pro ba bi lité de pas ser de l’état E i à l’état E j , en exac te ment n
tran si tions
(1)
. Dans ces condi tions, on a évi dem ment pour n = 2 transitions :
p
122
ij 5 a
r
k51
p ik # p kj
car, pour aller de E i à E j en exac te ment deux tran si tions, il faut pas ser par un état
inter mé diaire E k , qui peut être n’importe lequel des r états for mant l’espace d’état e
(fig. 5.1). De la même façon, on a aussi pour n = 1 + (n – 1) transitions :
p
1n2
ij 5 a
r
k51
p ik # p
1n212
kj
,
puis, d’une manière plus géné rale pour n = p+q transitions :
p
1p1q2
ij
5 a
r
k51
p
1p2
ik
# p
1q2
kj .
Cette der nière rela tion est appe lée rela tion de ChapmanKolmogorov ; elle est carac té ris tique du fait que la chaîne est
« sans mémoire ».
Il est facile de mon trer que la pro ba bi lité de pas ser de
l’état E i à l’état E j en exactement n tran si tions, soit p
1n2
ij , est
égale à l’élé ment (i, j) de la matrice M
n
:
3p
1n2
ij 4 5 3p ij 4
n
, soit M
(n) 5 M
n
.
En effet, on a bien : p
122
ij 5 a
r
k51
p ik # p kj ; on reconnaît la formule
du produit matriciel et donc 3p
(2)
ij 4 5 M
2
.
1. Nous pose rons, en outre, p
(0)
ij 5 d ij , d ij étant le sym bole de Kronecker (d ij 5 1 si et seule ment
si i 5 j et d ij 5 0 sinon).
Figure 5.1
(1)