191
© Dunod – Toute reproduction non autorisée est un délit.
5.4 Clas si fi ca tion des états d’une chaîne de Markov
Par récur rence, il est aisé de mon trer que, si la prop riété est vraie pour n 2 1, elle
est vraie aussi pour n : sup po sons que 3p
(n21)
ij
4 5 M
n21
. Comme p
1n2
ij 5 a
r
k51
p ij # p
1n212
kj
,
soit : M
(n) 5 M # M
n21
, on a aussi : M
(n) 5 M
n
.
Matriciellement, la rela tion de Chapman­ Kolmogorov revient à :
M
(p 1 q) 5M
(p) # M
(q)
, vrai car M
p 1 q 5 M
p # M
q
.
5.4 clas si fi ca tion des états d ’ une chaîne de
markov finie à l ’ aide du graPhe des tran si tions
À la matrice M 5 [p ij ], fai sons cor res pondre le graphe G 5 (X, U), tel que X 5 e,
c’est­ à­dire que les som mets du graphe ne sont autres que les états de la chaîne de Markov,
et U 5 5 1 E i , E j 2 k E i . E j Pe ; p ij . 06, c’est­ à­dire qu’il existe un arc dans le graphe G
de l’état E i vers l’état E j si la pro ba bi lité de tran si tion p ij est stric te ment posi tive.
Exemple. Un sys tème peut se trou ver dans l’un des 12 états : A, B, C. c , L. On a donc
e 5 5A, B, c , L6, (plu tôt que e 5 5E 1 , E 2 , c , E 12 6 : ceci pour allé ger la nota tion).
Toutes les minutes, ce sys tème subit une tran si tion, c’est­ à­dire un chan ge ment
d’état (ou bien reste dans l’état anté rieur). Voici la matrice M 5 3p ij 4 don nant les
pro ba bi li tés de tran si tion et le graphe G 5 1 e, U2 asso cié (fig 5.2) : (les cases vides
correspondent à un zéro)
A
B
C
D
E
F
G
H
I
J
K
L
M =
A
B
C
D
E
F
G
H
I
J
K
L
1
1
1
1
0, 1
0, 2
0, 2
0, 7
0, 6
0, 8
0, 8
0, 2
0, 4
0, 4
0, 4
0, 4
0, 3
0, 3
0, 3
0, 1
0, 1
0, 1
0, 1
0, 5
0, 5
0, 5
Le lecteur vérifiera que la somme des termes, dans toute ligne de M, vaut 1.