Les chaînes de Markov
251
On peut réordonner les états de façon à suivre sous la forme suivante:
On a fait apparaître deux classes d'états fermées:
{
et la classe d'états transitoires: {
.
Sur de grosses matrices, une telle décomposition n'est pas toujours évidente. On utilise
alors le graphe de transition associé à la chaîne de Markov: ce graphe est construit en
associant un sommet à chaque état et en reliant à par un arc si
. Ainsi
pour la chaîne ci-dessus, le graphe associé est :
Les classes
d'états fermés correspondent alors aux sous-graphes fortement
connexes de ce graphe. Elles peuvent être trouvées en utilisant la matrice booléienne
associée au graphe (cf. partie II). Si
est cette matrice, on l'élève à une puissance
(booléienne) convenable (c'est-à-dire à une puissance telle que
, si est le
nombre d'états, donc la taille de la matrice). Il suffit alors d'isoler dans la matrice
obtenue des sous-matrices carrées remplies de 1 pour obtenir une classe d'états fermés.
Une matrice irréductible correspond à un graphe associé fortement connexe.
b) Matrices périodiques
Là encore, reprenons l'écriture générale d'une matrice périodique (cf. ci-dessus) et
examinons ce qu'elle signifie pour les possibilités de passage d'un ensemble d'état à un
autre.
E1
E2
E3
E4
E5
E6
E2 E3 E5 E6 E1 E4
E2 1
0
0
0
0
0
E3 0
0
0,5 0,5 0
0
E5 0
0
0
1
0
0
E6 0
1
0
0
0
0
E1 0,3 0,4 0
0
0
0,3
E4 0
0,2 0,2 0
0,6 0