195
© Dunod – Toute reproduction non autorisée est un délit.
5.4 Clas si fi ca tion des états d’une chaîne de Markov
À cause de cette prop riété par ti cu lière, la souschaîne est qua li fiée d’ergodique,
car elle assure (comme en théo rie ciné tique des gaz) un cer tain équi libre sta tistique,
qu’on nomme ergodisme.
On admet tra qu’une chaîne de Markov finie est ergodique (alors P
* > 0) si et
seule ment si elle com porte une seule classe récur rente
1
et si, de plus, cette classe est a
pério dique (voir page suivante). Une chaîne de Markov est for te ment ergodique (alors
P
* . 0) si elle est consti tuée d’une seule classe d’états, tous a pério diques ; cette classe
unique est récur rente, il n’existe pas alors de classe tran si toire ; en termes de graphes,
une chaîne de Markov finie est for te ment ergodique si son graphe est for te ment connexe
(ce qui assure l’exis tence d’une classe for te ment connexe et d’une seule) et com porte
une boucle (ce qui assure que la classe soit a pério dique) ; cette condition d’apériodicité
est suffisante mais elle n’est pas nécessaire : cf. la fin de ce paragraphe.
Remar quons que, dans la sous chaîne {I, J, L}, les états I et L sont tran si toires,
tan dis qu’elle com porte une seule classe récur rente et a pério dique conte nant, en fait,
un seul état : J. Dans ce cas, un tel état est qua li fié d’« absor bant » (noter l’ana lo gie
avec les états- piège dans les auto mates). Notons que cette sous chaîne est ergodique,
mais pas for te ment ergodique puisque : P
* 5 30 1 04
I J L
Remarques.
• Une chaîne de Markov finie pos sède nécessairement au moins une classe
récur rente (qui peut être a pério dique ou pério dique).
• Pour une chaîne for te ment ergodique, la matrice M
* 5 lim
nS`
M
n
a toutes
ses lignes iden tiques et égales au vec teur
*
, ainsi :
lim
n S`
M r
n 5
1
143
£
52 63 28
52 63 28
52 63 25
§
Cette prop riété per met de com prendre le para doxe (qui n’est qu’apparent) suivant :
Nous avons vu que : P(n) 5 P(0) # M
n
.
Pour une chaîne ergodique, on sait que M
n
pos sède une limite M
*
quand n S `,
et que (n) tend vers une limite P
*
indé pen dante de la dis tri bu tion ini tiale
(0). Pre nons la limite de chaque membre de l’équa tion ci dessus quand n tend vers
l’infini, il vient :
P
* 5 P(0) # M
*
.
ce qui semble contre dire notre pro pos : appa rem ment P
*
, dans cette rela tion, dépen
drait de (0). Mais il faut savoir que M
*
a toutes ses lignes égales à P
*
.
1. Elle peut donc com por ter plu sieurs classes tran si toires.
© Dunod – Toute reproduction non autorisée est un délit.
5.4 Clas si fi ca tion des états d’une chaîne de Markov
À cause de cette prop riété par ti cu lière, la souschaîne est qua li fiée d’ergodique,
car elle assure (comme en théo rie ciné tique des gaz) un cer tain équi libre sta tistique,
qu’on nomme ergodisme.
On admet tra qu’une chaîne de Markov finie est ergodique (alors P
* > 0) si et
seule ment si elle com porte une seule classe récur rente
1
et si, de plus, cette classe est a
pério dique (voir page suivante). Une chaîne de Markov est for te ment ergodique (alors
P
* . 0) si elle est consti tuée d’une seule classe d’états, tous a pério diques ; cette classe
unique est récur rente, il n’existe pas alors de classe tran si toire ; en termes de graphes,
une chaîne de Markov finie est for te ment ergodique si son graphe est for te ment connexe
(ce qui assure l’exis tence d’une classe for te ment connexe et d’une seule) et com porte
une boucle (ce qui assure que la classe soit a pério dique) ; cette condition d’apériodicité
est suffisante mais elle n’est pas nécessaire : cf. la fin de ce paragraphe.
Remar quons que, dans la sous chaîne {I, J, L}, les états I et L sont tran si toires,
tan dis qu’elle com porte une seule classe récur rente et a pério dique conte nant, en fait,
un seul état : J. Dans ce cas, un tel état est qua li fié d’« absor bant » (noter l’ana lo gie
avec les états- piège dans les auto mates). Notons que cette sous chaîne est ergodique,
mais pas for te ment ergodique puisque : P
* 5 30 1 04
I J L
Remarques.
• Une chaîne de Markov finie pos sède nécessairement au moins une classe
récur rente (qui peut être a pério dique ou pério dique).
• Pour une chaîne for te ment ergodique, la matrice M
* 5 lim
nS`
M
n
a toutes
ses lignes iden tiques et égales au vec teur
*
, ainsi :
lim
n S`
M r
n 5
1
143
£
52 63 28
52 63 28
52 63 25
§
Cette prop riété per met de com prendre le para doxe (qui n’est qu’apparent) suivant :
Nous avons vu que : P(n) 5 P(0) # M
n
.
Pour une chaîne ergodique, on sait que M
n
pos sède une limite M
*
quand n S `,
et que (n) tend vers une limite P
*
indé pen dante de la dis tri bu tion ini tiale
(0). Pre nons la limite de chaque membre de l’équa tion ci dessus quand n tend vers
l’infini, il vient :
P
* 5 P(0) # M
*
.
ce qui semble contre dire notre pro pos : appa rem ment P
*
, dans cette rela tion, dépen
drait de (0). Mais il faut savoir que M
*
a toutes ses lignes égales à P
*
.
1. Elle peut donc com por ter plu sieurs classes tran si toires.