2.3. RÉCURRENCE ET TRANSIENCE - THÉORÈMES ERGODIQUES
Théorème 2.3.5 Une chaîne de Markov à espace d’état fini et irréductible admet au
moins une probabilité stationnaire π.
Preuve. Supposons que l’espace d’état soit {1, · · · , N}. La matrice P est telle que la
somme des éléments de chacune de ses lignes est égale à 1 et chacun de ses coefficients est
positif. Ainsi, il est immédiat que 1 est valeur propre associée au vecteur propre à droite
dont chaque coordonnée est égale à 1. Par ailleurs, si λ est une valeur propre de P et v
un vecteur propre à droite associé à λ tel que |v i0 | = max i=1,··· ,N |v i |, on a
|λ||v i0 | = |
j
P i0,j v j | ≤ max
i=1,··· ,N
|v i | = |v i0 |,
d’où |λ| ≤ 1. La valeur propre 1 est donc une valeur propre supérieure au module de
toute autre valeur propre. Comme la chaîne de Markov est irréductible, le théorème de
Perron-Frobenius s’applique. (Voir Appendice Théorème 3.7.7). Nous en déduisons que
la valeur propre 1 est associée à un vecteur propre à gauche π qui est une probabilité
stationnaire de la chaîne de Markov.
Plus généralement, nous donnons ci-dessous des conditions assurant l’existence et l’unicité d’une probabilité stationnaire. Nous dirons qu’une chaîne de Markov irréductible est
récurrente positive si elle est irréductible et si l’un des états i (au moins) est récurrent et
vérifie E i (T i ) < +∞.
Théorème 2.3.6 (1) Si une chaîne de Markov (X n ) n est irréductible de matrice de transition (P i,j ), récurrente positive tel que pour un état i, E i (T i ) < +∞, alors il existe une
probabilité stationnaire π telle que π j > 0 pour tout j et telle que
π i =
1
E i (T i )
> 0.
(2) Sous les hypothèses de (1), tout état j est récurrent et satisfait également E j (T j ) <
+∞. Nous en déduisons l’existence et unicité de la probabilité stationnaire π vérifiant
pour tout j que π j =
1
E j (T j )
> 0.
(3) Réciproquement, si il existe une unique probabilité invariante π strictement positive
en chaque état, alors tous les états sont récurrents positifs et E i (T i ) =
1
π i
.
Preuve. (1) Rappelons que si la chaîne est récurrente, le temps d’arrêt T i est fini presquesûrement. Nous supposons de plus ici que E i (T i ) < +∞.
Introduisons m
i
j , le nombre moyen de visites de la chaîne à l’état j entre deux temps de
23
Théorème 2.3.5 Une chaîne de Markov à espace d’état fini et irréductible admet au
moins une probabilité stationnaire π.
Preuve. Supposons que l’espace d’état soit {1, · · · , N}. La matrice P est telle que la
somme des éléments de chacune de ses lignes est égale à 1 et chacun de ses coefficients est
positif. Ainsi, il est immédiat que 1 est valeur propre associée au vecteur propre à droite
dont chaque coordonnée est égale à 1. Par ailleurs, si λ est une valeur propre de P et v
un vecteur propre à droite associé à λ tel que |v i0 | = max i=1,··· ,N |v i |, on a
|λ||v i0 | = |
j
P i0,j v j | ≤ max
i=1,··· ,N
|v i | = |v i0 |,
d’où |λ| ≤ 1. La valeur propre 1 est donc une valeur propre supérieure au module de
toute autre valeur propre. Comme la chaîne de Markov est irréductible, le théorème de
Perron-Frobenius s’applique. (Voir Appendice Théorème 3.7.7). Nous en déduisons que
la valeur propre 1 est associée à un vecteur propre à gauche π qui est une probabilité
stationnaire de la chaîne de Markov.
Plus généralement, nous donnons ci-dessous des conditions assurant l’existence et l’unicité d’une probabilité stationnaire. Nous dirons qu’une chaîne de Markov irréductible est
récurrente positive si elle est irréductible et si l’un des états i (au moins) est récurrent et
vérifie E i (T i ) < +∞.
Théorème 2.3.6 (1) Si une chaîne de Markov (X n ) n est irréductible de matrice de transition (P i,j ), récurrente positive tel que pour un état i, E i (T i ) < +∞, alors il existe une
probabilité stationnaire π telle que π j > 0 pour tout j et telle que
π i =
1
E i (T i )
> 0.
(2) Sous les hypothèses de (1), tout état j est récurrent et satisfait également E j (T j ) <
+∞. Nous en déduisons l’existence et unicité de la probabilité stationnaire π vérifiant
pour tout j que π j =
1
E j (T j )
> 0.
(3) Réciproquement, si il existe une unique probabilité invariante π strictement positive
en chaque état, alors tous les états sont récurrents positifs et E i (T i ) =
1
π i
.
Preuve. (1) Rappelons que si la chaîne est récurrente, le temps d’arrêt T i est fini presquesûrement. Nous supposons de plus ici que E i (T i ) < +∞.
Introduisons m
i
j , le nombre moyen de visites de la chaîne à l’état j entre deux temps de
23