2.3. RÉCURRENCE ET TRANSIENCE - THÉORÈMES ERGODIQUES
déduisons que la masse d’une telle mesure est finie et donc, pour tout j ∈ Z, E j (T j ) < +∞.
De plus nous en déduisons l’unicité de la probabilité invariante π telle que pour tout j,
π j =
1
Ej (Tj )
> 0.
(3) Réciproquement, soit π une probabilité stationnaire strictement positive en chaque
état. De plus supposons qu’un état j soit transitoire. Alors
n≥0 P
(n)
j,j = E j (N j ) < +∞,
d’où lim n→∞ P
(n)
j,j = 0. Nous en déduisons alors que pour tout i, lim n→∞ P
(n)
i,j = 0. En
effet, nous pouvons montrer comme pour (2.7) que E i (N j ) = P i (T j < +∞) E j (N j ). Ainsi,
π j =
i π i P
(n)
i,j = 0 par théorème de convergence dominée, ce qui est contradictoire. Nous
en déduisons donc que tous les états sont récurrents. Nous avons vu dans la première partie de la preuve que dans ce cas, la mesure m
i est l’unique mesure stationnaire telle que
m
i
i = 1. Nous avons donc m
i =
π
πi
et E i (T i ) =
j m
i
j =
1
πi
j π j =
1
πi
< +∞. Ainsi, tout
état i est récurrent positif.
Proposition 2.3.7 Une chaîne de Markov à valeurs dans un espace d’état fini et irréductible est récurrente positive. Le Théorème 2.3.6 nous donne alors la valeur de l’unique
mesure invariante dont l’existence avait été prouvée au Théorème 2.3.5.
Preuve. En effet, supposons que l’espace d’état soit un ensemble fini F . Il est alors immédiat que
i∈F N i = +∞ et
i∈F E(N i ) = +∞. Comme F est fini, il existe i tel que
E(N i ) = +∞. Mais la propriété de Markov implique que E(N i ) = P(T i < +∞) E i (N i )
et donc que i est récurrent. Nous pouvons alors définir la mesure invariante associée m
i .
Comme F est fini, E i (T i ) =
j∈F m
i
j est fini et i est récurrent positif.
Nous souhaitons étudier le comportement en temps long de la chaîne de Markov en étudiant la limite, quand n tend vers l’infini, de P
(n)
i,j = P i (X n = j). Il faut toutefois s’assurer que cette limite existe ce qui n’est pas toujours le cas. Supposons par exemple
que la marche aléatoire prenne ses valeurs dans {1, 2} avec les probabilités de transition
P 1,1 = P 2,2 = 0 et P 1,2 = P 2,1 = 1. Il est immédiat de remarquer que pour tout n ∈ N,
P 1 (X n = 1) = 1 − P 1 (X n = 2) =
1 + (−1)
n
2
,
et P
(n)
1,1 ne pourra avoir de limite quand n tend vers l’infini.
Pour sursoir à cette difficulté, nous allons considérer des chaînes de Markov irréductibles
pour lesquelles deux états peuvent être connectés avec probabilité positive dès que le
temps est suffisamment grand. Plus précisément, nous introduisons la définition suivante.
Définition 2.3.8 La chaîne de Markov est dite apériodique si pour tous états i, j ∈ Z, il
existe n(i, j) ∈ N
∗ tel que pour tout n ≥ n(i, j),
P i (X n = j) = P
(n)
i,j > 0.
25
déduisons que la masse d’une telle mesure est finie et donc, pour tout j ∈ Z, E j (T j ) < +∞.
De plus nous en déduisons l’unicité de la probabilité invariante π telle que pour tout j,
π j =
1
Ej (Tj )
> 0.
(3) Réciproquement, soit π une probabilité stationnaire strictement positive en chaque
état. De plus supposons qu’un état j soit transitoire. Alors
n≥0 P
(n)
j,j = E j (N j ) < +∞,
d’où lim n→∞ P
(n)
j,j = 0. Nous en déduisons alors que pour tout i, lim n→∞ P
(n)
i,j = 0. En
effet, nous pouvons montrer comme pour (2.7) que E i (N j ) = P i (T j < +∞) E j (N j ). Ainsi,
π j =
i π i P
(n)
i,j = 0 par théorème de convergence dominée, ce qui est contradictoire. Nous
en déduisons donc que tous les états sont récurrents. Nous avons vu dans la première partie de la preuve que dans ce cas, la mesure m
i est l’unique mesure stationnaire telle que
m
i
i = 1. Nous avons donc m
i =
π
πi
et E i (T i ) =
j m
i
j =
1
πi
j π j =
1
πi
< +∞. Ainsi, tout
état i est récurrent positif.
Proposition 2.3.7 Une chaîne de Markov à valeurs dans un espace d’état fini et irréductible est récurrente positive. Le Théorème 2.3.6 nous donne alors la valeur de l’unique
mesure invariante dont l’existence avait été prouvée au Théorème 2.3.5.
Preuve. En effet, supposons que l’espace d’état soit un ensemble fini F . Il est alors immédiat que
i∈F N i = +∞ et
i∈F E(N i ) = +∞. Comme F est fini, il existe i tel que
E(N i ) = +∞. Mais la propriété de Markov implique que E(N i ) = P(T i < +∞) E i (N i )
et donc que i est récurrent. Nous pouvons alors définir la mesure invariante associée m
i .
Comme F est fini, E i (T i ) =
j∈F m
i
j est fini et i est récurrent positif.
Nous souhaitons étudier le comportement en temps long de la chaîne de Markov en étudiant la limite, quand n tend vers l’infini, de P
(n)
i,j = P i (X n = j). Il faut toutefois s’assurer que cette limite existe ce qui n’est pas toujours le cas. Supposons par exemple
que la marche aléatoire prenne ses valeurs dans {1, 2} avec les probabilités de transition
P 1,1 = P 2,2 = 0 et P 1,2 = P 2,1 = 1. Il est immédiat de remarquer que pour tout n ∈ N,
P 1 (X n = 1) = 1 − P 1 (X n = 2) =
1 + (−1)
n
2
,
et P
(n)
1,1 ne pourra avoir de limite quand n tend vers l’infini.
Pour sursoir à cette difficulté, nous allons considérer des chaînes de Markov irréductibles
pour lesquelles deux états peuvent être connectés avec probabilité positive dès que le
temps est suffisamment grand. Plus précisément, nous introduisons la définition suivante.
Définition 2.3.8 La chaîne de Markov est dite apériodique si pour tous états i, j ∈ Z, il
existe n(i, j) ∈ N
∗ tel que pour tout n ≥ n(i, j),
P i (X n = j) = P
(n)
i,j > 0.
25