2.3. RÉCURRENCE ET TRANSIENCE - THÉORÈMES ERGODIQUES
1
Nous considérons une chaîne de Markov (X n ) n et pour chaque état i ∈ Z, nous définissons
le nombre N i de passages au point i. Ainsi,
N i =
n≥0
{Xn=i} .
Proposition 2.3.1 La variable aléatoire N i suit sous P i une loi géométrique sur N
∗ de
paramètre P i (T i < +∞) : pour tout k ∈ N
∗ ,
P i (N i = k) = P i (T i < +∞)
k−1 (1 − P i (T i < +∞)).
Si P i (T i < +∞) < 1, le nombre moyen de passages en i vaut alors
E i (N i ) =
P i (T i < +∞)
1 − P i (T i < +∞)
< +∞.
Preuve. Remarquons que si la chaîne de Markov part de i, nécessairement N i ≥ 1. La
propriété de Markov forte (Théorème 2.2.3) permet de montrer que pour tout k ≥ 0,
P i (N i ≥ k) = P i (T i < +∞)
k−1 .
En effet, P i (N i ≥ 1) = 1 et pour k ≥ 2,
P i (N i ≥ k) = P i (N i ≥ k, T i < +∞) = P i (N i ≥ k − 1)P i (T i < +∞).
Nous en déduisons facilement que
E i (N i ) =
k≥0
P i (N i > k) =
P i (T i < +∞)
1 − P i (T i < +∞)
.
Nous pouvons ainsi observer deux comportements opposés qui conduisent à donner la
définition suivante.
Définition 2.3.2 Un état i ∈ Z est dit transitoire si et seulement si
P i (T i < +∞) < 1 ⇐⇒ P i (N i = +∞) = 0 ⇐⇒ E i (N i ) < +∞.
Un état i est dit récurrent si et seulement si
P i (T i < +∞) = 1 ⇐⇒ P i (N i = +∞) = 1 ⇐⇒ E i (N i ) = +∞.
Un entier i est donc un état récurrent si la chaîne de Markov issue de l’état i revient en i
en temps fini avec probabilité 1, c’est à dire si
∞
n=1 f
(n)
ii = 1, où f
(n)
i,i = P(T i = n | X 0 = i).
L’état i est transient dans le cas contraire.
2