2.3. RÉCURRENCE ET TRANSIENCE - THÉORÈMES ERGODIQUES
Lemme 2.3.10 Si X
1 et X
2 sont deux chaînes de Markov indépendantes, de même matrice de transition P , irréductibles, récurrentes positives et et apériodiques, il en est de
même de Y = (X
1 , X
2 ).
Preuve. Le processus Y est clairement une chaîne de Markov. Sa matrice de transition
(P ⊗ P ) est définie par
(P ⊗ P ) (i,k),(j,l) = P i,j P k,l
et (P ⊗ P )
(n)
(i,k),(j,l) = P (i,k) (Y n = (j, l)) = P
(n)
i,j P
(n)
k,l . Montrons qu’elle est irréductible,
c’est à dire que pour tous i, j, k, l, il existe n tel que (P ⊗ P )
(n)
(i,k),(j,l) > 0. Nous savons
qu’il existe n 1 et n 2 tels que P
(n1)
i,j
> 0 et P
(n2)
k,l
> 0 puisque X est irréductible. Nous
savons de plus que X est apériodique. Dans ce cas, pour tout état j, il existe n(j) tel
que P
(n)
j,j > 0 pour tout n ≥ n(j). Prenons alors n ≥ n(j) + n(l) + n 1 + n 2 . Nous avons
P
(n)
i,j ≥ P
(n1)
i,j P
(n(j)+n(l)+n2)
j,j
> 0, et de même P
(n)
k,l > 0. Ainsi (P ⊗ P )
(n)
(i,k),(j,l) > 0. Comme
X est récurrente positive, elle admet une unique probabilité stationnaire π et il est facile
de voir que π ⊗ π est l’unique probabilité stationnaire pour Y . Par le Théorème 2.3.6 (3),
nous en déduisons que Y est récurrente positive.
Exemple 2.3.11 Considérons une chaîne de Markov X de naissance et mort à valeurs
dans {0, · · · , N}, telle que P i,i+1 = b(i), P i,i−1 = d(i), P i,i = 1 − b(i) − d(i), d(0) = b(N ) =
0. Supposons que pour tout i ∈ {0, · · · , N − 1}, b(i) > 0 et que pour tout i ∈ {1, · · · , N}
d(i) > 0. (La condition b(0) > 0 peut modéliser une forme d’immigration quand la
population s’éteint). La chaîne est irréductible et à espace d’état fini. La chaîne est donc
récurrente positive et admet une unique probabilité invariante, solution de πP = π qui
s’écrit ici : pour tout i < N,
b(i − 1)π i−1 + d(i + 1)π i+1 − π(i)(b(i) + d(i)) = 0 ; b(N − 1)π N −1 − d(N )π N = 0.
En particulier, cela donne pour i = N que
π(N )
π(N −1)
=
b(N −1)
d(N )
. De proche en proche, nous
pouvons montrer que pour i ∈ {1, · · · , N},
π(i) =
b(0)b(1) · · · b(i − 1)
d(1)d(2) · · · d(i)
π(0),
avec
π(0) =
1 +
N
i=1
b(0)b(1) · · · b(i − 1)
d(1)d(2) · · · d(i)
−1
.
Cette dernière expression est obtenue en utilisant que
N
i=0 π(i) = 1.
27
Lemme 2.3.10 Si X
1 et X
2 sont deux chaînes de Markov indépendantes, de même matrice de transition P , irréductibles, récurrentes positives et et apériodiques, il en est de
même de Y = (X
1 , X
2 ).
Preuve. Le processus Y est clairement une chaîne de Markov. Sa matrice de transition
(P ⊗ P ) est définie par
(P ⊗ P ) (i,k),(j,l) = P i,j P k,l
et (P ⊗ P )
(n)
(i,k),(j,l) = P (i,k) (Y n = (j, l)) = P
(n)
i,j P
(n)
k,l . Montrons qu’elle est irréductible,
c’est à dire que pour tous i, j, k, l, il existe n tel que (P ⊗ P )
(n)
(i,k),(j,l) > 0. Nous savons
qu’il existe n 1 et n 2 tels que P
(n1)
i,j
> 0 et P
(n2)
k,l
> 0 puisque X est irréductible. Nous
savons de plus que X est apériodique. Dans ce cas, pour tout état j, il existe n(j) tel
que P
(n)
j,j > 0 pour tout n ≥ n(j). Prenons alors n ≥ n(j) + n(l) + n 1 + n 2 . Nous avons
P
(n)
i,j ≥ P
(n1)
i,j P
(n(j)+n(l)+n2)
j,j
> 0, et de même P
(n)
k,l > 0. Ainsi (P ⊗ P )
(n)
(i,k),(j,l) > 0. Comme
X est récurrente positive, elle admet une unique probabilité stationnaire π et il est facile
de voir que π ⊗ π est l’unique probabilité stationnaire pour Y . Par le Théorème 2.3.6 (3),
nous en déduisons que Y est récurrente positive.
Exemple 2.3.11 Considérons une chaîne de Markov X de naissance et mort à valeurs
dans {0, · · · , N}, telle que P i,i+1 = b(i), P i,i−1 = d(i), P i,i = 1 − b(i) − d(i), d(0) = b(N ) =
0. Supposons que pour tout i ∈ {0, · · · , N − 1}, b(i) > 0 et que pour tout i ∈ {1, · · · , N}
d(i) > 0. (La condition b(0) > 0 peut modéliser une forme d’immigration quand la
population s’éteint). La chaîne est irréductible et à espace d’état fini. La chaîne est donc
récurrente positive et admet une unique probabilité invariante, solution de πP = π qui
s’écrit ici : pour tout i < N,
b(i − 1)π i−1 + d(i + 1)π i+1 − π(i)(b(i) + d(i)) = 0 ; b(N − 1)π N −1 − d(N )π N = 0.
En particulier, cela donne pour i = N que
π(N )
π(N −1)
=
b(N −1)
d(N )
. De proche en proche, nous
pouvons montrer que pour i ∈ {1, · · · , N},
π(i) =
b(0)b(1) · · · b(i − 1)
d(1)d(2) · · · d(i)
π(0),
avec
π(0) =
1 +
N
i=1
b(0)b(1) · · · b(i − 1)
d(1)d(2) · · · d(i)
−1
.
Cette dernière expression est obtenue en utilisant que
N
i=0 π(i) = 1.
27