CHAPITRE 2. POPULATIONS SPATIALES ET TEMPS DISCRET
Proposition 2.3.3 Si i ←→ j, alors i et j sont simultanément transitoires ou récurrents.
Si la chaîne est irréductible, les états sont soit tous récurrents, soit tous transients et la
chaîne est alors dite récurrente ou transitoire. Dans le cas où tous les états sont récurrents,
la chaîne est dite irréductible récurrente.
Preuve. Supposons que i soit récurrent. Alors les temps de passage successifs en i, notés
T
k
i , sont finis P i -presque-sûrement. Appelons Y k le nombre de passages en j entre T
k−1
i
et T
k
i . La propriété de Markov forte entraîne que les variables aléatoires Y k sont indépendantes et équidistribuées sous P i et par hypothèse, (puisque i −→ j), P i (Y 1 = 0) < 1. En
particulier, pour tout n,
P i (∪ k≥0 {Y k+1 = Y k+2 = · · · = 0}) = lim
k
P i (Y k+1 = Y k+2 = · · · = 0)
= P i (∀k, Y k = 0) ≤ P i (Y 1 = · · · = Y n = 0) = P i (Y 1 = 0)
n ,
d’où P i (∪ k≥0 {Y k+1 = Y k+2 = · · · = 0}) = 0. Soit N j =
k≥1 Y k le nombre de passage en
j. Alors
P i (N j < +∞) = P i (∪ k≥0 {Y k+1 = Y k+2 = · · · = 0}) = 0,
et P i (N j = +∞) = 1. La propriété de Markov implique par ailleurs que
P i (N j = +∞) = P i (T j < +∞) P j (N j = +∞).
(2.7)
Nous en déduisons que P j (N j = +∞) = 1 et que l’état j est récurrent.
Signalons qu’une autre preuve de la Proposition 2.3.3 est donnée dans l’Exercice 2.6.2.
Nous allons maintenant étudier le comportement en temps long d’une chaîne de Markov
irréductible et récurrente.
Définition 2.3.4 Une probabilité stationnaire pour la chaîne de Markov de matrice de
transition (P i,j ) i,j∈N est une probabilité π = (π i ) i∈Z telle que
π P = π ⇐⇒
i
π i P i,j = π j , ∀j ∈ Z.
(2.8)
Cette probabilité représente un équilibre en loi de la chaîne, au sens où si la condition
initiale X 0 a pour loi π, alors à chaque instant n, la variable aléatoire X n a la loi π.
Celle-ci s’appelle aussi la loi invariante de X. L’équation (2.8), réécrite sous la forme
i =j
π i P i,j = π j (1 − P j,j ),
peut être vue comme un bilan égalisant ce qui part de l’état j et ce qui arrive en j. La
recherche d’une probabilité invariante se ramène à un problème d’algèbre linéaire, puisque
le vecteur π est un vecteur propre à gauche de la matrice P associé à la valeur propre
1. Dans le cas de la dimension finie, l’existence et l’unicité d’un tel vecteur sont liées au
théorème de Perron-Frobenius.
En effet, dans le cas particulier d’un espace d’état fini, on a le théorème suivant.
22
Proposition 2.3.3 Si i ←→ j, alors i et j sont simultanément transitoires ou récurrents.
Si la chaîne est irréductible, les états sont soit tous récurrents, soit tous transients et la
chaîne est alors dite récurrente ou transitoire. Dans le cas où tous les états sont récurrents,
la chaîne est dite irréductible récurrente.
Preuve. Supposons que i soit récurrent. Alors les temps de passage successifs en i, notés
T
k
i , sont finis P i -presque-sûrement. Appelons Y k le nombre de passages en j entre T
k−1
i
et T
k
i . La propriété de Markov forte entraîne que les variables aléatoires Y k sont indépendantes et équidistribuées sous P i et par hypothèse, (puisque i −→ j), P i (Y 1 = 0) < 1. En
particulier, pour tout n,
P i (∪ k≥0 {Y k+1 = Y k+2 = · · · = 0}) = lim
k
P i (Y k+1 = Y k+2 = · · · = 0)
= P i (∀k, Y k = 0) ≤ P i (Y 1 = · · · = Y n = 0) = P i (Y 1 = 0)
n ,
d’où P i (∪ k≥0 {Y k+1 = Y k+2 = · · · = 0}) = 0. Soit N j =
k≥1 Y k le nombre de passage en
j. Alors
P i (N j < +∞) = P i (∪ k≥0 {Y k+1 = Y k+2 = · · · = 0}) = 0,
et P i (N j = +∞) = 1. La propriété de Markov implique par ailleurs que
P i (N j = +∞) = P i (T j < +∞) P j (N j = +∞).
(2.7)
Nous en déduisons que P j (N j = +∞) = 1 et que l’état j est récurrent.
Signalons qu’une autre preuve de la Proposition 2.3.3 est donnée dans l’Exercice 2.6.2.
Nous allons maintenant étudier le comportement en temps long d’une chaîne de Markov
irréductible et récurrente.
Définition 2.3.4 Une probabilité stationnaire pour la chaîne de Markov de matrice de
transition (P i,j ) i,j∈N est une probabilité π = (π i ) i∈Z telle que
π P = π ⇐⇒
i
π i P i,j = π j , ∀j ∈ Z.
(2.8)
Cette probabilité représente un équilibre en loi de la chaîne, au sens où si la condition
initiale X 0 a pour loi π, alors à chaque instant n, la variable aléatoire X n a la loi π.
Celle-ci s’appelle aussi la loi invariante de X. L’équation (2.8), réécrite sous la forme
i =j
π i P i,j = π j (1 − P j,j ),
peut être vue comme un bilan égalisant ce qui part de l’état j et ce qui arrive en j. La
recherche d’une probabilité invariante se ramène à un problème d’algèbre linéaire, puisque
le vecteur π est un vecteur propre à gauche de la matrice P associé à la valeur propre
1. Dans le cas de la dimension finie, l’existence et l’unicité d’un tel vecteur sont liées au
théorème de Perron-Frobenius.
En effet, dans le cas particulier d’un espace d’état fini, on a le théorème suivant.
22