Les chaînes de Markov
247
Remarques importantes :
1) Appelons
l'élément
de la matrice
. Il est évident que
est égal à la
probabilité de passer de l'état . à l'état en exactement épreuves. On a
seront appelées probabilités de transition d'ordre .
2) On a les équations suivantes:
)
2
(
)
1
(
1
=
)
( =
t
kj
t
ik
m
k
t
ij
P
P
P
pour tous
entiers tels que
. Il s'agit des équations de ChapmannKolmogorov.
10.2. PROBLEME DU VECTEUR STOCHASTIQUE LIMITE
Comme nous l'avons déjà souligné, la formule (3) permet d'obtenir le vecteur
pour
tout . En fait, dans la plupart des cas, on observe des phénomènes qui se déroulent sur
un grand nombre de périodes. Il suffit alors d'examiner ce que devient
lorsque
devient grand, ou encore de calculer la limite de
, si elle existe, lorsque tend vers
l'infini.
Dans ces conditions, la limite de
lorsque tend vers l'infini, fournit les probabilités
qu'a le système de se trouver dans les divers états
et cela à n'importe quelle
date suffisamment éloignée de l'instant initial du processus.
Par ailleurs on exige en général du vecteur limite, lorsqu'il existe, une autre qualité : si
l'on appelle
cette limite,
on s'intéresse plus particulièrement aux chaînes de Markov pour lesquelles
est
indépendant de
c'est-à-dire de l'état du système à l'instant initial. De telles chaînes
de Markov sont dites ergodiques.
L'intérêt de telles chaînes vient du fait que, d'une part le processus est stationnaire, au
bout d'un temps suffisamment long, c'est-à-dire que la distribution des états du système
reste constante au cours du temps, et que d'autre part, cette distribution ne dépend pas de
l'instant initial qui est en général indéterminé. Cela dit, dans quelles conditions une
chaîne de Markov est-elle ergodique ?
Nous allons donner ces conditions sans entrer dans les démonstrations correspondantes,
mais en essayant de montrer à quels phénomènes simples renvoient les résultats
annoncés.