Les chaînes de Markov
245
10.1.2. Chaîne de Markov
Les chaînes de Markov sont des suites stochastiques particulières : on appellera chaîne
de Markov une suite stochastique à ensemble-état discret telle que l'évolution du système
entre l'instant
ne dépend pas des états du système avant l'état
et cela pour
tout instant . Autement dit, avec les notations classiques des probabilités, on a :
P
=
k
X t =
[
]
=
|
1
1
t
t
i
X
étant la probabilité de l'évènement conditionné par l’évènement .
Remarque : plus généralement, on dit qu'on a affaire à une chaîne de Markov d'ordre
si l'on a :
P
]
=
....
,
=
=
|
=
[
1
1
1
1
0,
0
t
t
t
i
X
i
X
i
X
k
X
P
=
k
X t =
[
]
=
....
=
,
=
|
1
1
1
1
t
t
m
t
m
t
m
t
m
t
i
X
i
X
i
X
En d'autres termes : l'état à une période quelconque dépend des états rencontrés pendant
les
périodes précédentes. Nous nous contentons ici d'étudier les chaînes de Markov
d'ordre .
Pour les exemples considérés ci-dessus, on voit que le premier ne correspond pas en
général à un processus markovien : la durée de réparation étant aléatoire et pouvant
dépasser plusieurs jours, le nombre de machines en fonctionnement, pour une matinée
donnée, dépend non seulement de ce qui s'est passé le jour précédent, mais également
des autres jours.
Pour le second, si les nombres de patients prenant rendez-vous chaque jour sont des
variables indépendantes, on voit que, au début d'une journée quelconque, la loi de
probabilité de la variable (nombre de malades inscrits par exemple), ne dépend que de
l'état du carnet de rendez-vous au début de la journée précédente. On a bien ici affaire à
une chaîne de Markov.
Le problème que l'on se pose dans une chaîne de Markov est de connaître la distribution
de probabilité de pour tout , c'est-à-dire les quantités :
On voit que si l'on connaît la distribution de probabilités initiale, c'est-à-dire :
étant l'instant de démarrage du processus, et si l'on connaît toutes les probabilités