246
Recherche opérationnelle
appelées probabilités de transition à la date , on peut résoudre complètement ce
problème. On a en effet pour tout
)
(
1)
(
=
)
(
t
P
t
P
t
P
ij
i
I
j
On peut calculer ainsi de proche en proche
.
Dans la suite de l'exposé, nous nous limiterons à la classe des chaînes de Markov dites
homogènes, c'est-à-dire telles que les probabilités de transition
ne dépendent pas
du temps. On posera alors :
, et on aura :
Nous nous limiterons encore aux chaînes de Markov finies, c'est-à-dire telles que le
nombre d'états possibles est fini et en nombre . Dans ces conditions,
ij
i
m
i
j
P
t
P
t
P
1)
(
=
)
(
1
=
On peut donner une expression plus synthétique de cette formule de récurrence. Si on
appelle
le vecteur ligne constitué par les
.
)]
(
....
)
(
....
)
(
),
(
[
=
)
(
2
1
t
P
t
P
t
P
t
P
t
P
m
i
et
la matrice
des
:
( est la probabilité de passer de l'état
à l'état
dans une phase quelconque du
processus). On peut écrire, d'après (1)
M
t
P
t
P
1)
(
=
)
(
ce qui donne immédiatement :
t
M
P
t
P
(0)
=
)
(
est le vecteur d'état à l'instant .
est appelée matrice de transition de la chaîne de Markov.
D'une façon générale, une telle matrice, dont les éléments sont tous positifs ou nuls, et
dont la somme des éléments d'une ligne quelconque est égale à 1
8 est appelée matrice
stochastique.
est, de la même façon appelé vecteur stochastique. Chacun des
éléments de ce vecteur est compris entre et , et leur somme est égale à .
La formule (3), à partir du moment où l'on connaît
et , permet théoriquement de
calculer
pour tout
8 Attention : il n'y a aucune raison que la somme des éléments d'une colonne soit égale à Pour un
donné, on peut avoir par simple
ce qui signifie que l'état ne sera jamais atteint.