Les chaînes de Markov
259
Il est facile de voir à partir de (12) que si la chaîne de Markov est irréductible et
apériodique, et si tend vers l'infini, alors tend vers
étant la limite de la matrice
Les lignes de
étant toutes identiques et égales
alors, tous
les éléments de sont également identiques. Si
désigne l'un de ces éléments, on a :
j
j
m
j
m
q
g
1
=
=
(13)
représente la moyenne du gain par phase si le processus se déroule sur un laps de
temps important.
Si un agent économique retient ce critère (ce qui n'est pas évident), il peut choisir dans
certains cas entre plusieurs solutions possibles. Revenons ainsi au petit exemple de la
machine. Supposons que le coût de la panne soit :
si la réparation demande 1 jour
si la réparation demande 2 jours
avec
On a donc le graphe de transition suivant où les probabilités et les coûts sont indiqués :
On a donc dans ce cas :
0
=
1
q
2
1
2
)
(1
=
C
C
q
0
=
3
q
par ailleurs on a vu que le vecteur d'état limite
était :
F
R1
R2
F
R1
R2
1- ; 0