Les chaînes de Markov
277
En particulier, si l'on se donne une stratégie, on peut calculer les espérances
mathématiques en chacun des états
grâce aux équations de récurrence (10). On peut
ainsi comparer différentes stratégies.
Mais, là aussi, on voit de quelle aide peut être le principe d'optimalité : le nombre de
stratégies possibles devient tout de suite très grand dès que le nombre de phases et d'états
dépasse des valeurs très modestes.
Un cas particulièrement important, en théorie, de la programmation dynamique discrète
est celui où il y a homogénéité, à la fois des états, des probabilités et des revenus :
t
D
D
E
E
k
t
k
i
t
i
=
=
t
ij
t
ij =
t
P
P
jk
t
jk =
t
r
r
jk
t
jk =
Comme aux paragraphes précédents, il est alors usuel de se placer en régime permanent
c'est-à-dire de faire tendre vers l'infini.
On démontre alors qu'il y a une stratégie permanente, c'est-à-dire qu'à chaque phase , il
convient de prendre les mêmes décisions :
j
i
D
E
Des méthodes permettent de trouver ces stratégies permanentes. Elles s'appuient sur les
résultats du paragraphe 10.4. L'exposé de ces points dépasse le cadre limité de cet
ouvrage. Nous nous contenterons ici de souligner la caractère extraordinairement
limitatif des hypothèses nécessaires pour formaliser un problème de gestion par un
processus DH ou HD homogène dans le temps.