Les chaînes de Markov
269
où rappelons-le :
-
sont des états possibles au début de la phase .
-
sont des décisions possibles à la phase
-
est le coût de la décision
.
-
est la probabilité de passer de l'état
.
-
le coût de ce passage.
- le nombre total de phases.
Appelons par ailleurs
l'ensemble des décisions que l'on peut prendre à partir de
Rappelons qu'une stratégie est constituée de applications
)
(
1
1
t
i
t
j
t
i
E
D
E
En des termes plus simples, une stratégie dit quelle décision il faut prendre lorsque l'on
se trouve en un état donné d'une phase donnée.
Cela dit, si l'on veut choisir entre plusieurs stratégies, quel critère utiliser ? C'est
habituellement, puisque nous sommes en univers aléatoire, l'espérance mathématique, ce
qui suppose en général que le nombre de phases prises en compte est suffisamment
grand (loi des grands nombres).
On appellera donc stratégie optimale, la stratégie qui minimisera l'espérance
mathématique des coûts.
Comme dans le cas déterministe, où l'on parlait de sous-politique, définissons une sousstratégie : une-sous stratégie de la phase à la phase est un ensemble de
applications.
D
Phase 1
Phase t
Phase T
E 0
i
E 1
k
D 1
j
p 1
jk r 1
jk
H
0
D
E t-1
i
E t
k
D t
j
H
t -1
D
E T-1
i
E T
k
D T
j
H
T-1
1
t
T