Les chaînes de Markov
263
10.6.1. Le cas déterministe
On a pour le cas déterministe la configuration suivante:
On a symbolisé les différents états possibles à la date par la seule variable . Par
exemple on a
}
...
,
{
=
)
(
)
(
)
(
1
)
(
0
t
t
i
t
t
t
E
E
E
x
On remarquera que par ailleurs, cette écriture permet d'envisager la situation où la
variable état est continue.
Lorsque l'on passe de
le coût de cette transition est
Par ailleurs,
les
accessibles à partir de forment un sous-ensemble que l'on appellera
Dans ces conditions, nous appellerons politique (et non plus stratégie, pour opposer le
cas déterministe au cas aléatoire), un ensemble de
choix possibles
Remarque :
On pourra toujours supposer
et
imposés. Si ce n'était pas le cas, il suffirait
d'ajouter des phases supplémentaires « fictives » avant ou après le processus. Par
exemple, si
n'est pas fixé, il suffit d'ajouter une phase
avec un seul état
et
On se ramène ainsi au cas où
est fixé. Pour une politique
déterminée, le coût total est :
t
t+1
x 1
x t
x t+1
V t (x t ,x t+1 )
x T