Les chaînes de Markov
271
Comme par ailleurs, les espérances mathématiques se composent, on a alors :
(15)
)]
1)
(
(
[
=
)
(
1
1
1)
(
1
=
1
t
jk
k
t
jk
t
m
k
t
ij
i
P
t
V
r
Min
t
V
)
(
/
1
t
i
t
j
E
D
j
formule qui permet d'obtenir à la fois
et l'espérance correspondante. L'algorithme de
résolution est alors le suivant :
Phase
)
(
/
1
T
i
T
j
E
D
j
Phase
1))]
(
(
[
=
2)
(
1
1
1)
(
1
=
1
T
V
r
P
Min
T
V
k
T
jk
T
jk
T
m
k
T
ij
i
)
(
/
2
1
T
i
T
j
E
D
j
Phase
))]
(
(
[
=
1)
(
)
(
1
=
t
V
r
P
Min
t
V
k
t
jk
t
jk
t
m
k
t
ij
i
)
(
/
1
t
i
t
j
E
D
j
Phase 1
(1))]
(
[
=
(0)
1
1
(1)
1
=
1
k
jk
jk
m
k
ij
i
V
r
P
Min
V
)
(
/
0
1
i
j
E
D
j
Remarque très importante : on est obligé, en programmation dynamique aléatoire, de
remonter le temps. En effet, le terme d'espérance mathématique en un état donné, à un