13.6 Illustration des algorithmes de gradient et EM
407
f
1
n (x 0 , . . . , x n ) =
1
n
1≤k≤n
x k x k−1 et f
2
n (x 0 , . . . , x n ) =
1
n
0≤k x
2
k
De mˆ eme, on montre que
∂L
(θ)
n
∂θ 2 =
n
b
−1 +
1
b 2 f
3
n
(13.18)
avec
f
3
n (x 0 , . . . , x n ) :=
1
n
1≤k≤n
(x k − ax k−1 )
2
Enfin, nous avons
∂L
(θ)
n
∂θ 3 =
n
c
−1 +
1
c 2 f
4
n
(13.19)
avec
f
4
n (x 0 , . . . , x n ) =
1
n
0≤k (y k /h k (x k ))
2
13.6.4 Algorithme de gradient stochastique
Dans notre situation, la fonctionnelle additive Λ
(θ)
n d´ ecrite en (13.10) est
donn´ ee par la formule
Λ
(θ)
n =
Λ
(θ,1)
n
, Λ
(θ,2)
n
, Λ
(θ,3)
n
=
∂L
(θ)
n
∂θ 1 ,
∂L
(θ)
n
∂θ 2 ,
∂L
(θ)
n
∂θ 3
Plus pr´ ecis´ ement, nous avons montr´ e que
∇ log Z n (θ)
= Q
(θ)
n (Λ
(θ)
n )
=
Q
(θ)
n
∂L
(θ)
n
∂θ 1
, Q
(θ)
n
∂L
(θ)
n
∂θ 2
, Q
(θ)
n
∂L
(θ)
n
∂θ 3
=
n
b 2 Q
(θ)
n (f
1
n − af
2
n ),
n
b
−1 +
1
b 2 Q
(θ)
n (f
3
n )
,
n
c
−1 +
1
c 2 Q
(θ)
n (f
4
n )
Si on pose θ k = (a k , b k , c k ), l’algorithme de gradient d´ eterministe d´ ecrit en
(13.11) s’exprime sous la forme suivante
⎧
⎪ ⎪ ⎨
⎪ ⎪ ⎩
a k+1 = a k + τ k+1 n b
−2
k Q
(θ k )
n (f
1
n − a k f
2
n )
b k+1 = b k + τ k+1 n b
−1
k
−1 + b
−2
k Q
(θ k )
n (f
3
n )
c k+1 = c k + τ k+1 n c
−1
k
−1 + c
−2
k Q
(θ k )
n (f
4
n )