402
13 Analyse bay´ esienne
dQ
(θ)
n
d [λ 0 ⊗ . . . ⊗ λ n ]
=
1
Z n (θ)
exp L
(θ)
n
Par cons´ equent, pour tout couple de valeurs (θ, θ
) du param` etre, les mesures
Q
(θ)
n et Q
(θ
)
n
sont absolument continues et on a
dQ
(θ)
n
dQ
(θ )
n
=
dQ
(θ)
n
d [λ 0 ⊗ . . . ⊗ λ n ]
×
d [λ 0 ⊗ . . . ⊗ λ n ]
dQ
(θ )
n
= (Z n (θ
)/Z n (θ)) exp
L
(θ)
n − L
(θ
)
n
L’entropie relative entre la mesure Q
(θ)
n et la mesure de r´ ef´ erence Q
(θ
)
n
est
donn´ ee par la formule
Ent
Q
(θ)
n
Q
(θ
)
n
:= Q
(θ)
n
log
dQ
(θ)
n
dQ
(θ )
n
≥ 0
D’apr` es la discussion pr´ ec´ edente, nous avons
Ent
Q
(θ)
n
Q
(θ
)
n
𨐿
= log (Z n (θ
)/Z n (θ)) + Q
(θ)
n
𨐿
L
(θ)
n − L
(θ
)
n
𨐿
13.5.2 Algorithme EM particulaire
Commen¸ cons par souligner que l’algorithme EM est tout simplement fond´ e
sur le fait que l’entropie relative entre deux mesures est une quantit´ e positive.
Plus pr´ ecis´ ement, en utilisant cette simple remarque nous avons
Q
(θ)
n
L
(θ)
n
− Q
(θ)
n
L
(θ
)
n
≥ log Z n (θ) − log Z n (θ
)
Autrement dit, pour toute valeur donn´ ee θ, la fonction
θ
→ Q
(θ)
n
L
(θ
)
n
est croissante autour du point θ
= θ sur les mˆ emes plages de param` etres que
la fonction θ
→ Z
(θ
)
n , au sens o` u l’on a
Q
(θ)
n
L
(θ)
n
≤ Q
(θ)
n
L
(θ
)
n
⇒ Z n (θ) ≤ Z n (θ
)
Par cons´ equent, en choisissant de fa¸ con it´ erative une suite de param` etres
θ k := max
θ
Q
(θ k−1 )
n
L
(θ)
n
on obtient une suite ` a vraisemblance croissante
Z n (θ k ) ≥ Z n (θ k−1 )