398
13 Analyse bay´ esienne
Les algorithmes classiques de descente ou de mont´ ee de gradient permettent de calculer les valeurs du param` etre θ
qui minimisent ou maximisent localement une fonction. L’unique difficult´ e de mise en œuvre de ces
algorithmes ´ el´ ementaires est souvent de calculer le gradient de la fonction.
Dans notre cas, il convient de maximiser la fonction de vraisemblance
θ → Z n+1 (θ) = p(y 0 , . . . , y n |θ)
Dans la section 8.4.3, nous avons d´ evelopp´ e des techniques de d´ erivation de
mesures de Feynman-Kac associ´ ees ` a des familles d’objets (η θ,0 , G θ,n , M θ,n )
index´ ees par un param` etre θ ∈ S = R
d .
En reprenant les notations de la section 8.4.3, ces fonctions θ → Z n+1 (θ)
co¨ ıncident avec les constantes de normalisation des mesures de Feynman-Kac
non normalis´ ees
Z n+1 (θ) = Γ
(θ)
n+1 (1) = γ
(θ)
n+1 (1) = E
⎛
⎝
0≤p≤n
G
(θ)
p
X
(θ)
p
⎞
⎠
Dans la formule ci-dessus, les potentiels G
(θ)
n d´ esignent les fonctions de vraisemblances locales (13.1) associ´ ees aux observations y n donn´ ees par
G
(θ)
n (x n ) = g θ,n (y n , x n ) = p(y n |x n , θ)
Avec les notations de la section 13.2, nous avons G
(θ)
n = G θ,n .
Le processus de Markov de r´ ef´ erence X
(θ)
n n’est rien d’autre que la chaˆ ıne
de Markov cach´ ee de loi initiale η θ,0 , et de transitions de probabilit´ es M θ,n
introduite au d´ ebut de la section 13.2. Autrement dit, en termes bay´ esiens
nous avons
M θ,n (x n−1 , dx n ) = dp(x n |x n−1 , θ)
Nous supposerons par la suite que les lois initiales η θ,0 et les transitions
markoviennes M θ,n sont `
a densit´ e H
(θ)
n par rapport `
a une loi de r´ ef´ erence λ n ;
autrement dit, nous avons
M θ,n (x n−1 , dx n ) = H
(θ)
n (x n−1 , x n ) λ n (dx n )
η θ,0 (dx 0 ) = H
(θ)
0 (x 0 ) λ 0 (dx 0 )
(13.9)
Dans cette situation, nous avons montr´ e dans la section 8.4.3 que les gradients des constantes de normalisation Z n (θ) sont donn´ es par les int´ egrales
de gradients de fonctionnelles additives
∇Z n (θ) = ∇Γ
(θ)
n (1) = Γ
(θ)
n (Λ
(θ)
n )
(13.10)
13 Analyse bay´ esienne
Les algorithmes classiques de descente ou de mont´ ee de gradient permettent de calculer les valeurs du param` etre θ
qui minimisent ou maximisent localement une fonction. L’unique difficult´ e de mise en œuvre de ces
algorithmes ´ el´ ementaires est souvent de calculer le gradient de la fonction.
Dans notre cas, il convient de maximiser la fonction de vraisemblance
θ → Z n+1 (θ) = p(y 0 , . . . , y n |θ)
Dans la section 8.4.3, nous avons d´ evelopp´ e des techniques de d´ erivation de
mesures de Feynman-Kac associ´ ees ` a des familles d’objets (η θ,0 , G θ,n , M θ,n )
index´ ees par un param` etre θ ∈ S = R
d .
En reprenant les notations de la section 8.4.3, ces fonctions θ → Z n+1 (θ)
co¨ ıncident avec les constantes de normalisation des mesures de Feynman-Kac
non normalis´ ees
Z n+1 (θ) = Γ
(θ)
n+1 (1) = γ
(θ)
n+1 (1) = E
⎛
⎝
0≤p≤n
G
(θ)
p
X
(θ)
p
⎞
⎠
Dans la formule ci-dessus, les potentiels G
(θ)
n d´ esignent les fonctions de vraisemblances locales (13.1) associ´ ees aux observations y n donn´ ees par
G
(θ)
n (x n ) = g θ,n (y n , x n ) = p(y n |x n , θ)
Avec les notations de la section 13.2, nous avons G
(θ)
n = G θ,n .
Le processus de Markov de r´ ef´ erence X
(θ)
n n’est rien d’autre que la chaˆ ıne
de Markov cach´ ee de loi initiale η θ,0 , et de transitions de probabilit´ es M θ,n
introduite au d´ ebut de la section 13.2. Autrement dit, en termes bay´ esiens
nous avons
M θ,n (x n−1 , dx n ) = dp(x n |x n−1 , θ)
Nous supposerons par la suite que les lois initiales η θ,0 et les transitions
markoviennes M θ,n sont `
a densit´ e H
(θ)
n par rapport `
a une loi de r´ ef´ erence λ n ;
autrement dit, nous avons
M θ,n (x n−1 , dx n ) = H
(θ)
n (x n−1 , x n ) λ n (dx n )
η θ,0 (dx 0 ) = H
(θ)
0 (x 0 ) λ 0 (dx 0 )
(13.9)
Dans cette situation, nous avons montr´ e dans la section 8.4.3 que les gradients des constantes de normalisation Z n (θ) sont donn´ es par les int´ egrales
de gradients de fonctionnelles additives
∇Z n (θ) = ∇Γ
(θ)
n (1) = Γ
(θ)
n (Λ
(θ)
n )
(13.10)