13.4 Algorithme de gradient stochastique
399
avec la fonctionnelle
Λ
(θ)
n (x 0 , . . . , x n ) :=
0≤p≤n
∇ log
G θ,p−1 (x p−1 ) H
(θ)
p (x p−1 , x p )
Pour p = 0, on utilise les conventions suivantes
G
(θ)
−1 (x −1 ) = 1 et H
(θ)
0 (x −1 , x 0 ) = H
(θ)
0 (x 0 )
Il est important de souligner la formule de d´ erivation logarithmique
∇ log Z n (θ) =
1
Z n (θ)
∇Z n (θ) = Q
(θ)
n (Λ
(θ)
n )
o` u Q
(θ)
n d´ esigne la mesure de Feynman-Kac normalis´ ee. Une repr´ esentation
bay´ esienne de ces mesures est donn´ ee en (13.3).
13.4.2 Algorithmes de gradient stochastiques
Dans certaines situations tr` es particuli` eres les fonctions
θ → Q
(θ)
n (Λ
(θ)
n )
sont calculables point par point.
Par exemple, dans le cadre de mod` eles de filtrage lin´ eaires et gaussiens
les lois conditionnelles Q
(θ)
n peuvent s’interpr´ eter comme les lois d’un processus gaussien ` a rebours. Le calcul r´ ecursif des param` etres de ces transitions
gaussiennes est d´ evelopp´ e en d´ etail dans la section 12.1.5. Dans ce contexte,
les int´ egrales des fonctionnelles additives Λ
(θ)
n sont souvent li´ ees ` a de simples
calculs de moyennes ou de variances.
Sur des espaces de dimension finie raisonnable, les repr´ esentations `
a rebours des lois conditionnelles d´ ecrites dans la section 12.1.5 peuvent aussi
ˆ etre calcul´ ees en utilisant les formulations matricielles ` a rebours d´ evelopp´ ees
dans la section 8.1.4.
Les algorithmes d´ eterministes de gradient associ´ es ` a ces mod` eles sont alors
simplement d´ efinis en it´ erant la s´ equence classique suivante
θ k = θ k−1 + τ k ∇ log Z n (θ k−1 ) = θ k−1 + τ k Q
(θ k−1 )
n
(Λ
(θ k−1 )
n
)
(13.11)
Pour am´ eliorer les performances de cet algorithme, on choisit en pratique
plusieurs points initiaux θ 0 , et des s´ equences de pas d´ ecroissants τ n satisfaisant la condition suivante :
k
τ k = ∞ et
k
τ
2
k < ∞
399
avec la fonctionnelle
Λ
(θ)
n (x 0 , . . . , x n ) :=
0≤p≤n
∇ log
G θ,p−1 (x p−1 ) H
(θ)
p (x p−1 , x p )
Pour p = 0, on utilise les conventions suivantes
G
(θ)
−1 (x −1 ) = 1 et H
(θ)
0 (x −1 , x 0 ) = H
(θ)
0 (x 0 )
Il est important de souligner la formule de d´ erivation logarithmique
∇ log Z n (θ) =
1
Z n (θ)
∇Z n (θ) = Q
(θ)
n (Λ
(θ)
n )
o` u Q
(θ)
n d´ esigne la mesure de Feynman-Kac normalis´ ee. Une repr´ esentation
bay´ esienne de ces mesures est donn´ ee en (13.3).
13.4.2 Algorithmes de gradient stochastiques
Dans certaines situations tr` es particuli` eres les fonctions
θ → Q
(θ)
n (Λ
(θ)
n )
sont calculables point par point.
Par exemple, dans le cadre de mod` eles de filtrage lin´ eaires et gaussiens
les lois conditionnelles Q
(θ)
n peuvent s’interpr´ eter comme les lois d’un processus gaussien ` a rebours. Le calcul r´ ecursif des param` etres de ces transitions
gaussiennes est d´ evelopp´ e en d´ etail dans la section 12.1.5. Dans ce contexte,
les int´ egrales des fonctionnelles additives Λ
(θ)
n sont souvent li´ ees ` a de simples
calculs de moyennes ou de variances.
Sur des espaces de dimension finie raisonnable, les repr´ esentations `
a rebours des lois conditionnelles d´ ecrites dans la section 12.1.5 peuvent aussi
ˆ etre calcul´ ees en utilisant les formulations matricielles ` a rebours d´ evelopp´ ees
dans la section 8.1.4.
Les algorithmes d´ eterministes de gradient associ´ es ` a ces mod` eles sont alors
simplement d´ efinis en it´ erant la s´ equence classique suivante
θ k = θ k−1 + τ k ∇ log Z n (θ k−1 ) = θ k−1 + τ k Q
(θ k−1 )
n
(Λ
(θ k−1 )
n
)
(13.11)
Pour am´ eliorer les performances de cet algorithme, on choisit en pratique
plusieurs points initiaux θ 0 , et des s´ equences de pas d´ ecroissants τ n satisfaisant la condition suivante :
k
τ k = ∞ et
k
τ
2
k < ∞