336
25 Processus d’Ornstein-Uhlenbeck
Ent(μ 1 | μ 2 ) =
⎧
⎨
⎩
dμ 1
dμ 2
log
dμ 1
dμ 2
dμ 2 si μ 1 μ 2 ,
+∞
sinon.
Bien qu’il ne s’agisse pas d’une distance, elle est positive, et nulle si et seulement si μ = ν (ceci découle de l’inégalité de Jensen pour la fonction strictement convexe x ∈ R + → u log(u) avec 0 log(0) = 0). La distance de Wasserstein d’ordre 2 entre μ 1 et μ 2 est donnée par
W 2 (μ 1 , μ 2 ) = inf
X1∼μ1
X2∼μ2
E
|X 1 − X 2 |
2
,
où l’infimum porte sur les couples (X 1 , X 2 ) de variables aléatoires dont les
lois marginales sont μ 1 et μ 2 . Les distances de Wasserstein de tous ordres sont
définies dans le chapitre 17. Ces deux quantités Ent(μ 1 | μ 2 ) et W 2 (μ 1 | μ 2 ) ont
une expression explicite si μ 1 et μ 2 sont deux mesures gaussiennes.
Théorème 25.14 (Distances entre lois gaussiennes). Si μ 1 = N (m 1 , σ 1 ) et
μ 2 = N (m 2 , σ 2 ) sur R alors
W 2 (μ 1 , μ 2 )
2 = (m 1 − m 2 )
2 + (σ 1 − σ 2 )
2 .
D’autre part, si σ 1 > 0 et σ 2 > 0 alors
Ent(μ 1 | μ 2 ) = log
σ 2
σ 1
+
σ
2
1 − σ
2
2 + (m 1 − m 2 )
2
2σ 2
2
.
Démonstration. Commençons par la formule pour la distance de Wasserstein.
Soit (X 1 , X 2 ) un couple de v.a.r. tel que X i ∼ μ i = N (m i , σ
2
i ) pour i = 1, 2.
On a
E(|X 1 − X 2 |
2 ) = E(X
2
1 ) + E(X 2 )
2
− 2E(X 1 X 2 )
= (m 1 − m 2 )
2 + σ
2
1 + σ
2
2 − 2Cov(X 1 , X 2 ).
Cette formule ne dépend que de la moyenne et de la matrice de covariance du
vecteur aléatoire (X 1 , X 2 ). On a
W 2 (μ 1 , μ 2 )
2 = (m 1 − m 2 )
2 + σ
2
1 + σ
2
2 − 2 sup
C∈C
C 12
où C désigne l’ensemble des matrices de covariance 2 × 2 dont la diagonale
est prescrite par C 11 = σ
2
1 et C 22 = σ
2
2 . Comme l’ensemble des matrices
de covariance coïncide avec l’ensemble des matrices symétriques à spectre
positif ou nul, l’appartenance à C se traduit par la contrainte supplémentaire
det(C) = σ
2
1 σ
2
2 − C
2
12 0, d’où C 12 = σ 1 σ 2 , ce qui conduit au résultat.
Pour la formule pour l’entropie, on écrit
Ent(μ 1 | μ 2 ) =
log
dμ 1
dμ 2
dμ 1
25 Processus d’Ornstein-Uhlenbeck
Ent(μ 1 | μ 2 ) =
⎧
⎨
⎩
dμ 1
dμ 2
log
dμ 1
dμ 2
dμ 2 si μ 1 μ 2 ,
+∞
sinon.
Bien qu’il ne s’agisse pas d’une distance, elle est positive, et nulle si et seulement si μ = ν (ceci découle de l’inégalité de Jensen pour la fonction strictement convexe x ∈ R + → u log(u) avec 0 log(0) = 0). La distance de Wasserstein d’ordre 2 entre μ 1 et μ 2 est donnée par
W 2 (μ 1 , μ 2 ) = inf
X1∼μ1
X2∼μ2
E
|X 1 − X 2 |
2
,
où l’infimum porte sur les couples (X 1 , X 2 ) de variables aléatoires dont les
lois marginales sont μ 1 et μ 2 . Les distances de Wasserstein de tous ordres sont
définies dans le chapitre 17. Ces deux quantités Ent(μ 1 | μ 2 ) et W 2 (μ 1 | μ 2 ) ont
une expression explicite si μ 1 et μ 2 sont deux mesures gaussiennes.
Théorème 25.14 (Distances entre lois gaussiennes). Si μ 1 = N (m 1 , σ 1 ) et
μ 2 = N (m 2 , σ 2 ) sur R alors
W 2 (μ 1 , μ 2 )
2 = (m 1 − m 2 )
2 + (σ 1 − σ 2 )
2 .
D’autre part, si σ 1 > 0 et σ 2 > 0 alors
Ent(μ 1 | μ 2 ) = log
σ 2
σ 1
+
σ
2
1 − σ
2
2 + (m 1 − m 2 )
2
2σ 2
2
.
Démonstration. Commençons par la formule pour la distance de Wasserstein.
Soit (X 1 , X 2 ) un couple de v.a.r. tel que X i ∼ μ i = N (m i , σ
2
i ) pour i = 1, 2.
On a
E(|X 1 − X 2 |
2 ) = E(X
2
1 ) + E(X 2 )
2
− 2E(X 1 X 2 )
= (m 1 − m 2 )
2 + σ
2
1 + σ
2
2 − 2Cov(X 1 , X 2 ).
Cette formule ne dépend que de la moyenne et de la matrice de covariance du
vecteur aléatoire (X 1 , X 2 ). On a
W 2 (μ 1 , μ 2 )
2 = (m 1 − m 2 )
2 + σ
2
1 + σ
2
2 − 2 sup
C∈C
C 12
où C désigne l’ensemble des matrices de covariance 2 × 2 dont la diagonale
est prescrite par C 11 = σ
2
1 et C 22 = σ
2
2 . Comme l’ensemble des matrices
de covariance coïncide avec l’ensemble des matrices symétriques à spectre
positif ou nul, l’appartenance à C se traduit par la contrainte supplémentaire
det(C) = σ
2
1 σ
2
2 − C
2
12 0, d’où C 12 = σ 1 σ 2 , ce qui conduit au résultat.
Pour la formule pour l’entropie, on écrit
Ent(μ 1 | μ 2 ) =
log
dμ 1
dμ 2
dμ 1