238
CHAPITRE 18 : LE TH ´
EOR `
EME CENTRAL LIMIT
aient ´ et´ e commises simultan´ ement est, compte tenu de l’ind´ ependance des
observations :
(1.1)
L(x 1 , . . . , x n ; θ) = f (x 1 − θ) . . . f(x n − θ).
C’est la fonction de vraisemblance dans le langage moderne.
Il est ` a pr´ esent naturel de chercher les densit´ es f v´ erifiant les hypoth` eses
(H) telles que la fonction L(θ) d´ efinie par (1.1) prenne sa valeur maximale au
point θ = ˜
θ = x. En langage moderne, on cherche les densit´ es f v´ erifiant (H)
telles que l’estimation de θ par la m´ ethode des moindres carr´ es co¨ ıncide avec
son estimation par le maximum de vraisemblance. Gauss montre que les seules
densit´ es qui satisfont ces conditions sont les densit´ es normales (centr´ ees).
c) ´
Ecrivons (1.1) sous la forme :
Log L(θ) = Log f (x 1 − θ) + · · · + Log f (x n − θ).
On cherche f v´ erifiant (H) telle que pour tout n et toute suite (x 1 , . . . x n ),
on ait
d
dθ
Log L(θ)
θ=x
= 0,
c’est-` a-dire en posant g = Log f
g
(x 1 − x) + · · · + g
(x n − x) = 0.
Pour r´ esoudre cette ´ equation fonctionnelle, nous prenons en particulier :
x 2 = · · · = x n = x 1 − ny avec y r´ eel. Alors x = x 1 − (n − 1)y ; d’o` u
x 1 − x = (n − 1)y et x 2 − x = · · · = x n − x = −y. On a alors, pour
tout n et tout y
g
(n − 1)y
+ (n − 1)g
(−y) = 0.
Comme f est paire, on a g
(−y) = −g
(y), d’o` u g
(n − 1)y
= (n − 1)g
(y),
ou encore
g
(n − 1)y
(n − 1)y
=
g
(y)
y
= k ;
soit encore g
(x) = kx et Log f (x) = g(x) = k(x
2 /2) + C. En adaptant les
constantes de telle fa¸ con que f v´ erifie les hypoth` eses (H), on voit que f est
la densit´ e d’une loi normale (centr´ ee).
Remarque. — Voyons sur un exemple que si f n’est pas une densit´ e
normale, l’estimation x par la m´ ethode des moindres carr´ es est en g´ en´ eral
diff´ erente de l’estimation par le maximum de vraisemblance. Prenons
f (x) =
1
2
e
−|x|
(densit´ e de la premi` ere loi de Laplace).
La fonction de vraisemblance est :
L(x 1 , . . . , x n ; θ) = f (x 1 − θ) . . . f(x n − θ) =
1
2
n
exp
−
n
k=1
|x k − θ|
.
CHAPITRE 18 : LE TH ´
EOR `
EME CENTRAL LIMIT
aient ´ et´ e commises simultan´ ement est, compte tenu de l’ind´ ependance des
observations :
(1.1)
L(x 1 , . . . , x n ; θ) = f (x 1 − θ) . . . f(x n − θ).
C’est la fonction de vraisemblance dans le langage moderne.
Il est ` a pr´ esent naturel de chercher les densit´ es f v´ erifiant les hypoth` eses
(H) telles que la fonction L(θ) d´ efinie par (1.1) prenne sa valeur maximale au
point θ = ˜
θ = x. En langage moderne, on cherche les densit´ es f v´ erifiant (H)
telles que l’estimation de θ par la m´ ethode des moindres carr´ es co¨ ıncide avec
son estimation par le maximum de vraisemblance. Gauss montre que les seules
densit´ es qui satisfont ces conditions sont les densit´ es normales (centr´ ees).
c) ´
Ecrivons (1.1) sous la forme :
Log L(θ) = Log f (x 1 − θ) + · · · + Log f (x n − θ).
On cherche f v´ erifiant (H) telle que pour tout n et toute suite (x 1 , . . . x n ),
on ait
d
dθ
Log L(θ)
θ=x
= 0,
c’est-` a-dire en posant g = Log f
g
(x 1 − x) + · · · + g
(x n − x) = 0.
Pour r´ esoudre cette ´ equation fonctionnelle, nous prenons en particulier :
x 2 = · · · = x n = x 1 − ny avec y r´ eel. Alors x = x 1 − (n − 1)y ; d’o` u
x 1 − x = (n − 1)y et x 2 − x = · · · = x n − x = −y. On a alors, pour
tout n et tout y
g
(n − 1)y
+ (n − 1)g
(−y) = 0.
Comme f est paire, on a g
(−y) = −g
(y), d’o` u g
(n − 1)y
= (n − 1)g
(y),
ou encore
g
(n − 1)y
(n − 1)y
=
g
(y)
y
= k ;
soit encore g
(x) = kx et Log f (x) = g(x) = k(x
2 /2) + C. En adaptant les
constantes de telle fa¸ con que f v´ erifie les hypoth` eses (H), on voit que f est
la densit´ e d’une loi normale (centr´ ee).
Remarque. — Voyons sur un exemple que si f n’est pas une densit´ e
normale, l’estimation x par la m´ ethode des moindres carr´ es est en g´ en´ eral
diff´ erente de l’estimation par le maximum de vraisemblance. Prenons
f (x) =
1
2
e
−|x|
(densit´ e de la premi` ere loi de Laplace).
La fonction de vraisemblance est :
L(x 1 , . . . , x n ; θ) = f (x 1 − θ) . . . f(x n − θ) =
1
2
n
exp
−
n
k=1
|x k − θ|
.