1. APER¸ CU HISTORIQUE
239
Toute quantit´ e qui maximise L(θ) minimise
n
k=1 |x k − θ| et r´ eciproquement. Or toute quantit´ e ˜
θ qui minimise
n
k=1 |x k − θ| est une m´ ediane
M (x 1 , . . . , x n ) de (x 1 , . . . , x n ). Ainsi l’estimation de θ par la m´ ethode des
moindres carr´ es est la moyenne arithm´ etique x de (x 1 , . . . , x n ), alors que
l’estimation de θ par le maximum de vraisemblance est n’importe quelle
m´ ediane M (x 1 , . . . , x n ) de (x 1 , . . . , x n ). Il serait int´ eressant de chercher si
la densit´ e de la premi` ere loi de Laplace est la seule densit´ e (paire) pour
laquelle l’estimation par le maximum de vraisemblance est une m´ ediane de
(x 1 , . . . , x n ). Le probl` eme est, ` a notre connaissance, toujours ouvert.
L’approche de Laplace. — Elle est centr´ ee sur l’approximation de la
loi binomiale par la loi normale. En langage moderne, il s’agit d’´ etablir le
th´ eor` eme suivant :
Soit (X n ) (n ≥ 1) une suite de variables al´ eatoires dont le terme g´ en´ eral
X n suit la loi binomiale B(n, p) (n ≥ 1, 0 < p < 1, q = 1 − p). On pose
Y n = (X n − np)/
√ npq ; alors la suite (Y n ) (n ≥ 1) converge en loi vers une
variable al´ eatoire de loi N (0, 1).
D` es 1733, de Moivre a d´ emontr´ e ce th´ eor` eme dans le cas particulier
p = 1/2 par des calculs laborieux d’estimation des coefficients binomiaux ;
sa d´ emonstration fut incluse dans son ouvrage fondamental.
2 Le cas g´ en´ eral
0 < p < 1 fut trait´ e par Laplace
3 par des m´ ethodes o` u pointe d´ ej` a la th´ eorie
des fonctions caract´ eristiques, qui permet `
a l’heure actuelle de d´ emontrer ce
th´ eor` eme sans aucune difficult´ e. La contribution de Laplace ne s’arrˆ ete pas
l` a. Il a, en effet, mis la loi normale en rapport avec la th´ eorie des erreurs
d’observations et ceci par une analyse tr` es fine dont nous donnons ci-dessous
un aper¸ cu (avec des notations modernes).
La loi des erreurs. — Soit (X n ) (n ≥ 1) une suite de variables al´ eatoires
ind´ ependantes, centr´ ees, du second ordre. On pose σ
2
k = Var X k et l’on
suppose 0 < σ k < +∞. Introduisons pour tout entier n ≥ 1 les variables
al´ eatoires
S n = X 1 + · · · + X n ,
Y n =
S n
σ(S n )
,
o` u σ
2 (S n ) = σ
2
1 + · · · + σ
2
n .
On cherche `
a quelles conditions la suite (Y n ) (n ≥ 1) converge en loi vers
une variable al´ eatoire de loi N (0, 1). Notons ψ = Log ϕ la seconde fonction
caract´ eristique. Il r´ esulte de la Proposition 5.3, chap. 13 que pour tout k ≥ 1
la fonction ψ k = ψ X k est de la forme
ψ k = −
σ
2
k t
2
2
[1 + ε k (σ k t)],
2 de Moivre (A.). — The doctrine of chances or a method of calculating the probabilities
of events in play. — London, Millar, , p. 235–283. R´ eimpression par Chelsea, New
York, .
3 Laplace (Pierre-Simon, marquis de). — Th´ eorie analytique des probabilit´ es. — Paris,
Courcier, , p. 83–84. Voir aussi Œuvres compl` etes, vol. VII. — Paris, Gauthier-Villars,
.
239
Toute quantit´ e qui maximise L(θ) minimise
n
k=1 |x k − θ| et r´ eciproquement. Or toute quantit´ e ˜
θ qui minimise
n
k=1 |x k − θ| est une m´ ediane
M (x 1 , . . . , x n ) de (x 1 , . . . , x n ). Ainsi l’estimation de θ par la m´ ethode des
moindres carr´ es est la moyenne arithm´ etique x de (x 1 , . . . , x n ), alors que
l’estimation de θ par le maximum de vraisemblance est n’importe quelle
m´ ediane M (x 1 , . . . , x n ) de (x 1 , . . . , x n ). Il serait int´ eressant de chercher si
la densit´ e de la premi` ere loi de Laplace est la seule densit´ e (paire) pour
laquelle l’estimation par le maximum de vraisemblance est une m´ ediane de
(x 1 , . . . , x n ). Le probl` eme est, ` a notre connaissance, toujours ouvert.
L’approche de Laplace. — Elle est centr´ ee sur l’approximation de la
loi binomiale par la loi normale. En langage moderne, il s’agit d’´ etablir le
th´ eor` eme suivant :
Soit (X n ) (n ≥ 1) une suite de variables al´ eatoires dont le terme g´ en´ eral
X n suit la loi binomiale B(n, p) (n ≥ 1, 0 < p < 1, q = 1 − p). On pose
Y n = (X n − np)/
√ npq ; alors la suite (Y n ) (n ≥ 1) converge en loi vers une
variable al´ eatoire de loi N (0, 1).
D` es 1733, de Moivre a d´ emontr´ e ce th´ eor` eme dans le cas particulier
p = 1/2 par des calculs laborieux d’estimation des coefficients binomiaux ;
sa d´ emonstration fut incluse dans son ouvrage fondamental.
2 Le cas g´ en´ eral
0 < p < 1 fut trait´ e par Laplace
3 par des m´ ethodes o` u pointe d´ ej` a la th´ eorie
des fonctions caract´ eristiques, qui permet `
a l’heure actuelle de d´ emontrer ce
th´ eor` eme sans aucune difficult´ e. La contribution de Laplace ne s’arrˆ ete pas
l` a. Il a, en effet, mis la loi normale en rapport avec la th´ eorie des erreurs
d’observations et ceci par une analyse tr` es fine dont nous donnons ci-dessous
un aper¸ cu (avec des notations modernes).
La loi des erreurs. — Soit (X n ) (n ≥ 1) une suite de variables al´ eatoires
ind´ ependantes, centr´ ees, du second ordre. On pose σ
2
k = Var X k et l’on
suppose 0 < σ k < +∞. Introduisons pour tout entier n ≥ 1 les variables
al´ eatoires
S n = X 1 + · · · + X n ,
Y n =
S n
σ(S n )
,
o` u σ
2 (S n ) = σ
2
1 + · · · + σ
2
n .
On cherche `
a quelles conditions la suite (Y n ) (n ≥ 1) converge en loi vers
une variable al´ eatoire de loi N (0, 1). Notons ψ = Log ϕ la seconde fonction
caract´ eristique. Il r´ esulte de la Proposition 5.3, chap. 13 que pour tout k ≥ 1
la fonction ψ k = ψ X k est de la forme
ψ k = −
σ
2
k t
2
2
[1 + ε k (σ k t)],
2 de Moivre (A.). — The doctrine of chances or a method of calculating the probabilities
of events in play. — London, Millar, , p. 235–283. R´ eimpression par Chelsea, New
York, .
3 Laplace (Pierre-Simon, marquis de). — Th´ eorie analytique des probabilit´ es. — Paris,
Courcier, , p. 83–84. Voir aussi Œuvres compl` etes, vol. VII. — Paris, Gauthier-Villars,
.