134 Maˆ ıtriser l’al´ eatoire
estimateur atteint la borne de Cram´ er-Rao (c’est-` a-dire que sa variance est
´ egale `
a la borne) on dit qu’il est efficace.
Les m´ ethodes consid´ er´ ees ici sont la m´ ethode des moments, la m´ ethode du
maximum de vraisemblance ainsi que la m´ ethode des moindres carr´ es, que l’on
r´ esume de fa¸ con non formelle ci-dessous.
M´ ethode du maximum de vraisemblance. Comme son nom l’indique, cette m´ ethode est bas´ ee sur la fonction de vraisemblance, qui est maximis´ ee
afin d’obtenir les estimateurs souhait´ es. Les estimations ainsi obtenues seront les valeurs les plus vraisemblable pour les param` etres ´ etant donn´ e les
donn´ ees que l’on a observ´ ees. Sous des conditions de r´ egularit´ e, les estimateurs du maximum de vraisemblance sont convergents et leur distribution
est asymptotiquement normale. Ils sont asymptotiquement efficaces.
M´ ethode des moments. Cette m´ ethode ´ egalise les moments th´ eoriques d’une
population (E(X
k ), k = 1, 2, . . .), qui sont une fonction des param` etres,
avec les moments empiriques de l’´ echantillon (1/n
n
i=1 X
k
i , k = 1, 2, . . .)
afin d’obtenir des estimations des param` etres d’int´ erˆ et. Les estimateurs
des moments sont convergents. Contrairement aux estimateurs du maximum de vraisemblance, les estimateurs des moments ne sont en g´ en´ eral
pas efficaces. Sous certaines conditions de r´ egularit´ e, ces estimateurs sont
asymptotiquement normales.
M´ ethode des moindres carr´ es. Cette approche est fortement li´ ee ` a l’analyse de r´ egression. Dans ce cadre, on minimise les erreurs au carr´ e afin
d’obtenir les estimateurs des param` etres. Le th´ eor` eme de Gauss-Markov
assure que si l’on suppose que les erreurs du mod` ele ont esp´ erance 0 et
sont ind´ ependantes avec mˆ eme variance finie, l’estimateur des moindres
carr´ es est le meilleur estimateur lin´ eaire non biais´ e. Plus g´ en´ eralement, le
meilleur estimateur lin´ eaire non biais´ e de toute combinaison lin´ eaire est
son estimateur des moindres carr´ es.
Si l’on fait de plus l’hypoth` ese de distribution normale des erreurs dans
le mod` ele de r´ egression, alors les estimateurs des moindres carr´ es sont
les estimateurs du maximum de vraisemblance et h´ eritent donc de leur
propri´ et´ es.
Notes historiques
La m´ ethode du maximum de vraisemblance est due aux travaux de R. A. Fisher entre 1912 et 1922.
La m´ ethode des moments a en premier lieu ´ etait discut´ ee par K. Pearson
en 1894. Elle a ´ et´ e g´ en´ eralis´ ee par L. Hansen (1982), m´ ethode g´ en´ eralis´ ee des
moments ou GMM.
La m´ ethode des moindres carr´ es est n´ ee des int´ erˆ ets de C. F. Gauss (17771855) en astronomie en 1795. Puisqu’il n’a jamais publi´ e ses r´ esultats, c’est souvent `
a A.-M. Legendre qu’est attribu´ ee la paternit´ e de la m´ ethode des moindres
carr´ es. Il l’a en effet publi´ ee en 1806 dans son ouvrage Nouvelles m´ ethodes pour
la d´ etermination des orbites des com` etes.
estimateur atteint la borne de Cram´ er-Rao (c’est-` a-dire que sa variance est
´ egale `
a la borne) on dit qu’il est efficace.
Les m´ ethodes consid´ er´ ees ici sont la m´ ethode des moments, la m´ ethode du
maximum de vraisemblance ainsi que la m´ ethode des moindres carr´ es, que l’on
r´ esume de fa¸ con non formelle ci-dessous.
M´ ethode du maximum de vraisemblance. Comme son nom l’indique, cette m´ ethode est bas´ ee sur la fonction de vraisemblance, qui est maximis´ ee
afin d’obtenir les estimateurs souhait´ es. Les estimations ainsi obtenues seront les valeurs les plus vraisemblable pour les param` etres ´ etant donn´ e les
donn´ ees que l’on a observ´ ees. Sous des conditions de r´ egularit´ e, les estimateurs du maximum de vraisemblance sont convergents et leur distribution
est asymptotiquement normale. Ils sont asymptotiquement efficaces.
M´ ethode des moments. Cette m´ ethode ´ egalise les moments th´ eoriques d’une
population (E(X
k ), k = 1, 2, . . .), qui sont une fonction des param` etres,
avec les moments empiriques de l’´ echantillon (1/n
n
i=1 X
k
i , k = 1, 2, . . .)
afin d’obtenir des estimations des param` etres d’int´ erˆ et. Les estimateurs
des moments sont convergents. Contrairement aux estimateurs du maximum de vraisemblance, les estimateurs des moments ne sont en g´ en´ eral
pas efficaces. Sous certaines conditions de r´ egularit´ e, ces estimateurs sont
asymptotiquement normales.
M´ ethode des moindres carr´ es. Cette approche est fortement li´ ee ` a l’analyse de r´ egression. Dans ce cadre, on minimise les erreurs au carr´ e afin
d’obtenir les estimateurs des param` etres. Le th´ eor` eme de Gauss-Markov
assure que si l’on suppose que les erreurs du mod` ele ont esp´ erance 0 et
sont ind´ ependantes avec mˆ eme variance finie, l’estimateur des moindres
carr´ es est le meilleur estimateur lin´ eaire non biais´ e. Plus g´ en´ eralement, le
meilleur estimateur lin´ eaire non biais´ e de toute combinaison lin´ eaire est
son estimateur des moindres carr´ es.
Si l’on fait de plus l’hypoth` ese de distribution normale des erreurs dans
le mod` ele de r´ egression, alors les estimateurs des moindres carr´ es sont
les estimateurs du maximum de vraisemblance et h´ eritent donc de leur
propri´ et´ es.
Notes historiques
La m´ ethode du maximum de vraisemblance est due aux travaux de R. A. Fisher entre 1912 et 1922.
La m´ ethode des moments a en premier lieu ´ etait discut´ ee par K. Pearson
en 1894. Elle a ´ et´ e g´ en´ eralis´ ee par L. Hansen (1982), m´ ethode g´ en´ eralis´ ee des
moments ou GMM.
La m´ ethode des moindres carr´ es est n´ ee des int´ erˆ ets de C. F. Gauss (17771855) en astronomie en 1795. Puisqu’il n’a jamais publi´ e ses r´ esultats, c’est souvent `
a A.-M. Legendre qu’est attribu´ ee la paternit´ e de la m´ ethode des moindres
carr´ es. Il l’a en effet publi´ ee en 1806 dans son ouvrage Nouvelles m´ ethodes pour
la d´ etermination des orbites des com` etes.