Chapitre 7
Estimation ponctuelle
Introduction
Dans ce chapitre on consid` ere les diff´ erentes m´ ethodes d’estimation ainsi
que leurs propri´ et´ es. On est souvent amen´ es ` a estimer une ou plusieurs caract´ eristiques de la population `
a partir des donn´ ees (´ echantillon). Il peut s’agir de
param` etre(s) de la distribution sous-jacente ou de caract´ eristique(s) de la population (esp´ erance, variance, quantile, etc.), qui est (sont) bien entendu fonction
des param` etres de la distribution. Par exemple, on peut vouloir estimer la m´ ediane des revenus dans une r´ egion donn´ ee, la proportion de la population qui
vit en dessous du seuil de pauvret´ e, la proportion de votants qui donnera sa
voix au candidat bleu, etc.
Les estimateurs peuvent ˆ etre compar´ es sur la base de diff´ erents crit` eres : le
biais, la variance, l’erreur carr´ ee moyenne et la convergence. La biais mesure
l’´ ecart entre la vraie valeur (inconnue, dans la population) de la quantit´ e ` a estimer et la valeur que l’estimateur prend en esp´ erance (c’est-` a-dire en moyenne
si l’on r´ ep´ etait l’exp´ erience). La variance quantifie la variabilit´ e autour de l’esp´ erance. Id´ ealement, un bon estimateur poss` ede un biais petit voire nul, et une
petite variance. Il n’est pas possible de r´ eduire simultan´ ement le biais et la variance d’un estimateur, ce qui am` ene ` a la d´ efinition de l’erreur carr´ ee moyenne
qui exprime la combinaison de ces deux quantit´ es. La minimisation de l’erreur
carr´ ee moyenne g` ere le compromis entre biais et variance. Ce compromis est
une notion importante et apparaˆ ıt dans beaucoup de situations en statistique.
Finalement, un estimateur est dit convergent s’il converge en probabilit´ e vers la
vraie valeur lorsque la taille de l’´ echantillon augmente. Il est ` a noter que le biais,
la variance et donc l’erreur carr´ ee moyenne sont des mesures pour ´ echantillons
finis, alors que la convergence est une caract´ eristique asymptotique.
La borne de Cram´ er-Rao constitue un r´ esultat important dans la comparaison d’estimateurs. Elle d´ efinit une borne inf´ erieure `
a la variance de tout
estimateur, en fonction de la distribution sous-jacente des observations. Si un
Estimation ponctuelle
Introduction
Dans ce chapitre on consid` ere les diff´ erentes m´ ethodes d’estimation ainsi
que leurs propri´ et´ es. On est souvent amen´ es ` a estimer une ou plusieurs caract´ eristiques de la population `
a partir des donn´ ees (´ echantillon). Il peut s’agir de
param` etre(s) de la distribution sous-jacente ou de caract´ eristique(s) de la population (esp´ erance, variance, quantile, etc.), qui est (sont) bien entendu fonction
des param` etres de la distribution. Par exemple, on peut vouloir estimer la m´ ediane des revenus dans une r´ egion donn´ ee, la proportion de la population qui
vit en dessous du seuil de pauvret´ e, la proportion de votants qui donnera sa
voix au candidat bleu, etc.
Les estimateurs peuvent ˆ etre compar´ es sur la base de diff´ erents crit` eres : le
biais, la variance, l’erreur carr´ ee moyenne et la convergence. La biais mesure
l’´ ecart entre la vraie valeur (inconnue, dans la population) de la quantit´ e ` a estimer et la valeur que l’estimateur prend en esp´ erance (c’est-` a-dire en moyenne
si l’on r´ ep´ etait l’exp´ erience). La variance quantifie la variabilit´ e autour de l’esp´ erance. Id´ ealement, un bon estimateur poss` ede un biais petit voire nul, et une
petite variance. Il n’est pas possible de r´ eduire simultan´ ement le biais et la variance d’un estimateur, ce qui am` ene ` a la d´ efinition de l’erreur carr´ ee moyenne
qui exprime la combinaison de ces deux quantit´ es. La minimisation de l’erreur
carr´ ee moyenne g` ere le compromis entre biais et variance. Ce compromis est
une notion importante et apparaˆ ıt dans beaucoup de situations en statistique.
Finalement, un estimateur est dit convergent s’il converge en probabilit´ e vers la
vraie valeur lorsque la taille de l’´ echantillon augmente. Il est ` a noter que le biais,
la variance et donc l’erreur carr´ ee moyenne sont des mesures pour ´ echantillons
finis, alors que la convergence est une caract´ eristique asymptotique.
La borne de Cram´ er-Rao constitue un r´ esultat important dans la comparaison d’estimateurs. Elle d´ efinit une borne inf´ erieure `
a la variance de tout
estimateur, en fonction de la distribution sous-jacente des observations. Si un