III. Méthodes de construction d’un estimateur
Dans les situations où il n’y a pas d’estimateur évident, on est amené à recourir
à une méthode de construction d’un estimateur, les deux méthodes que nous présenterons ici étant celles du maximum de vraisemblance et des moments.
A. Méthode du maximum de vraisemblance
La vraisemblance L (x 1 ,...,x n ; θ) représente la probabilité d’observer le n -uple
(x 1 ,...,x n ) pour une valeur fixée de θ . Dans la situation inverse ici où on a
observé (x 1 ,...,x n ) sans connaître la valeur de θ , on va attribuer à θ la valeur
qui paraît la plus vraisemblable, compte tenu de l’observation dont on dispose,
c’est-à-dire celle qui va lui attribuer la plus forte probabilité. On se fixe donc la
règle suivante : à (x 1 ,. . . ,x n ) fixé, on considère la vraisemblance L comme une
fonction de θ et on attribue à θ la valeur qui maximise cette fonction. D’où la
définition suivante.
206 STATISTIQUE ET PROBABILITÉS
Définition
On appelle estimateur du maximum de vraisemblance (emv) toute fonction
θ n de (x 1 ,...,x n ) qui vérifie :
L
x 1 ,. . . ,x n ; θ n
= max
θ∈
L (x 1 ,...,x n ; θ)
Cette définition ne renseigne en aucune façon, ni sur l’existence, ni sur l’unicité, d’un tel estimateur. La recherche de l’emv peut se faire directement par
recherche du maximum de L , ou dans le cas particulier où la fonction L est deux
fois dérivable par rapport à θ , comme solution de l’équation
∂ L
∂θ
= 0 qui vérifie
aussi
∂
2 L
∂θ 2 < 0 . Cependant, la vraisemblance se calculant à partir d’un produit,
on préfère remplacer ce dernier problème par le problème équivalent pour la
log-vraisemblance, puisque la fonction ln est strictement croissante,
∂lnL
∂θ
= 0
avec
∂
2 lnL
∂θ 2 < 0 et qui aura une expression généralement simplifiée.
Remarquons enfin que si θ n est un emv du paramètre θ , alors g
θ n
est un emv
du paramètre g(θ) pour toute fonction g . Si par exemple la variance empirique
modifiée S
2
n , qui est un estimateur sans biais de θ = V θ (X) , est un emv pour un
modèle statistique donné, alors S n est un emv du paramètre
Dans les situations où il n’y a pas d’estimateur évident, on est amené à recourir
à une méthode de construction d’un estimateur, les deux méthodes que nous présenterons ici étant celles du maximum de vraisemblance et des moments.
A. Méthode du maximum de vraisemblance
La vraisemblance L (x 1 ,...,x n ; θ) représente la probabilité d’observer le n -uple
(x 1 ,...,x n ) pour une valeur fixée de θ . Dans la situation inverse ici où on a
observé (x 1 ,...,x n ) sans connaître la valeur de θ , on va attribuer à θ la valeur
qui paraît la plus vraisemblable, compte tenu de l’observation dont on dispose,
c’est-à-dire celle qui va lui attribuer la plus forte probabilité. On se fixe donc la
règle suivante : à (x 1 ,. . . ,x n ) fixé, on considère la vraisemblance L comme une
fonction de θ et on attribue à θ la valeur qui maximise cette fonction. D’où la
définition suivante.
206 STATISTIQUE ET PROBABILITÉS
Définition
On appelle estimateur du maximum de vraisemblance (emv) toute fonction
θ n de (x 1 ,...,x n ) qui vérifie :
L
x 1 ,. . . ,x n ; θ n
= max
θ∈
L (x 1 ,...,x n ; θ)
Cette définition ne renseigne en aucune façon, ni sur l’existence, ni sur l’unicité, d’un tel estimateur. La recherche de l’emv peut se faire directement par
recherche du maximum de L , ou dans le cas particulier où la fonction L est deux
fois dérivable par rapport à θ , comme solution de l’équation
∂ L
∂θ
= 0 qui vérifie
aussi
∂
2 L
∂θ 2 < 0 . Cependant, la vraisemblance se calculant à partir d’un produit,
on préfère remplacer ce dernier problème par le problème équivalent pour la
log-vraisemblance, puisque la fonction ln est strictement croissante,
∂lnL
∂θ
= 0
avec
∂
2 lnL
∂θ 2 < 0 et qui aura une expression généralement simplifiée.
Remarquons enfin que si θ n est un emv du paramètre θ , alors g
θ n
est un emv
du paramètre g(θ) pour toute fonction g . Si par exemple la variance empirique
modifiée S
2
n , qui est un estimateur sans biais de θ = V θ (X) , est un emv pour un
modèle statistique donné, alors S n est un emv du paramètre