16. Régression logistique
311
de l’échantillon, pour autant que l’on postule une distribution normale. Plus
généralement, les estimateurs du maximum de vraisemblance des paramètres
d’un hyperplan de régression seront les estimateurs calculés en utilisant la méthode des moindres carrés, pour autant que l’on postule un modèle de régression
linéaire (avec notamment la normalité des résidus)
20 .
En régression logistique, la méthode du maximum de vraisemblance consiste
à rechercher les valeurs de
β 0 ,
β 1 , · · · ,
β m qui maximisent la vraisemblance :
L =
i
π
yi
i (1 −
π i )
1−yi
et donc :
log L =
i
(y i log( π i ) + (1 − y i ) log(1 −
π i )) .
Rappelons que l’on a :
π i =
exp(
β 0 +
β 1 x i1 +
β 2 x i2 + · · · +
β m x im )
1 + exp(
β 0 +
β 1 x i1 +
β 2 x i2 + · · · +
β m x im )
.
Ainsi, la vraisemblance L est (via les
π i ) une fonction des m + 1 coefficients
β 0 ,
β 1 , · · · ,
β m , dont le maximum est donné par les solutions des dérivées partielles par rapport à ces coefficients qui doivent ainsi satisfaire les m + 1 conditions suivantes :
i
(y i −
π i ) = 0 et
i
x ij (y i −
π i ) = 0 (pour j = 1, · · · , m).
La première condition implique que la somme des résidus y i −
π i est nulle
(comme en régression linéaire). Dans un modèle de régression logistique sans
prédicteur, on estime ainsi l’unique paramètre β 0 par la proportion empirique
de Y = 1. Dans un modèle de régression logistique plus complexe, les solutions
de ces équations ne seront en général pas explicites.
Les estimateurs du maximum de vraisemblance des paramètres d’un modèle statistique seront approximativement sans biais (du moins lorsque la taille
de l’échantillon est suffisamment grande) et approximativement normalement
distribués. On pourra donc utiliser la méthode de Wald pour faire de l’inférence sur les paramètres du modèle. On a cependant mentionné qu’il existe
également des tests dits du rapport de vraisemblance (en anglais : likelihood
ratio tests), dont la validité est supérieure à celle des tests de Wald (bien
que l’on aura des résultats similaires avec de grands échantillons)
21 . Afin de
20 On notera toutefois que l’estimateur du maximum de vraisemblance de la variance résiduelle σ 2
ε dans un modèle de régression linéaire est donné par la variance empirique des
résidus, que l’on avait notée b
σ 2
ε , et non par l’estimateur sans biais de cette variance, noté ˜
σ 2
ε .
21 Les tests du rapport de vraisemblance s’appliquent également à un modèle de régression
linéaire, mais ils ne sont pas très utiles dans ce cadre où l’on dispose déjà de tests exacts (les
tests de Student et les tests F ).
311
de l’échantillon, pour autant que l’on postule une distribution normale. Plus
généralement, les estimateurs du maximum de vraisemblance des paramètres
d’un hyperplan de régression seront les estimateurs calculés en utilisant la méthode des moindres carrés, pour autant que l’on postule un modèle de régression
linéaire (avec notamment la normalité des résidus)
20 .
En régression logistique, la méthode du maximum de vraisemblance consiste
à rechercher les valeurs de
β 0 ,
β 1 , · · · ,
β m qui maximisent la vraisemblance :
L =
i
π
yi
i (1 −
π i )
1−yi
et donc :
log L =
i
(y i log( π i ) + (1 − y i ) log(1 −
π i )) .
Rappelons que l’on a :
π i =
exp(
β 0 +
β 1 x i1 +
β 2 x i2 + · · · +
β m x im )
1 + exp(
β 0 +
β 1 x i1 +
β 2 x i2 + · · · +
β m x im )
.
Ainsi, la vraisemblance L est (via les
π i ) une fonction des m + 1 coefficients
β 0 ,
β 1 , · · · ,
β m , dont le maximum est donné par les solutions des dérivées partielles par rapport à ces coefficients qui doivent ainsi satisfaire les m + 1 conditions suivantes :
i
(y i −
π i ) = 0 et
i
x ij (y i −
π i ) = 0 (pour j = 1, · · · , m).
La première condition implique que la somme des résidus y i −
π i est nulle
(comme en régression linéaire). Dans un modèle de régression logistique sans
prédicteur, on estime ainsi l’unique paramètre β 0 par la proportion empirique
de Y = 1. Dans un modèle de régression logistique plus complexe, les solutions
de ces équations ne seront en général pas explicites.
Les estimateurs du maximum de vraisemblance des paramètres d’un modèle statistique seront approximativement sans biais (du moins lorsque la taille
de l’échantillon est suffisamment grande) et approximativement normalement
distribués. On pourra donc utiliser la méthode de Wald pour faire de l’inférence sur les paramètres du modèle. On a cependant mentionné qu’il existe
également des tests dits du rapport de vraisemblance (en anglais : likelihood
ratio tests), dont la validité est supérieure à celle des tests de Wald (bien
que l’on aura des résultats similaires avec de grands échantillons)
21 . Afin de
20 On notera toutefois que l’estimateur du maximum de vraisemblance de la variance résiduelle σ 2
ε dans un modèle de régression linéaire est donné par la variance empirique des
résidus, que l’on avait notée b
σ 2
ε , et non par l’estimateur sans biais de cette variance, noté ˜
σ 2
ε .
21 Les tests du rapport de vraisemblance s’appliquent également à un modèle de régression
linéaire, mais ils ne sont pas très utiles dans ce cadre où l’on dispose déjà de tests exacts (les
tests de Student et les tests F ).