16. Régression logistique
309
prédicteur une variable continue X est impliqué par un modèle de régression
linéaire avec Y comme prédicteur binaire et X comme variable réponse. Autrement dit, le modèle idéal du chapitre 5 qui était un cas particulier de modèle de
régression linéaire, est également un cas particulier de modèle de régression logistique. Dans cette optique, un modèle de régression logistique apparaît comme
un choix naturel lorsqu’il s’agit de modéliser une variable réponse binaire
19 .
16.10 Méthode du maximum de vraisemblance
On a mentionné que les paramètres d’un modèle de régression logistique
sont estimés à partir des données de l’échantillon en utilisant la méthode du
maximum de vraisemblance (en anglais : maximum likelihood). Dans cette
dernière section, nous introduisons brièvement cette méthode d’estimation qui
s’applique à de nombreux modèles statistiques.
Afin d’illustrer comment fonctionne cette méthode, nous considérerons le
problème classique qui consiste à estimer la probabilité π qu’une pièce de monnaie tombe sur pile (autrement dit, la proportion de piles dans la population
constituée des différents lancers de cette pièce). On considère ainsi une variable
Y binaire avec Y = 1 pour « pile » et Y = 0 pour « face ». Supposons que l’on
lance la pièce n = 4 fois avec les résultats suivants : 1 1 0 1. La probabilité que
le premier lancer donne Y = 1 est donc π. La probabilité que le deuxième lancer donne Y = 1 est également π. La probabilité que le troisième lancer donne
Y = 0 est 1 − π. La probabilité que le quatrième lancer donne Y = 1 est à
nouveau π. Comme ces observations sont indépendantes, la probabilité d’obtenir cet échantillon (si on répétait l’expérience) est donnée par la multiplication
des quatre probabilités ci-dessus, c’est-à-dire par :
L = π · π · (1 − π) · π = π
3
· (1 − π).
19 Si X dénote la variable continue et Y la variable binaire, on a (théorème de Bayes) :
Pr{Y = 1|X = x} =
Pr{X = x|Y = 1} Pr{Y = 1}
Pr{X = x|Y = 1} Pr{Y = 1} + Pr{X = x|Y = 0} Pr{Y = 0}
.
On définit par ailleurs Pr{X = x|Y = 1}/ Pr{X = x|Y = 0} comme le quotient des densités
f 1 (x) et f 0 (x) de la variable X dans les deux groupes définis par Y = 1 et Y = 0. Sous
l’hypothèse d’un modèle de régression linéaire avec X comme réponse et Y comme prédicteur
ces deux densités seront normales, avec une variance commune σ 2 et des moyennes μ 1 et μ 0 ,
c’est-à-dire f j (x) = (1/
√
2πσ 2 ) exp(−(x − μ j ) 2 /(2σ 2 )) (pour j = 0, 1). On aura donc :
Pr{X = x|Y = 1}
Pr{X = x|Y = 0}
=
f 1 (x)
f 0 (x)
= exp
„
μ 2
0 − μ 2
1
2σ 2 +
μ 1 − μ 0
σ 2
· x
«
et ainsi :
Pr{Y = 1|X = x} =
Pr{X=x|Y =1}
Pr{X=x|Y =0}
·
Pr{Y =1}
Pr{Y =0}
1 +
Pr{X=x|Y =1}
Pr{X=x|Y =0}
·
Pr{Y =1}
Pr{Y =0}
=
exp(β 0 + β 1 x)
1 + exp(β 0 + β 1 x)
avec β 0 = (μ 2
0 − μ 2
1 )/(2σ 2 ) + log(Pr{Y = 1}/ Pr{Y = 0}) et β 1 = (μ 1 − μ 0 )/σ 2 , ce qui correspond à un modèle de régression logistique avec Y comme réponse et X comme prédicteur.
309
prédicteur une variable continue X est impliqué par un modèle de régression
linéaire avec Y comme prédicteur binaire et X comme variable réponse. Autrement dit, le modèle idéal du chapitre 5 qui était un cas particulier de modèle de
régression linéaire, est également un cas particulier de modèle de régression logistique. Dans cette optique, un modèle de régression logistique apparaît comme
un choix naturel lorsqu’il s’agit de modéliser une variable réponse binaire
19 .
16.10 Méthode du maximum de vraisemblance
On a mentionné que les paramètres d’un modèle de régression logistique
sont estimés à partir des données de l’échantillon en utilisant la méthode du
maximum de vraisemblance (en anglais : maximum likelihood). Dans cette
dernière section, nous introduisons brièvement cette méthode d’estimation qui
s’applique à de nombreux modèles statistiques.
Afin d’illustrer comment fonctionne cette méthode, nous considérerons le
problème classique qui consiste à estimer la probabilité π qu’une pièce de monnaie tombe sur pile (autrement dit, la proportion de piles dans la population
constituée des différents lancers de cette pièce). On considère ainsi une variable
Y binaire avec Y = 1 pour « pile » et Y = 0 pour « face ». Supposons que l’on
lance la pièce n = 4 fois avec les résultats suivants : 1 1 0 1. La probabilité que
le premier lancer donne Y = 1 est donc π. La probabilité que le deuxième lancer donne Y = 1 est également π. La probabilité que le troisième lancer donne
Y = 0 est 1 − π. La probabilité que le quatrième lancer donne Y = 1 est à
nouveau π. Comme ces observations sont indépendantes, la probabilité d’obtenir cet échantillon (si on répétait l’expérience) est donnée par la multiplication
des quatre probabilités ci-dessus, c’est-à-dire par :
L = π · π · (1 − π) · π = π
3
· (1 − π).
19 Si X dénote la variable continue et Y la variable binaire, on a (théorème de Bayes) :
Pr{Y = 1|X = x} =
Pr{X = x|Y = 1} Pr{Y = 1}
Pr{X = x|Y = 1} Pr{Y = 1} + Pr{X = x|Y = 0} Pr{Y = 0}
.
On définit par ailleurs Pr{X = x|Y = 1}/ Pr{X = x|Y = 0} comme le quotient des densités
f 1 (x) et f 0 (x) de la variable X dans les deux groupes définis par Y = 1 et Y = 0. Sous
l’hypothèse d’un modèle de régression linéaire avec X comme réponse et Y comme prédicteur
ces deux densités seront normales, avec une variance commune σ 2 et des moyennes μ 1 et μ 0 ,
c’est-à-dire f j (x) = (1/
√
2πσ 2 ) exp(−(x − μ j ) 2 /(2σ 2 )) (pour j = 0, 1). On aura donc :
Pr{X = x|Y = 1}
Pr{X = x|Y = 0}
=
f 1 (x)
f 0 (x)
= exp
„
μ 2
0 − μ 2
1
2σ 2 +
μ 1 − μ 0
σ 2
· x
«
et ainsi :
Pr{Y = 1|X = x} =
Pr{X=x|Y =1}
Pr{X=x|Y =0}
·
Pr{Y =1}
Pr{Y =0}
1 +
Pr{X=x|Y =1}
Pr{X=x|Y =0}
·
Pr{Y =1}
Pr{Y =0}
=
exp(β 0 + β 1 x)
1 + exp(β 0 + β 1 x)
avec β 0 = (μ 2
0 − μ 2
1 )/(2σ 2 ) + log(Pr{Y = 1}/ Pr{Y = 0}) et β 1 = (μ 1 − μ 0 )/σ 2 , ce qui correspond à un modèle de régression logistique avec Y comme réponse et X comme prédicteur.