13. Régression linéaire simple
195
Cette décomposition de la variabilité de Y en une partie prédictible et une
partie non prédictible se retrouve également dans notre échantillon. En particulier, le carré
ρ
2 de la corrélation empirique entre X et Y est un estimateur
du pourcentage de la variance de Y prédite linéairement par X.
Exemple 13.2 Dans notre exemple ci-dessus, on peut calculer
ρ = 0.405 et
on estime ainsi à
ρ
2 = 16.4 % le pourcentage de la variance du poids prédite
linéairement par la taille (83.6 % de la variance étant non prédite).
Appliquons à présent la méthode des moindres carrés à une situation où
l’on prédirait le poids Y d’un individu sans connaître sa taille (ni aucun autre
prédicteur X). On fait donc ici la même prédiction quel que soit l’individu, notre
équation de prédiction étant simplement
y
∗ =
β 0 . L’erreur de prédiction pour
le i-ième individu d’un échantillon de n observations y 1 , y 2 , · · · , y n est donnée
par y i −
β 0 , de sorte que le critère des moindres carrés que l’on minimise est
défini par :
i
(y i −
β 0 )
2 .
Le lecteur vérifiera que la solution est donnée par
β 0 = ¯
y. On prédit ainsi
le poids d’un individu par la moyenne (estimée) de la variable « poids ». On
retrouve le même résultat sur la population où l’on aura β 0 = mean(Y ). Sans
prédicteur, la variable résiduelle est donc simplement Y − mean(Y ), de sorte
que la variance résiduelle est égale à variance(Y ). Comparons alors la situation
sans prédicteur, avec la situation où l’on dispose d’un prédicteur X pour prédire
le poids Y . Dans ce dernier cas, on dénote comme d’habitude par ε la variable
résiduelle. La variance résiduelle est ainsi égale à variance(ε) si on dispose
d’un prédicteur, alors qu’elle est égale à variance(Y ) sans prédicteur, ce qui
représente une réduction de variance résiduelle de :
variance(Y ) − variance(ε).
Exprimé en pourcentage (de la variance résiduelle sans prédicteur), ceci représente une réduction de :
variance(Y ) − variance(ε)
variance(Y )
= 1 −
variance(ε)
variance(Y )
= ρ
2 .
Le carré de la corrélation entre X et Y est donc également interprétable comme
« réduction (en %) de la variance résiduelle en utilisant X comme prédicteur
de Y , comparé à une situation sans prédicteur ».
Exemple 13.3 On considère une variable Y de variance égale à 250. Supposons que la variance prédite (en utilisant une équation de régression du type
y
∗ = β 0 +β 1 x) soit égale à 100 et la variance résiduelle à 150. Ainsi, 100/250 =
40 % de la variance de Y est prédite par X. Alternativement, on peut dire que
la variance résiduelle a été réduite de 250 (sans utiliser X) à 100 (en utilisant
X), ce qui correspond effectivement à une réduction de (250−150)/250 = 40 %.
195
Cette décomposition de la variabilité de Y en une partie prédictible et une
partie non prédictible se retrouve également dans notre échantillon. En particulier, le carré
ρ
2 de la corrélation empirique entre X et Y est un estimateur
du pourcentage de la variance de Y prédite linéairement par X.
Exemple 13.2 Dans notre exemple ci-dessus, on peut calculer
ρ = 0.405 et
on estime ainsi à
ρ
2 = 16.4 % le pourcentage de la variance du poids prédite
linéairement par la taille (83.6 % de la variance étant non prédite).
Appliquons à présent la méthode des moindres carrés à une situation où
l’on prédirait le poids Y d’un individu sans connaître sa taille (ni aucun autre
prédicteur X). On fait donc ici la même prédiction quel que soit l’individu, notre
équation de prédiction étant simplement
y
∗ =
β 0 . L’erreur de prédiction pour
le i-ième individu d’un échantillon de n observations y 1 , y 2 , · · · , y n est donnée
par y i −
β 0 , de sorte que le critère des moindres carrés que l’on minimise est
défini par :
i
(y i −
β 0 )
2 .
Le lecteur vérifiera que la solution est donnée par
β 0 = ¯
y. On prédit ainsi
le poids d’un individu par la moyenne (estimée) de la variable « poids ». On
retrouve le même résultat sur la population où l’on aura β 0 = mean(Y ). Sans
prédicteur, la variable résiduelle est donc simplement Y − mean(Y ), de sorte
que la variance résiduelle est égale à variance(Y ). Comparons alors la situation
sans prédicteur, avec la situation où l’on dispose d’un prédicteur X pour prédire
le poids Y . Dans ce dernier cas, on dénote comme d’habitude par ε la variable
résiduelle. La variance résiduelle est ainsi égale à variance(ε) si on dispose
d’un prédicteur, alors qu’elle est égale à variance(Y ) sans prédicteur, ce qui
représente une réduction de variance résiduelle de :
variance(Y ) − variance(ε).
Exprimé en pourcentage (de la variance résiduelle sans prédicteur), ceci représente une réduction de :
variance(Y ) − variance(ε)
variance(Y )
= 1 −
variance(ε)
variance(Y )
= ρ
2 .
Le carré de la corrélation entre X et Y est donc également interprétable comme
« réduction (en %) de la variance résiduelle en utilisant X comme prédicteur
de Y , comparé à une situation sans prédicteur ».
Exemple 13.3 On considère une variable Y de variance égale à 250. Supposons que la variance prédite (en utilisant une équation de régression du type
y
∗ = β 0 +β 1 x) soit égale à 100 et la variance résiduelle à 150. Ainsi, 100/250 =
40 % de la variance de Y est prédite par X. Alternativement, on peut dire que
la variance résiduelle a été réduite de 250 (sans utiliser X) à 100 (en utilisant
X), ce qui correspond effectivement à une réduction de (250−150)/250 = 40 %.