14. Régression linéaire multiple
247
autres m − 1 prédicteurs (calculée à partir d’un modèle de régression avec X j
comme variable réponse et avec m − 1 prédicteurs). Cette quantité 1/(1 −
ρ
2
j )
est appelée le facteur d’inflation de la variance dû aux corrélations entre les
prédicteurs, autrement dit, à ce qu’on appelle la multicolinéarité. Dans le cas
d’un seul prédicteur (m = 1), on aura
ρ
2
j = 0 et ce facteur sera égal à 1 (on
retrouve alors la formule habituelle de l’erreur type de la pente d’une droite
de régression). Dans le cas extrême où X j est une combinaison exacte linéaire
des autres prédicteurs, on aura
ρ j = 1, de sorte que la variance de l’estimateur
de la pente sera infinie (en fait, l’hyperplan de régression ne pourra dans ce
cas pas être calculé). D’une manière générale, plus un prédicteur sera corrélé
avec les autres prédicteurs, moins l’estimation de sa pente sera précise. La
multicolinéarité entre prédicteurs implique donc le problème suivant :
Il est difficile d’estimer précisément une association entre X 1 et Y
ajustée pour des variables confondantes X 2 , · · · , X m très corrélées avec X 1 .
On verra dans la section suivante un autre problème impliqué par la multicolinéarité entre prédicteurs :
Introduire des prédicteurs très corrélés dans un modèle de régression
nuit à la qualité de la prédiction.
Exemple 14.13 Nous présentons un exemple impliquant n = 44 adultes de
sexe masculin qui ont participé à un régime
24 . On essaie ici de prédire la perte
de poids (en kg) Y connaissant la perte de glucose (en mg/dL) X 1 et la perte de
cholestérol (en mg/dL) X 2 mesurées durant ce régime. Les relations entre X 1 et
Y et entre X 2 et Y sont globalement positives et approximativement linéaires,
comme le montrent les graphiques (a) et (b) de la figure 14.10. Un modèle de
régression simple avec X 1 comme prédicteur nous donne :
y
∗ = 3.56 + 0.0490x 1
avec une erreur type pour l’estimateur de la pente de 0.0153 (p = 0.003). Un
modèle de régression simple avec X 2 comme prédicteur nous donne :
y
∗ = 3.60 + 0.0812x 2
24 Il s’agit de données récoltées dans le cadre d’une étude publiée par Cocco et al. (2005),
bien que la problématique que nous regardons ici n’ait pas été abordée dans cette publication.
247
autres m − 1 prédicteurs (calculée à partir d’un modèle de régression avec X j
comme variable réponse et avec m − 1 prédicteurs). Cette quantité 1/(1 −
ρ
2
j )
est appelée le facteur d’inflation de la variance dû aux corrélations entre les
prédicteurs, autrement dit, à ce qu’on appelle la multicolinéarité. Dans le cas
d’un seul prédicteur (m = 1), on aura
ρ
2
j = 0 et ce facteur sera égal à 1 (on
retrouve alors la formule habituelle de l’erreur type de la pente d’une droite
de régression). Dans le cas extrême où X j est une combinaison exacte linéaire
des autres prédicteurs, on aura
ρ j = 1, de sorte que la variance de l’estimateur
de la pente sera infinie (en fait, l’hyperplan de régression ne pourra dans ce
cas pas être calculé). D’une manière générale, plus un prédicteur sera corrélé
avec les autres prédicteurs, moins l’estimation de sa pente sera précise. La
multicolinéarité entre prédicteurs implique donc le problème suivant :
Il est difficile d’estimer précisément une association entre X 1 et Y
ajustée pour des variables confondantes X 2 , · · · , X m très corrélées avec X 1 .
On verra dans la section suivante un autre problème impliqué par la multicolinéarité entre prédicteurs :
Introduire des prédicteurs très corrélés dans un modèle de régression
nuit à la qualité de la prédiction.
Exemple 14.13 Nous présentons un exemple impliquant n = 44 adultes de
sexe masculin qui ont participé à un régime
24 . On essaie ici de prédire la perte
de poids (en kg) Y connaissant la perte de glucose (en mg/dL) X 1 et la perte de
cholestérol (en mg/dL) X 2 mesurées durant ce régime. Les relations entre X 1 et
Y et entre X 2 et Y sont globalement positives et approximativement linéaires,
comme le montrent les graphiques (a) et (b) de la figure 14.10. Un modèle de
régression simple avec X 1 comme prédicteur nous donne :
y
∗ = 3.56 + 0.0490x 1
avec une erreur type pour l’estimateur de la pente de 0.0153 (p = 0.003). Un
modèle de régression simple avec X 2 comme prédicteur nous donne :
y
∗ = 3.60 + 0.0812x 2
24 Il s’agit de données récoltées dans le cadre d’une étude publiée par Cocco et al. (2005),
bien que la problématique que nous regardons ici n’ait pas été abordée dans cette publication.