14. Régression linéaire multiple
243
premier est plus important que le biais du second (surtout avec un grand m),
l’estimateur
ρ
2 aura ainsi tendance à surestimer ρ
2 . Afin de corriger ce biais,
il suffira d’utiliser dans la formule ci-dessus des estimateurs sans biais de σ
2
ε et
σ
2
Y , obtenant l’estimateur corrigé de ρ
2 :
˜
ρ
2 = 1 −
˜
σ
2
ε
˜
σ 2
Y
.
Notons que l’on peut au besoin facilement passer de l’un à l’autre en utilisant
la formule
19 :
˜
ρ
2 =
(n − 1) ρ
2
− m
n − m − 1
.
Exemple 14.10 Dans notre exemple de la prédiction de la graisse corporelle,
on estime la variance de la graisse corporelle Y par ˜
σ
2
Y = 65.1 et la variance
résiduelle par ˜
σ
2
ε = 18.2. On estime donc le pourcentage de la variance de Y
prédite par les m = 6 prédicteurs par ˜
ρ
2 = 1 − 18.2/65.1 = 72.0 %. Notons que
l’estimateur empirique de ce pourcentage de variance est ici de
ρ
2 = 72.6 %
(voir plus loin).
14.10 Tests sur la nullité de plusieurs paramètres
En régression multiple, on pourra non seulement tester la nullité d’une
certaine pente dans le modèle, mais également la nullité simultanée de toutes
les pentes. L’hypothèse nulle d’un tel test sera ainsi :
H 0 : β 1 = β 2 = · · · = β m = 0.
Notons que si toutes les pentes étaient nulles, le modèle de régression se réduirait à la seule constante et on aurait avec un tel modèle 0 % de variance
prédite. Cette hypothèse nulle peut donc également s’écrire :
H 0 : ρ
2 = 0.
Autrement dit, l’hypothèse nulle implique que l’ensemble des m prédicteurs du
modèle ne nous sert à rien pour prédire Y .
19 Dans la littérature, ces estimateurs b
ρ 2 et ˜
ρ 2 de ρ 2 sont souvent notés respectivement
par R 2 et R 2
adj (en anglais : R-square et adjusted R-square). Notons qu’ils seront très
proches l’un de l’autre en régression simple, raison pour laquelle on utilisera souvent b
ρ 2 ,
qui a l’avantage d’être le carré de l’estimateur habituel de la corrélation entre les deux
variables et de ne jamais être négatif (alors que ˜
ρ 2 pourra dans certains cas être légèrement
négatif, bien que l’on ait par définition ρ 2 ≥ 0). Il sera par contre important d’utiliser ˜
ρ 2 (au
lieu de b
ρ 2 ) dans une régression multiple avec beaucoup de prédicteurs, car la surestimation
de ρ 2 par b
ρ 2 pourra s’avérer grossière. Notons aussi que b
ρ 2 (au contraire de ˜
ρ 2 ) augmente
systématiquement lors de l’introduction de nouveaux prédicteurs dans le modèle et atteindrait
même b
ρ 2 = 100 % avec m = n − 1 prédicteurs (cas où ˜
σ 2
ε et ˜
ρ 2 ne seraient pas définis).
243
premier est plus important que le biais du second (surtout avec un grand m),
l’estimateur
ρ
2 aura ainsi tendance à surestimer ρ
2 . Afin de corriger ce biais,
il suffira d’utiliser dans la formule ci-dessus des estimateurs sans biais de σ
2
ε et
σ
2
Y , obtenant l’estimateur corrigé de ρ
2 :
˜
ρ
2 = 1 −
˜
σ
2
ε
˜
σ 2
Y
.
Notons que l’on peut au besoin facilement passer de l’un à l’autre en utilisant
la formule
19 :
˜
ρ
2 =
(n − 1) ρ
2
− m
n − m − 1
.
Exemple 14.10 Dans notre exemple de la prédiction de la graisse corporelle,
on estime la variance de la graisse corporelle Y par ˜
σ
2
Y = 65.1 et la variance
résiduelle par ˜
σ
2
ε = 18.2. On estime donc le pourcentage de la variance de Y
prédite par les m = 6 prédicteurs par ˜
ρ
2 = 1 − 18.2/65.1 = 72.0 %. Notons que
l’estimateur empirique de ce pourcentage de variance est ici de
ρ
2 = 72.6 %
(voir plus loin).
14.10 Tests sur la nullité de plusieurs paramètres
En régression multiple, on pourra non seulement tester la nullité d’une
certaine pente dans le modèle, mais également la nullité simultanée de toutes
les pentes. L’hypothèse nulle d’un tel test sera ainsi :
H 0 : β 1 = β 2 = · · · = β m = 0.
Notons que si toutes les pentes étaient nulles, le modèle de régression se réduirait à la seule constante et on aurait avec un tel modèle 0 % de variance
prédite. Cette hypothèse nulle peut donc également s’écrire :
H 0 : ρ
2 = 0.
Autrement dit, l’hypothèse nulle implique que l’ensemble des m prédicteurs du
modèle ne nous sert à rien pour prédire Y .
19 Dans la littérature, ces estimateurs b
ρ 2 et ˜
ρ 2 de ρ 2 sont souvent notés respectivement
par R 2 et R 2
adj (en anglais : R-square et adjusted R-square). Notons qu’ils seront très
proches l’un de l’autre en régression simple, raison pour laquelle on utilisera souvent b
ρ 2 ,
qui a l’avantage d’être le carré de l’estimateur habituel de la corrélation entre les deux
variables et de ne jamais être négatif (alors que ˜
ρ 2 pourra dans certains cas être légèrement
négatif, bien que l’on ait par définition ρ 2 ≥ 0). Il sera par contre important d’utiliser ˜
ρ 2 (au
lieu de b
ρ 2 ) dans une régression multiple avec beaucoup de prédicteurs, car la surestimation
de ρ 2 par b
ρ 2 pourra s’avérer grossière. Notons aussi que b
ρ 2 (au contraire de ˜
ρ 2 ) augmente
systématiquement lors de l’introduction de nouveaux prédicteurs dans le modèle et atteindrait
même b
ρ 2 = 100 % avec m = n − 1 prédicteurs (cas où ˜
σ 2
ε et ˜
ρ 2 ne seraient pas définis).