14. Régression linéaire multiple
245
MS tot (en anglais : mean squares). La statistique de test du test F peut alors
se calculer comme suit :
T stat =
MS reg
MS res
.
Exemple 14.11 Dans notre exemple de la prédiction de la graisse corporelle,
on obtient le tableau d’analyse de variance suivant :
variabilité somme des carrés
dl
moyenne des carrés
régression
11 674.9
6
1945.8
résiduelle
4396.4
241
18.2
totale
16 071.3
247
65.1
On a ainsi
ρ
2 = 11 674.9/16 071.3 = 72.6 %. Afin de tester l’hypothèse nulle
H 0 : β 1 = β 2 = β 3 = β 4 = β 5 = β 6 = 0
on calcule la statistique de test suivante :
t stat =
241
6
·
0.726
1 − 0.726
=
1945.8
18.2
= 106.7.
que l’on compare avec F 0.95,6,241 = 2.14. Comme t stat ≥ F 0.95,6,241 , on rejette
l’hypothèse nulle au seuil de 5 % (un logiciel statistique nous donnera p <
0.0001)
22 . On conclut que les véritables pentes associées à nos six prédicteurs
ne sont pas toutes nulles (on a prouvé statistiquement que ρ
2 > 0, c’est-à-dire
que dans l’ensemble, nos m = 6 prédicteurs ne sont pas complètement inutiles
pour prédire la variable réponse).
Il est également possible de tester la nullité simultanée d’un sous-ensemble
préspécifié de r pentes d’un modèle de régression linéaire (avec 1 ≤ r ≤ m) à
l’aide d’un test du F partiel. On pourra par exemple tester la nullité simultanée
des r premières pentes, l’hypothèse nulle s’écrivant ainsi :
H 0 : β 1 = β 2 = · · · = β r = 0.
Si ces pentes étaient nulles, le pourcentage de la variance prédite par le modèle
de régression incluant l’ensemble des m prédicteurs ne serait pas plus élevé que
le pourcentage de la variance prédite que l’on aurait après avoir éliminé ces r
prédicteurs de notre modèle, que l’on notera ρ
2 (H 0 ). Autrement dit, l’hypothèse
nulle implique que les r premiers prédicteurs n’améliorent pas la prédiction de
Y (sachant que l’on a déjà les autres m − r prédicteurs dans le modèle). On
utilise ici la statistique de test suivante :
T stat =
n − m − 1
r
·
ρ
2
−
ρ
2 (H 0 )
1 −
ρ 2
22 Dans R, on pourra ici calculer la valeur p par la commande 1-pf(106.7,6,241).
245
MS tot (en anglais : mean squares). La statistique de test du test F peut alors
se calculer comme suit :
T stat =
MS reg
MS res
.
Exemple 14.11 Dans notre exemple de la prédiction de la graisse corporelle,
on obtient le tableau d’analyse de variance suivant :
variabilité somme des carrés
dl
moyenne des carrés
régression
11 674.9
6
1945.8
résiduelle
4396.4
241
18.2
totale
16 071.3
247
65.1
On a ainsi
ρ
2 = 11 674.9/16 071.3 = 72.6 %. Afin de tester l’hypothèse nulle
H 0 : β 1 = β 2 = β 3 = β 4 = β 5 = β 6 = 0
on calcule la statistique de test suivante :
t stat =
241
6
·
0.726
1 − 0.726
=
1945.8
18.2
= 106.7.
que l’on compare avec F 0.95,6,241 = 2.14. Comme t stat ≥ F 0.95,6,241 , on rejette
l’hypothèse nulle au seuil de 5 % (un logiciel statistique nous donnera p <
0.0001)
22 . On conclut que les véritables pentes associées à nos six prédicteurs
ne sont pas toutes nulles (on a prouvé statistiquement que ρ
2 > 0, c’est-à-dire
que dans l’ensemble, nos m = 6 prédicteurs ne sont pas complètement inutiles
pour prédire la variable réponse).
Il est également possible de tester la nullité simultanée d’un sous-ensemble
préspécifié de r pentes d’un modèle de régression linéaire (avec 1 ≤ r ≤ m) à
l’aide d’un test du F partiel. On pourra par exemple tester la nullité simultanée
des r premières pentes, l’hypothèse nulle s’écrivant ainsi :
H 0 : β 1 = β 2 = · · · = β r = 0.
Si ces pentes étaient nulles, le pourcentage de la variance prédite par le modèle
de régression incluant l’ensemble des m prédicteurs ne serait pas plus élevé que
le pourcentage de la variance prédite que l’on aurait après avoir éliminé ces r
prédicteurs de notre modèle, que l’on notera ρ
2 (H 0 ). Autrement dit, l’hypothèse
nulle implique que les r premiers prédicteurs n’améliorent pas la prédiction de
Y (sachant que l’on a déjà les autres m − r prédicteurs dans le modèle). On
utilise ici la statistique de test suivante :
T stat =
n − m − 1
r
·
ρ
2
−
ρ
2 (H 0 )
1 −
ρ 2
22 Dans R, on pourra ici calculer la valeur p par la commande 1-pf(106.7,6,241).