Chapitre 12. R´ egression lin´ eaire simple et multiple
519
Le VIF joue un rˆ ole fondamental dans la variance des estimateurs puisque
Var
ˆ
β j |X = X
=
σ
2
n×s 2
j
×
1
1−r 2
j
o` u s
2
j =
1
n
n
i=1 (x i j − x j )
2 est la variance de l’´ echantillon de x j . Plus x j est colin´ eaire aux autres r´ egresseurs, plus r
2
j est proche de
1, donc plus le terme
1
1−r 2
j
est ´ elev´ e ; la variance de l’estimateur ˆ
β j est alors tr` es
´ elev´ ee. `
A l’inverse, plus r
2
j est proche de 0, plus le VIF associ´ e est proche de
1 (le minimum). Ainsi, plus x j est « ind´ ependant » des autres r´ egresseurs, et
moins les estimations seront d´ et´ erior´ ees. Ainsi, la colin´ earit´ e entre r´ egresseurs
se r´ epercute in´ evitablement dans la pr´ ecision des estimateurs. On estime qu’il
y a une forte colin´ earit´ e lorsque VIF j > 10 (c’est-` a-dire r
2
j > 0.9).
L’instruction R pour calculer le VIF est vif(), disponible dans le package
car.
Nous pr´ esentons l’utilisation de la fonction vif() dans l’exemple tr` es simple
du mod` ele
E[BWT|LWT, AGE] = β 0 + β 1 LWT + β 2 AGE.
> modele7 <- lm(BWT∼LWT+AGE)
> vif(modele7)
LWT
AGE
1.033513 1.033513
Remarque
Dans ce cas, les VIF sont identiques, car il n’y a que deux r´ egresseurs.
C’est un exemple tr` es simple, car nous n’avions que deux r´ egresseurs et nous
aurions pu analyser cette colin´ earit´ e graphiquement, mais l’on comprend
ais´ ement son int´ erˆ et lorsque l’on a un grand nombre de r´ egresseurs.
12.3.8 S´ election de variables
Parmi le grand nombre de variables explicatives potentielles, il s’agit de
s´ electionner celles qui sont le plus ` a mˆ eme d’expliquer Y. Cela permet d’´ economiser le nombre de pr´ edicteurs (et ainsi d’obtenir un mod` ele parcimonieux) et
d’obtenir un bon pouvoir pr´ edictif en ´ eliminant les variables redondantes qui
augmentent le facteur d’inflation de la variance (VIF).
Plus le nombre de param` etres augmente (nombre important de variables explicatives), plus l’ajustement aux donn´ ees est bon (r
2 proche de 1). En contrepartie, l’estimation des param` etres est d´ et´ erior´ ee (la variance des estimateurs
augmente) ` a cause des probl` emes de colin´ earit´ e.
519
Le VIF joue un rˆ ole fondamental dans la variance des estimateurs puisque
Var
ˆ
β j |X = X
=
σ
2
n×s 2
j
×
1
1−r 2
j
o` u s
2
j =
1
n
n
i=1 (x i j − x j )
2 est la variance de l’´ echantillon de x j . Plus x j est colin´ eaire aux autres r´ egresseurs, plus r
2
j est proche de
1, donc plus le terme
1
1−r 2
j
est ´ elev´ e ; la variance de l’estimateur ˆ
β j est alors tr` es
´ elev´ ee. `
A l’inverse, plus r
2
j est proche de 0, plus le VIF associ´ e est proche de
1 (le minimum). Ainsi, plus x j est « ind´ ependant » des autres r´ egresseurs, et
moins les estimations seront d´ et´ erior´ ees. Ainsi, la colin´ earit´ e entre r´ egresseurs
se r´ epercute in´ evitablement dans la pr´ ecision des estimateurs. On estime qu’il
y a une forte colin´ earit´ e lorsque VIF j > 10 (c’est-` a-dire r
2
j > 0.9).
L’instruction R pour calculer le VIF est vif(), disponible dans le package
car.
Nous pr´ esentons l’utilisation de la fonction vif() dans l’exemple tr` es simple
du mod` ele
E[BWT|LWT, AGE] = β 0 + β 1 LWT + β 2 AGE.
> modele7 <- lm(BWT∼LWT+AGE)
> vif(modele7)
LWT
AGE
1.033513 1.033513
Remarque
Dans ce cas, les VIF sont identiques, car il n’y a que deux r´ egresseurs.
C’est un exemple tr` es simple, car nous n’avions que deux r´ egresseurs et nous
aurions pu analyser cette colin´ earit´ e graphiquement, mais l’on comprend
ais´ ement son int´ erˆ et lorsque l’on a un grand nombre de r´ egresseurs.
12.3.8 S´ election de variables
Parmi le grand nombre de variables explicatives potentielles, il s’agit de
s´ electionner celles qui sont le plus ` a mˆ eme d’expliquer Y. Cela permet d’´ economiser le nombre de pr´ edicteurs (et ainsi d’obtenir un mod` ele parcimonieux) et
d’obtenir un bon pouvoir pr´ edictif en ´ eliminant les variables redondantes qui
augmentent le facteur d’inflation de la variance (VIF).
Plus le nombre de param` etres augmente (nombre important de variables explicatives), plus l’ajustement aux donn´ ees est bon (r
2 proche de 1). En contrepartie, l’estimation des param` etres est d´ et´ erior´ ee (la variance des estimateurs
augmente) ` a cause des probl` emes de colin´ earit´ e.