522
Le logiciel R - Effectuer des analyses statistiques
regsubsets ou en utilisant $rsq, $rss, $adjr2 et $cp (pour r-squared, residual sum of squares, adjusted r-squared et Cp de Mallows respectivement),
` a la place de $bic, avec la fonction summary() comme expos´ e plus haut.
La m´ ethode pas ` a pas ascendante (forward selection)
La r´ egression pas `
a pas ascendante (ou m´ ethode par additions successives)
est une m´ ethode it´ erative. Elle consiste `
a s´ electionner ` a chaque ´ etape la variable
explicative la plus significative (au seuil α) lorsque l’on r´ egresse Y sur toutes
les variables explicatives s´ electionn´ ees aux ´ etapes pr´ ec´ edentes et la nouvelle
variable choisie, tant que l’apport marginal de cette derni` ere est significatif.
Montrons le fonctionnement de cette proc´ edure ` a l’aide de la fonction add1()
pour un seuil α = 0.05.
> add1(lm(BWT∼1),BWT∼LWT+AGE+UI+SMOKE+HT+FVT1+PTL1,test="F")
Single term additions
Model:
BWT ∼ 1
Df Sum of Sq
RSS
AIC F value
Pr(>F)
99917053 2492.7
LWT
1
3448881 96468171 2488.0 6.6855
0.010481 *
AGE
1
806927 99110126 2493.1 1.5225
0.218790
UI
1
8028747 91888305 2478.8 16.3391 0.00007732 ***
SMOKE
1
3573406 96343646 2487.8 6.9359
0.009156 **
HT
1
2132014 97785038 2490.6 4.0772
0.044894 *
FVT1
1
1338322 98578731 2492.1 2.5387
0.112772
PTL1
1
4757523 95159530 2485.4 9.3491
0.002558 **
--Signif. codes: 0 ‘ *** ’ 0.001 ‘ ** ’ 0.01 ‘ * ’ 0.05 ‘.’ 0.1 ‘ ’ 1
UI est la variable la plus significative.
> add1(lm(BWT∼UI),BWT∼LWT+AGE+UI+SMOKE+HT+FVT1+PTL1,test="F")
Single term additions
Model:
BWT ∼ UI
Df Sum of Sq
RSS
AIC F value Pr(>F)
91888305 2478.8
LWT
1
2076990 89811315 2476.5 4.3015 0.03946 *
AGE
1
472355 91415950 2479.9 0.9611 0.32819
SMOKE
1
2949940 88938365 2474.7 6.1693 0.01388 *
HT
1
3162469 88725836 2474.2 6.6296 0.01081 *
FVT1
1
949028 90939278 2478.9 1.9411 0.16522
PTL1
1
2837049 89051257 2474.9 5.9257 0.01587 *
Le logiciel R - Effectuer des analyses statistiques
regsubsets ou en utilisant $rsq, $rss, $adjr2 et $cp (pour r-squared, residual sum of squares, adjusted r-squared et Cp de Mallows respectivement),
` a la place de $bic, avec la fonction summary() comme expos´ e plus haut.
La m´ ethode pas ` a pas ascendante (forward selection)
La r´ egression pas `
a pas ascendante (ou m´ ethode par additions successives)
est une m´ ethode it´ erative. Elle consiste `
a s´ electionner ` a chaque ´ etape la variable
explicative la plus significative (au seuil α) lorsque l’on r´ egresse Y sur toutes
les variables explicatives s´ electionn´ ees aux ´ etapes pr´ ec´ edentes et la nouvelle
variable choisie, tant que l’apport marginal de cette derni` ere est significatif.
Montrons le fonctionnement de cette proc´ edure ` a l’aide de la fonction add1()
pour un seuil α = 0.05.
> add1(lm(BWT∼1),BWT∼LWT+AGE+UI+SMOKE+HT+FVT1+PTL1,test="F")
Single term additions
Model:
BWT ∼ 1
Df Sum of Sq
RSS
AIC F value
Pr(>F)
99917053 2492.7
LWT
1
3448881 96468171 2488.0 6.6855
0.010481 *
AGE
1
806927 99110126 2493.1 1.5225
0.218790
UI
1
8028747 91888305 2478.8 16.3391 0.00007732 ***
SMOKE
1
3573406 96343646 2487.8 6.9359
0.009156 **
HT
1
2132014 97785038 2490.6 4.0772
0.044894 *
FVT1
1
1338322 98578731 2492.1 2.5387
0.112772
PTL1
1
4757523 95159530 2485.4 9.3491
0.002558 **
--Signif. codes: 0 ‘ *** ’ 0.001 ‘ ** ’ 0.01 ‘ * ’ 0.05 ‘.’ 0.1 ‘ ’ 1
UI est la variable la plus significative.
> add1(lm(BWT∼UI),BWT∼LWT+AGE+UI+SMOKE+HT+FVT1+PTL1,test="F")
Single term additions
Model:
BWT ∼ UI
Df Sum of Sq
RSS
AIC F value Pr(>F)
91888305 2478.8
LWT
1
2076990 89811315 2476.5 4.3015 0.03946 *
AGE
1
472355 91415950 2479.9 0.9611 0.32819
SMOKE
1
2949940 88938365 2474.7 6.1693 0.01388 *
HT
1
3162469 88725836 2474.2 6.6296 0.01081 *
FVT1
1
949028 90939278 2478.9 1.9411 0.16522
PTL1
1
2837049 89051257 2474.9 5.9257 0.01587 *