Chapitre 12. R´ egression lin´ eaire simple et multiple
525
> drop1(lm(BWT∼LWT+UI+SMOKE+HT+PTL1),test="F")
Single term deletions
Model:
BWT ∼ LWT + UI + SMOKE + HT + PTL1
Df Sum of Sq
RSS
AIC F value
Pr(>F)
81151560 2463.3
LWT
1
2891443 84043002 2468.0 6.5203 0.0114803 *
UI
1
5763232 86914792 2474.3 12.9963 0.0004023 ***
SMOKE
1
1886275 83037835 2465.7 4.2536 0.0405794 *
HT
1
4217585 85369145 2470.9 9.5108 0.0023592 **
PTL1
1
1434298 82585858 2464.7 3.2344 0.0737548 .
--Signif. codes: 0 ‘ *** ’ 0.001 ‘ ** ’ 0.01 ‘ * ’ 0.05 ‘.’ 0.1 ‘ ’ 1
On retire la variable PLT1.
> drop1(lm(BWT∼LWT+UI+SMOKE+HT),test="F")
Single term deletions
Model:
BWT ∼ LWT + UI + SMOKE + HT
Df Sum of Sq
RSS
AIC F value
Pr(>F)
82585858 2464.7
LWT
1
3311668 85897527 2470.1 7.3783 0.0072310 **
UI
1
6955671 89541530 2477.9 15.4971 0.0001171 ***
SMOKE
1
2579898 85165756 2468.5 5.7480 0.0175082 *
HT
1
4443587 87029445 2472.6 9.9002 0.0019278 **
--Signif. codes: 0 ‘ *** ’ 0.001 ‘ ** ’ 0.01 ‘ * ’ 0.05 ‘.’ 0.1 ‘ ’ 1
La m´ ethode s’arrˆ ete donc sur le mod` ele contenant les variables : UI, HT, LWT
et SMOKE.
La m´ ethode pas ` a pas (stepwise)
Cet algorithme est un perfectionnement de la m´ ethode ascendante. Il
consiste ` a effectuer en plus, `
a chaque ´ etape, des tests du type Student ou
Fisher, ou encore ` a optimiser un certain crit` ere, pour ne pas introduire une
variable non significative et pour ´ eliminer ´ eventuellement des variables d´ ej` a
introduites qui ne seraient plus informatives compte tenu de la derni` ere
variable s´ electionn´ ee. L’algorithme s’arrˆ ete quand on ne peut plus ajouter ni
retrancher de variables.
Nous pr´ esentons la fonction step() permettant d’effectuer une m´ ethode du
type pas ` a pas en utilisant `
a chaque ´ etape de la proc´ edure une s´ election faite
par le crit` ere bien connu AIC (An Information Criterion) propos´ e par [2]. On
peut aussi utiliser le crit` ere bien connu BIC (Bayesian Information Criterion)
au moyen de l’argument k=log(n) de la fonction step().
525
> drop1(lm(BWT∼LWT+UI+SMOKE+HT+PTL1),test="F")
Single term deletions
Model:
BWT ∼ LWT + UI + SMOKE + HT + PTL1
Df Sum of Sq
RSS
AIC F value
Pr(>F)
81151560 2463.3
LWT
1
2891443 84043002 2468.0 6.5203 0.0114803 *
UI
1
5763232 86914792 2474.3 12.9963 0.0004023 ***
SMOKE
1
1886275 83037835 2465.7 4.2536 0.0405794 *
HT
1
4217585 85369145 2470.9 9.5108 0.0023592 **
PTL1
1
1434298 82585858 2464.7 3.2344 0.0737548 .
--Signif. codes: 0 ‘ *** ’ 0.001 ‘ ** ’ 0.01 ‘ * ’ 0.05 ‘.’ 0.1 ‘ ’ 1
On retire la variable PLT1.
> drop1(lm(BWT∼LWT+UI+SMOKE+HT),test="F")
Single term deletions
Model:
BWT ∼ LWT + UI + SMOKE + HT
Df Sum of Sq
RSS
AIC F value
Pr(>F)
82585858 2464.7
LWT
1
3311668 85897527 2470.1 7.3783 0.0072310 **
UI
1
6955671 89541530 2477.9 15.4971 0.0001171 ***
SMOKE
1
2579898 85165756 2468.5 5.7480 0.0175082 *
HT
1
4443587 87029445 2472.6 9.9002 0.0019278 **
--Signif. codes: 0 ‘ *** ’ 0.001 ‘ ** ’ 0.01 ‘ * ’ 0.05 ‘.’ 0.1 ‘ ’ 1
La m´ ethode s’arrˆ ete donc sur le mod` ele contenant les variables : UI, HT, LWT
et SMOKE.
La m´ ethode pas ` a pas (stepwise)
Cet algorithme est un perfectionnement de la m´ ethode ascendante. Il
consiste ` a effectuer en plus, `
a chaque ´ etape, des tests du type Student ou
Fisher, ou encore ` a optimiser un certain crit` ere, pour ne pas introduire une
variable non significative et pour ´ eliminer ´ eventuellement des variables d´ ej` a
introduites qui ne seraient plus informatives compte tenu de la derni` ere
variable s´ electionn´ ee. L’algorithme s’arrˆ ete quand on ne peut plus ajouter ni
retrancher de variables.
Nous pr´ esentons la fonction step() permettant d’effectuer une m´ ethode du
type pas ` a pas en utilisant `
a chaque ´ etape de la proc´ edure une s´ election faite
par le crit` ere bien connu AIC (An Information Criterion) propos´ e par [2]. On
peut aussi utiliser le crit` ere bien connu BIC (Bayesian Information Criterion)
au moyen de l’argument k=log(n) de la fonction step().