504
Le logiciel R - Effectuer des analyses statistiques
SECTION 12.3
La r´ egression lin´ eaire multiple
12.3.1 Objectif et mod` ele
Objectif
Il s’agit d’´ etudier les variations d’une variable quantitative Y (variable dite ` a
expliquer ou d´ ependante, suppos´ ee al´ eatoire) en fonction de p (p > 1) variables
explicatives X 1 , X 2 ,. . .,X p (variables aussi dites ind´ ependantes). Les variables
explicatives peuvent ˆ etre uniquement quantitatives, uniquement qualitatives
(auquel cas on retombe sur l’ANOVA pr´ esent´ ee au chapitre 13), ou un m´ elange
de variables quantitatives et qualitatives. Dans ce dernier cas, le mod` ele de
r´ egression lin´ eaire multiple est aussi appel´ e ANCOVA.
Le mod` ele
Le mod` ele de r´ egression lin´ eaire multiple s’´ ecrit
Y = β 0 + β 1 X 1 + · · · + β p X p +
o` u repr´ esente le terme de perturbation al´ eatoire (bruit) du mod` ele souvent
suppos´ e gaussien d’esp´ erance nulle et de variance σ
2 , et ind´ ependant des X j .
Les param` etres (inconnus) du mod` ele de r´ egression sont β 0 , β 1 . . . , β p et σ
2 .
12.3.2 Ajustement sur des donn´ ees
Nous consid´ erons un jeu de donn´ ees provenant du mod` ele suivant :
Y i = β 0 + β 1 X i1 + β 2 X i2 + · · · + β p X ip + i i = 1, . . . , n
o` u X i j est la j-i` eme variable explicative pour l’individu i et les erreurs i
sont des variables al´ eatoires ind´ ependantes v´ erifiant E( i ) = 0 et Var( i |X i ) = σ
2
avec X i = (X i1 , . . . , X ip ). Les donn´ ees issues de ce mod` ele peuvent s’´ ecrire sous
forme matricielle :
y = Xβ +
avec y =
⎛
⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝
y 1
. . .
y n
⎞
⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠
, X =
⎛
⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝
1 x 11 x 12 · · · x 1p
1 x 21 x 22 · · · x 2p
. . .
. . .
. . .
1 x n1 x n2 · · · x np
⎞
⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠
, β =
⎛
⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝
β 0
. . .
β p
⎞
⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠
et =
⎛
⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝
1
. . .
n
⎞
⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠
.
Les param` etres de r´ egression β sont estim´ es en minimisant (en α = (α 0 , α 1 , . . . , α p ))
les moindres carr´ es ordinaires :
S (α) =
n
i=1
(y i − α 0 − α 1 x i1 − α 2 x i2 − · · · − α p x ip )
2
= y − Xα
2
.
Le logiciel R - Effectuer des analyses statistiques
SECTION 12.3
La r´ egression lin´ eaire multiple
12.3.1 Objectif et mod` ele
Objectif
Il s’agit d’´ etudier les variations d’une variable quantitative Y (variable dite ` a
expliquer ou d´ ependante, suppos´ ee al´ eatoire) en fonction de p (p > 1) variables
explicatives X 1 , X 2 ,. . .,X p (variables aussi dites ind´ ependantes). Les variables
explicatives peuvent ˆ etre uniquement quantitatives, uniquement qualitatives
(auquel cas on retombe sur l’ANOVA pr´ esent´ ee au chapitre 13), ou un m´ elange
de variables quantitatives et qualitatives. Dans ce dernier cas, le mod` ele de
r´ egression lin´ eaire multiple est aussi appel´ e ANCOVA.
Le mod` ele
Le mod` ele de r´ egression lin´ eaire multiple s’´ ecrit
Y = β 0 + β 1 X 1 + · · · + β p X p +
o` u repr´ esente le terme de perturbation al´ eatoire (bruit) du mod` ele souvent
suppos´ e gaussien d’esp´ erance nulle et de variance σ
2 , et ind´ ependant des X j .
Les param` etres (inconnus) du mod` ele de r´ egression sont β 0 , β 1 . . . , β p et σ
2 .
12.3.2 Ajustement sur des donn´ ees
Nous consid´ erons un jeu de donn´ ees provenant du mod` ele suivant :
Y i = β 0 + β 1 X i1 + β 2 X i2 + · · · + β p X ip + i i = 1, . . . , n
o` u X i j est la j-i` eme variable explicative pour l’individu i et les erreurs i
sont des variables al´ eatoires ind´ ependantes v´ erifiant E( i ) = 0 et Var( i |X i ) = σ
2
avec X i = (X i1 , . . . , X ip ). Les donn´ ees issues de ce mod` ele peuvent s’´ ecrire sous
forme matricielle :
y = Xβ +
avec y =
⎛
⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝
y 1
. . .
y n
⎞
⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠
, X =
⎛
⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝
1 x 11 x 12 · · · x 1p
1 x 21 x 22 · · · x 2p
. . .
. . .
. . .
1 x n1 x n2 · · · x np
⎞
⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠
, β =
⎛
⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝
β 0
. . .
β p
⎞
⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠
et =
⎛
⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝
1
. . .
n
⎞
⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠
.
Les param` etres de r´ egression β sont estim´ es en minimisant (en α = (α 0 , α 1 , . . . , α p ))
les moindres carr´ es ordinaires :
S (α) =
n
i=1
(y i − α 0 − α 1 x i1 − α 2 x i2 − · · · − α p x ip )
2
= y − Xα
2
.