220
Statistique appliquée aux sciences de la vie
14.1 Hyperplan de régression
On répondra aux questions énoncées ci-dessus à l’aide de l’hyperplan de
régression, qui est une généralisation de la droite de régression. L’hyperplan de
régression est défini par une équation de la forme suivante :
y
∗ =
β 0 +
β 1 x 1 +
β 2 x 2 + · · · +
β m x m
que l’on utilisera pour prédire la valeur de la variable Y pour un individu avec
X 1 = x 1 , X 2 = x 2 , · · · , X m = x m . Ici aussi,
β 0 est appelée la constante, alors
que
β 1 ,
β 2 , · · · ,
β m sont les pentes associées aux différents prédicteurs. Notons
qu’un hyperplan sera un plan dans le cas m = 2 et une droite dans le cas m = 1.
On utilise à nouveau la notation suivante :
•
y
∗
i =
β 0 +
β 1 x i1 +
β 2 x i2 + · · · +
β m x im est la valeur prédite de la variable
Y pour le i-ième individu de notre échantillon
•
ε i = y i −
y
∗
i est son erreur de prédiction, aussi appelée résidu.
Comme au chapitre précédent, les coefficients
β 0 ,
β 1 , · · · ,
β m de l’hyperplan de
régression sont calculés afin de minimiser le critère des moindres carrés :
i
ε
2
i =
i
(y i −
y
∗
i )
2 =
i
(y i −
β 0 −
β 1 x i1 −
β 2 x i2 − · · · −
β m x im )
2 .
La solution pour
β 0 ,
β 1 , · · · ,
β m est explicite dans une notation matricielle
2 .
On retrouvera des propriétés semblables à celles vues en régression simple,
avec notamment
i
ε i = 0.
L’hyperplan de régression calculé dans notre échantillon :
y
∗ =
β 0 +
β 1 x 1 +
β 2 x 2 + · · · +
β m x m
est un estimateur du véritable hyperplan de régression :
y
∗ = β 0 + β 1 x 1 + β 2 x 2 + · · · + β m x m
2 Les données de notre échantillon consisteront en un vecteur y de dimension n qui contient
les observations par rapport à la variable réponse, et d’une matrice X de dimension n×(m+1)
(en anglais : design matrix) qui contient les observations par rapport aux m prédicteurs
(ainsi qu’une colonne de « 1 ») comme suit :
y =
0
B
B
B
@
y 1
y 2
.
.
.
yn
1
C
C
C
A
et X =
0
B
B
B
@
1 x 11 x 12 · · · x 1m
1 x 21 x 22 · · · x 2m
.
.
.
.
.
.
.
.
.
. . .
.
.
.
1 x n1 x n2 · · · xnm
1
C
C
C
A
.
On calcule alors le vecteur b
β de dimension m + 1 contenant les coefficients b
β 0 , b
β 1 , · · · , b
βm de
l’hyperplan de régression défini par la méthode des moindres carrés comme suit :
b
β = (X
T X)
−1 X
T y
où X T désigne la matrice transposée de X.
Statistique appliquée aux sciences de la vie
14.1 Hyperplan de régression
On répondra aux questions énoncées ci-dessus à l’aide de l’hyperplan de
régression, qui est une généralisation de la droite de régression. L’hyperplan de
régression est défini par une équation de la forme suivante :
y
∗ =
β 0 +
β 1 x 1 +
β 2 x 2 + · · · +
β m x m
que l’on utilisera pour prédire la valeur de la variable Y pour un individu avec
X 1 = x 1 , X 2 = x 2 , · · · , X m = x m . Ici aussi,
β 0 est appelée la constante, alors
que
β 1 ,
β 2 , · · · ,
β m sont les pentes associées aux différents prédicteurs. Notons
qu’un hyperplan sera un plan dans le cas m = 2 et une droite dans le cas m = 1.
On utilise à nouveau la notation suivante :
•
y
∗
i =
β 0 +
β 1 x i1 +
β 2 x i2 + · · · +
β m x im est la valeur prédite de la variable
Y pour le i-ième individu de notre échantillon
•
ε i = y i −
y
∗
i est son erreur de prédiction, aussi appelée résidu.
Comme au chapitre précédent, les coefficients
β 0 ,
β 1 , · · · ,
β m de l’hyperplan de
régression sont calculés afin de minimiser le critère des moindres carrés :
i
ε
2
i =
i
(y i −
y
∗
i )
2 =
i
(y i −
β 0 −
β 1 x i1 −
β 2 x i2 − · · · −
β m x im )
2 .
La solution pour
β 0 ,
β 1 , · · · ,
β m est explicite dans une notation matricielle
2 .
On retrouvera des propriétés semblables à celles vues en régression simple,
avec notamment
i
ε i = 0.
L’hyperplan de régression calculé dans notre échantillon :
y
∗ =
β 0 +
β 1 x 1 +
β 2 x 2 + · · · +
β m x m
est un estimateur du véritable hyperplan de régression :
y
∗ = β 0 + β 1 x 1 + β 2 x 2 + · · · + β m x m
2 Les données de notre échantillon consisteront en un vecteur y de dimension n qui contient
les observations par rapport à la variable réponse, et d’une matrice X de dimension n×(m+1)
(en anglais : design matrix) qui contient les observations par rapport aux m prédicteurs
(ainsi qu’une colonne de « 1 ») comme suit :
y =
0
B
B
B
@
y 1
y 2
.
.
.
yn
1
C
C
C
A
et X =
0
B
B
B
@
1 x 11 x 12 · · · x 1m
1 x 21 x 22 · · · x 2m
.
.
.
.
.
.
.
.
.
. . .
.
.
.
1 x n1 x n2 · · · xnm
1
C
C
C
A
.
On calcule alors le vecteur b
β de dimension m + 1 contenant les coefficients b
β 0 , b
β 1 , · · · , b
βm de
l’hyperplan de régression défini par la méthode des moindres carrés comme suit :
b
β = (X
T X)
−1 X
T y
où X T désigne la matrice transposée de X.