208
Statistique appliquée aux sciences de la vie
De la même manière que l’on a défini la variance d’un estimateur comme
étant la variance calculée sur les observations de cet estimateur que l’on obtiendrait si on répétait l’expérience, on peut définir la covariance entre deux
estimateurs comme étant la covariance calculée sur les observations bivariées de
ces deux estimateurs que l’on obtiendrait si on répétait cette même expérience.
Ainsi par exemple, la covariance entre les estimateurs
β 0 et
β 1 sera donnée par :
Cov(
β 0 ,
β 1 ) =
−¯ xσ
2
ε
i (x i − ¯
x) 2 .
Cela nous permet de calculer la variance de
β 0 +
β 1 x comme suit :
Var(
β 0 +
β 1 x) = Var(
β 0 ) + x
2 Var(
β 1 ) + 2xCov(
β 0 ,
β 1 )
=
σ
2
ε
i (x i − ¯
x) 2
i x
2
i
n
+ x
2
− 2x¯ x
=
σ
2
ε
i (x i − ¯
x) 2
i x
2
i
n
− ¯
x
2 + ¯
x
2 + x
2
− 2x¯ x
=
σ
2
ε
i (x i − ¯
x) 2
i (x i − ¯
x)
2
n
+ (x − ¯
x)
2
= σ
2
ε
1
n
+
(x − ¯
x)
2
i (x i − ¯
x) 2
.
Ici également, on constate que la variance diminue (et donc la précision de
l’estimateur augmente) lorsque n augmente, lorsque σ
2
ε diminue, lorsque la
variance des x i augmente et lorsque le groupe X = x se trouve proche du
centre ¯
x du domaine d’observation.
Nos estimateurs étant sans biais et normalement distribués, on pourra utiliser la méthode de Wald pour faire de l’inférence. Les variances de ces estimateurs dépendent cependant de la variance résiduelle σ
2
ε qui est inconnue
et qu’il s’agira d’estimer. Si on disposait de n observations indépendantes
ε 1 , ε 2 , · · · , ε n de la variable résiduelle ε, on pourrait estimer σ
2
ε sans biais en
calculant
i (ε i − ¯
ε)
2 /(n − 1) avec ¯
ε =
i ε i /n. Or, on a vu que les résidus ε i
ne sont pas observés mais estimés par
ε i = y i −
β 0 −
β 1 x i . Il se trouve alors que
l’estimateur donné par
11 :
˜
σ
2
ε =
i
ε
2
i
n − 2
est un estimateur sans biais de σ
2
ε . On notera également la formule suivante :
i
ε
2
i =
i
(y i − ¯
y)
2
−
β
2
1
i
(x i − ¯
x)
2
11 On rappelle que la moyenne des b
ε i est nulle, de sorte que ˜
σ 2
ε représente la variance des
b
ε i calculée non pas avec un dénominateur n, ni n − 1, mais avec un dénominateur n − 2. Il
faudra donc un minimum de n = 3 observations pour estimer la variance résiduelle (logique :
avec seulement n = 2 observations, la droite de régression passerait par les deux observations
et on ne pourrait pas estimer de variance autour de cette droite).
Statistique appliquée aux sciences de la vie
De la même manière que l’on a défini la variance d’un estimateur comme
étant la variance calculée sur les observations de cet estimateur que l’on obtiendrait si on répétait l’expérience, on peut définir la covariance entre deux
estimateurs comme étant la covariance calculée sur les observations bivariées de
ces deux estimateurs que l’on obtiendrait si on répétait cette même expérience.
Ainsi par exemple, la covariance entre les estimateurs
β 0 et
β 1 sera donnée par :
Cov(
β 0 ,
β 1 ) =
−¯ xσ
2
ε
i (x i − ¯
x) 2 .
Cela nous permet de calculer la variance de
β 0 +
β 1 x comme suit :
Var(
β 0 +
β 1 x) = Var(
β 0 ) + x
2 Var(
β 1 ) + 2xCov(
β 0 ,
β 1 )
=
σ
2
ε
i (x i − ¯
x) 2
i x
2
i
n
+ x
2
− 2x¯ x
=
σ
2
ε
i (x i − ¯
x) 2
i x
2
i
n
− ¯
x
2 + ¯
x
2 + x
2
− 2x¯ x
=
σ
2
ε
i (x i − ¯
x) 2
i (x i − ¯
x)
2
n
+ (x − ¯
x)
2
= σ
2
ε
1
n
+
(x − ¯
x)
2
i (x i − ¯
x) 2
.
Ici également, on constate que la variance diminue (et donc la précision de
l’estimateur augmente) lorsque n augmente, lorsque σ
2
ε diminue, lorsque la
variance des x i augmente et lorsque le groupe X = x se trouve proche du
centre ¯
x du domaine d’observation.
Nos estimateurs étant sans biais et normalement distribués, on pourra utiliser la méthode de Wald pour faire de l’inférence. Les variances de ces estimateurs dépendent cependant de la variance résiduelle σ
2
ε qui est inconnue
et qu’il s’agira d’estimer. Si on disposait de n observations indépendantes
ε 1 , ε 2 , · · · , ε n de la variable résiduelle ε, on pourrait estimer σ
2
ε sans biais en
calculant
i (ε i − ¯
ε)
2 /(n − 1) avec ¯
ε =
i ε i /n. Or, on a vu que les résidus ε i
ne sont pas observés mais estimés par
ε i = y i −
β 0 −
β 1 x i . Il se trouve alors que
l’estimateur donné par
11 :
˜
σ
2
ε =
i
ε
2
i
n − 2
est un estimateur sans biais de σ
2
ε . On notera également la formule suivante :
i
ε
2
i =
i
(y i − ¯
y)
2
−
β
2
1
i
(x i − ¯
x)
2
11 On rappelle que la moyenne des b
ε i est nulle, de sorte que ˜
σ 2
ε représente la variance des
b
ε i calculée non pas avec un dénominateur n, ni n − 1, mais avec un dénominateur n − 2. Il
faudra donc un minimum de n = 3 observations pour estimer la variance résiduelle (logique :
avec seulement n = 2 observations, la droite de régression passerait par les deux observations
et on ne pourrait pas estimer de variance autour de cette droite).