13. Régression linéaire simple
191
→ les erreurs de prédictions positives et négatives s’annulent
→ ceci implique également que
1
n
i
y
∗
i =
1
n
i y i = ¯
y
• la moyenne des résidus étant nulle, la variance des résidus est proportionnelle au critère des moindres carrés :
i
ε
2
i
• minimiser le critère des moindres carrés revient donc à définir la droite de
régression comme étant la droite pour laquelle les erreurs de prédictions
ont une moyenne nulle et une variance minimale.
Exemple 13.1 Voici le détail des données pour les n = 30 individus représentés sur les figures 13.1 et 13.2 :
i
x i
y i
y
∗
i
ε i
i
x i
y i
y
∗
i
ε i
1 166 60.3 65.6
−5.3 16 164 79.1 64.1
15.0
2 161 50.0 61.9 −11.9 17 156 74.9 58.2
16.7
3 167 59.1 66.3
−7.2 18 166 85.9 65.6
20.3
4 174 73.9 71.4
2.5 19 166 70.0 65.6
4.4
5 165 89.2 64.8
24.4 20 164 70.6 64.1
6.5
6 164 68.9 64.1
4.8 21 159 66.3 60.4
5.9
7 157 64.0 59.0
5.0 22 167 71.0 66.3
4.7
8 152 43.3 55.3 −12.0 23 166 59.9 65.6
−5.7
9 166 53.2 65.6 −12.4 24 160 59.7 61.2
−1.5
10 161 60.2 61.9
−1.7 25 165 60.6 64.8
−4.2
11 166 66.1 65.6
0.5 26 166 53.8 65.6 −11.8
12 161 59.5 61.9
−2.4 27 152 41.2 55.3 −14.1
13 154 57.0 56.8
0.2 28 154 56.0 56.8
−0.8
14 150 58.9 53.8
5.1 29 163 58.0 63.4
−5.4
15 168 57.2 67.0
−9.8 30 173 61.0 70.7
−9.7
On a ici
1
n
i x i = 162.43,
1
n
i y i = 62.96,
1
n
i x
2
i = 26 419.17 et
1
n
i x i y i =
10 252.18. On calcule ainsi :
β 1 =
10 252.18 − 162.43 · 62.96
26 419.17 − 162.43 2
= 0.734
et
β 0 = 62.96 − 0.734 · 162.43 = −56.23.
La droite de régression est ainsi donnée par l’équation :
y
∗ = −56.23 + 0.734x.
Les valeurs prédites
y
∗
i =
β 0 +
β 1 x i des poids des individus de notre échantillon
sont données dans le tableau ci-dessus, de même que les erreurs de prédiction
(ou résidus)
ε i = y i −
y
∗
i . On compte 14 erreurs positives (sous-estimation du
poids) et 16 erreurs négatives (surestimation du poids). Le lecteur vérifiera que
la somme des 14 erreurs positives compense exactement la somme de 16 erreurs
négatives, la somme (et donc la moyenne) de ces résidus étant nulle.
191
→ les erreurs de prédictions positives et négatives s’annulent
→ ceci implique également que
1
n
i
y
∗
i =
1
n
i y i = ¯
y
• la moyenne des résidus étant nulle, la variance des résidus est proportionnelle au critère des moindres carrés :
i
ε
2
i
• minimiser le critère des moindres carrés revient donc à définir la droite de
régression comme étant la droite pour laquelle les erreurs de prédictions
ont une moyenne nulle et une variance minimale.
Exemple 13.1 Voici le détail des données pour les n = 30 individus représentés sur les figures 13.1 et 13.2 :
i
x i
y i
y
∗
i
ε i
i
x i
y i
y
∗
i
ε i
1 166 60.3 65.6
−5.3 16 164 79.1 64.1
15.0
2 161 50.0 61.9 −11.9 17 156 74.9 58.2
16.7
3 167 59.1 66.3
−7.2 18 166 85.9 65.6
20.3
4 174 73.9 71.4
2.5 19 166 70.0 65.6
4.4
5 165 89.2 64.8
24.4 20 164 70.6 64.1
6.5
6 164 68.9 64.1
4.8 21 159 66.3 60.4
5.9
7 157 64.0 59.0
5.0 22 167 71.0 66.3
4.7
8 152 43.3 55.3 −12.0 23 166 59.9 65.6
−5.7
9 166 53.2 65.6 −12.4 24 160 59.7 61.2
−1.5
10 161 60.2 61.9
−1.7 25 165 60.6 64.8
−4.2
11 166 66.1 65.6
0.5 26 166 53.8 65.6 −11.8
12 161 59.5 61.9
−2.4 27 152 41.2 55.3 −14.1
13 154 57.0 56.8
0.2 28 154 56.0 56.8
−0.8
14 150 58.9 53.8
5.1 29 163 58.0 63.4
−5.4
15 168 57.2 67.0
−9.8 30 173 61.0 70.7
−9.7
On a ici
1
n
i x i = 162.43,
1
n
i y i = 62.96,
1
n
i x
2
i = 26 419.17 et
1
n
i x i y i =
10 252.18. On calcule ainsi :
β 1 =
10 252.18 − 162.43 · 62.96
26 419.17 − 162.43 2
= 0.734
et
β 0 = 62.96 − 0.734 · 162.43 = −56.23.
La droite de régression est ainsi donnée par l’équation :
y
∗ = −56.23 + 0.734x.
Les valeurs prédites
y
∗
i =
β 0 +
β 1 x i des poids des individus de notre échantillon
sont données dans le tableau ci-dessus, de même que les erreurs de prédiction
(ou résidus)
ε i = y i −
y
∗
i . On compte 14 erreurs positives (sous-estimation du
poids) et 16 erreurs négatives (surestimation du poids). Le lecteur vérifiera que
la somme des 14 erreurs positives compense exactement la somme de 16 erreurs
négatives, la somme (et donc la moyenne) de ces résidus étant nulle.