Fiche 78 • Régression linéaire simple
Remarques
1. Le coefficient de détermi nation R2 pren d ses valeu rs entre 0 et 1.
2. Plus le coefficient de détermination R2 est proch e de 1, p lus les données sont alignées sur la droite
de régression .
Toutes ces caractéristiq ues de la régression peuvent se résumer dans un tableau appelé ta blea u
de l'a nalyse de la variance.
Sources
Sommes
Degrés
carrés
de variation
des carrés de liberté
moyens
Expliquée par
SC reg
1
SC,eg
la régression
CMreg = - 1
-
Résiduelle
se,..
N- 2
CM - se,..
"" - N- 2
Tot ale
SCror
N-1
2. ESTIMATION PONCTUELLE DES PARAMÈTRES DE LA DROITE DE RÉGRESSION
a) Modèle gaussien de régression linéaire simple
Il est rare d'avoir accès à coutes les données de la population pour des raisons faciles à comprendre: manque de temps, impossibilité de faire un recensement, ... Pour c haq ue individu, de
l'échantillon de caille 11, nous observons une valeu r x 1 du caractère quantitatif continu X et une
valeur !li du caractère q uantitatif continu Y. Il peuc nous arriver d'observer des valeurs différences
de Y pour plusieurs individus ayant la même valeur observée du caractère X. Derrière cette idée,
se trouve le modèle de la régression linéaire simple.
Définition : La régress ion linéaire s imple est liée au modèle suivant:
Y 1 =/Jo+fJ 1 x 1 +e 1 , où i= l, ... ,11.
Les deux paramètres /Jo et fJ 1 sont inconnus mais fixes. Les variables aléatoires e; sont les variables d 'erreur q ui sont supposées vérifier des hypothèses, appelées aussi conditions fondamentales, q ui sont au nombre de crois :
1. Les variables aléatoires e 1 sont indépendantes.
2. Les variables e 1 one cou ce la même vari ance inronnne u2.
3. Les variables e 1 suivent la loi norma le centrée et de variance a2.
Remarques
1. Les variables ÈJ rendent compte des fluctuations qu e nous pourri ons observer parmi les y; associées
aux mêm es valeurs de X;.
2. Dans la défini tion ci-dessu s, il est mentionné qu e 1 es param ètres {3o et {31 sont inconnu s. La vari an ce
U2 est aussi inconnu e. li faudra aussi l'estimer.
Définition : La variance
Remarques
1. Le coefficient de détermi nation R2 pren d ses valeu rs entre 0 et 1.
2. Plus le coefficient de détermination R2 est proch e de 1, p lus les données sont alignées sur la droite
de régression .
Toutes ces caractéristiq ues de la régression peuvent se résumer dans un tableau appelé ta blea u
de l'a nalyse de la variance.
Sources
Sommes
Degrés
carrés
de variation
des carrés de liberté
moyens
Expliquée par
SC reg
1
SC,eg
la régression
CMreg = - 1
-
Résiduelle
se,..
N- 2
CM - se,..
"" - N- 2
Tot ale
SCror
N-1
2. ESTIMATION PONCTUELLE DES PARAMÈTRES DE LA DROITE DE RÉGRESSION
a) Modèle gaussien de régression linéaire simple
Il est rare d'avoir accès à coutes les données de la population pour des raisons faciles à comprendre: manque de temps, impossibilité de faire un recensement, ... Pour c haq ue individu, de
l'échantillon de caille 11, nous observons une valeu r x 1 du caractère quantitatif continu X et une
valeur !li du caractère q uantitatif continu Y. Il peuc nous arriver d'observer des valeurs différences
de Y pour plusieurs individus ayant la même valeur observée du caractère X. Derrière cette idée,
se trouve le modèle de la régression linéaire simple.
Définition : La régress ion linéaire s imple est liée au modèle suivant:
Y 1 =/Jo+fJ 1 x 1 +e 1 , où i= l, ... ,11.
Les deux paramètres /Jo et fJ 1 sont inconnus mais fixes. Les variables aléatoires e; sont les variables d 'erreur q ui sont supposées vérifier des hypothèses, appelées aussi conditions fondamentales, q ui sont au nombre de crois :
1. Les variables aléatoires e 1 sont indépendantes.
2. Les variables e 1 one cou ce la même vari ance inronnne u2.
3. Les variables e 1 suivent la loi norma le centrée et de variance a2.
Remarques
1. Les variables ÈJ rendent compte des fluctuations qu e nous pourri ons observer parmi les y; associées
aux mêm es valeurs de X;.
2. Dans la défini tion ci-dessu s, il est mentionné qu e 1 es param ètres {3o et {31 sont inconnu s. La vari an ce
U2 est aussi inconnu e. li faudra aussi l'estimer.
Définition : La variance