Fiche 78 • Régression linéaire simple
Remarques
1. La droite d e régression obtenue par la méthode des moindres carrés, notée D et d'éq uation y =
f3o +f31x, passe par le ëérilré dé màSSé (µ(X).µ(Y)) d u nuage de points (X1. Y1) •...• (XN. YN).
2. En échangeant les rôles des vari ables X et Y. nous obtenons la rég ression linéaire de X en Y. En
général les deux droites de rég ression sont distinct.es.
3. Faites attention à la définit ion de la covariance qui intervient dans la défini tion de {3 1 • En effet, la série
statistiqu e n 'est pas donnée par un tableau à double entrée mais par les points relevés et numérotés
avec un seul indice k.
c) Décomposition de la variation et coefficient de détermination
Le bue d' un aj ustement linéaire est d'expliquer une partie d e la vari ation de la variable Y q ui est
appelée la variable expliquée ou à expliquer du fait de sa dépendance linéaire à la variable X,
q ui est appelée la variable explicative.
• Toute variable admet une certaine variation, généralement mesurée en terme de variance, c'està-dire qu'elle varie d' un individu à l'autre. Pour mesurer la variation de la variable Y, il est
d'usage de considérer les différences entre les observations Yk e c leur moyenneµ( Y). La somme
des carrés I;:=, (Yk - µ(Y))
2 est appelée la somme d es carrés totale ou variation totale e c est
notée SC,.,,.
• Si la varial>le Y dépend de X, e t que nous la mesurons sur des individus avec différences valeurs
de X, nous observerons une variation en conséquence. Ici nous ne mesurons que la varia tion
expliquée par la régression linéaire de Y en X obtenue par la méthode des moindres carrés.
Elle est éval uée par la somme des carrés I::= ,(Yx- µ( Y))
2 qui est appelée la s omme d es carrés
dne à la r égression ou variation expliquée p ar le modèle et est notée S Creg·
Yk représente la valeur prédite par cet ajustement pour X = Xk.
• Généralement, lorsq ue nous mesurons Y sur des individus avec une même valeur de X, nous
observons encore une certaine variation. Il s'agi c de la varia tion inexpliquée par la régression
linéaire de Y en X obtenue par la méthode des moindres carrés.
La somme des carrés I::=, (Yk - Yk) 2 est appelée la somme des carrés d es résidus ou la variation résiduell e e c est notée SC,, ...
La form ule de décomposition de la variance correspond à l'égali té suivante:
Variation tota le= Variation expliquée+ Variation inexpliquée.
Définition : (Yk - µ(Y)) représente la différence expliquée par l'ajustement. (Yk - Yk) représente
la différence inexpliquée par l 'ajuscemenc ou le r ésidu de l'ajus tement.
T héorème : La décomposition de la variation se traduit mathématiquement par
Le pourcentage de la variation cocaleq ui est expliquée parl'ajuscemenc est évalué par le coefficient
d e détennina tion q ui va être défini ci-dessous.
Définition : Le coefficient de détermina tion, noté R 2 , est défini par
R 2 = Varia ci on expliquée = S Creg.
Variation totale
SC,.,,
209
Remarques
1. La droite d e régression obtenue par la méthode des moindres carrés, notée D et d'éq uation y =
f3o +f31x, passe par le ëérilré dé màSSé (µ(X).µ(Y)) d u nuage de points (X1. Y1) •...• (XN. YN).
2. En échangeant les rôles des vari ables X et Y. nous obtenons la rég ression linéaire de X en Y. En
général les deux droites de rég ression sont distinct.es.
3. Faites attention à la définit ion de la covariance qui intervient dans la défini tion de {3 1 • En effet, la série
statistiqu e n 'est pas donnée par un tableau à double entrée mais par les points relevés et numérotés
avec un seul indice k.
c) Décomposition de la variation et coefficient de détermination
Le bue d' un aj ustement linéaire est d'expliquer une partie d e la vari ation de la variable Y q ui est
appelée la variable expliquée ou à expliquer du fait de sa dépendance linéaire à la variable X,
q ui est appelée la variable explicative.
• Toute variable admet une certaine variation, généralement mesurée en terme de variance, c'està-dire qu'elle varie d' un individu à l'autre. Pour mesurer la variation de la variable Y, il est
d'usage de considérer les différences entre les observations Yk e c leur moyenneµ( Y). La somme
des carrés I;:=, (Yk - µ(Y))
2 est appelée la somme d es carrés totale ou variation totale e c est
notée SC,.,,.
• Si la varial>le Y dépend de X, e t que nous la mesurons sur des individus avec différences valeurs
de X, nous observerons une variation en conséquence. Ici nous ne mesurons que la varia tion
expliquée par la régression linéaire de Y en X obtenue par la méthode des moindres carrés.
Elle est éval uée par la somme des carrés I::= ,(Yx- µ( Y))
2 qui est appelée la s omme d es carrés
dne à la r égression ou variation expliquée p ar le modèle et est notée S Creg·
Yk représente la valeur prédite par cet ajustement pour X = Xk.
• Généralement, lorsq ue nous mesurons Y sur des individus avec une même valeur de X, nous
observons encore une certaine variation. Il s'agi c de la varia tion inexpliquée par la régression
linéaire de Y en X obtenue par la méthode des moindres carrés.
La somme des carrés I::=, (Yk - Yk) 2 est appelée la somme des carrés d es résidus ou la variation résiduell e e c est notée SC,, ...
La form ule de décomposition de la variance correspond à l'égali té suivante:
Variation tota le= Variation expliquée+ Variation inexpliquée.
Définition : (Yk - µ(Y)) représente la différence expliquée par l'ajustement. (Yk - Yk) représente
la différence inexpliquée par l 'ajuscemenc ou le r ésidu de l'ajus tement.
T héorème : La décomposition de la variation se traduit mathématiquement par
Le pourcentage de la variation cocaleq ui est expliquée parl'ajuscemenc est évalué par le coefficient
d e détennina tion q ui va être défini ci-dessous.
Définition : Le coefficient de détermina tion, noté R 2 , est défini par
R 2 = Varia ci on expliquée = S Creg.
Variation totale
SC,.,,
209