78 Régression linéaire simple
Mots clés --------------------------------~
Méthode des moindres carrés, droite de régressio n. décomposition de la variance.
1. AJUSTEMENT LINÉAIRE EN STATISTIQUE DESCRIPTIVE
a) La méthode des moindres carrés
Nous souhaitons aj uster la distribution du couple de variables quantitatives (X, Y) à une fonction
affine Y= bo + b1 X, où bo et b 1 sont deux nombres réels à déterminer. Cet ajustements' appelle la
régression linéaire de Y en X. Soit (Xi, Y 1 ), ... , (XN, YN) les données brutes. Le coup le (Bo,/1 1 )
va être déterminé de manière à ce que la fonction
N
d(bo,b1) = L:(Yk - bo - b1Xd
k= I
ait un minimu m global sur IR2 en (Bo,/1 1 ). C'est la raison pour laq uelle cette méthode s'appelle
aussi la méth ode des moindres carrés ordinaires. Le minimum de cette fonction d positive et
différentiable sur JR 2 est réalisé en un unique point critique, c'est-à-dire en un point oè1 les deux
dérivées partielles de cette fonction sont nulles.
Remarques
1. (Yk - Po - P 1 >Vt.)
2 représente le carré de la distance verticale du point (Xk, Yk) à la droite considérée
comme la meilleure.
2. b 1 est le coefficient directeur de la droite et boson ordonnée à l'origin e.
3. La fonction da pour variables bo et b 1 • Les dérivées partielles seront ainsi calculées suivant ces deux
variables et les équations définissant le point critique résolues par rapport à ces deux variables. Ici les
inconnues ne sont pas les variables Xk. et Yk mais les variables bo et b 1 •
4. Notons aussi que les données int roduites ci-dessus sont issues d'une population . Mais les mêmes
notions peuvent être définies dans le cadre d'un échantillon . Dans la suite, tout est présenté dans le
cadre d'une population . Les n otions supplémentaires qui apparaissent lorsque nous t ravaill ons avec
un échantillon seront signalées dans le texte.
b) Droite de régression de Y par rapport à X
Définition: La droite de régression de Y par rapport à X est la droite d'équation y= bo + b1 x
qui rend la fonction d(bo,b 1 ) minimale.
Les valeurs des nombres réels/1 1 etfJ<.> en sont déduites:
,,
1
= C ov(X, Y) = p(X, Y)O'(Y)
,,
0' 2 (X)
O'(X)
et fJ<.> =µ(Y) - f11µ(X),
où C ov(X, Y) est la covariance de X et de Y, a-2(X) la variance de X, p(X, Y) le coefficient de
corrélation linéaire théorique entre X et Y et O'(Y) l'écart-type de Y, µ(X) et µ(Y) les moyennes
respectives de X et de Y.
208
Mots clés --------------------------------~
Méthode des moindres carrés, droite de régressio n. décomposition de la variance.
1. AJUSTEMENT LINÉAIRE EN STATISTIQUE DESCRIPTIVE
a) La méthode des moindres carrés
Nous souhaitons aj uster la distribution du couple de variables quantitatives (X, Y) à une fonction
affine Y= bo + b1 X, où bo et b 1 sont deux nombres réels à déterminer. Cet ajustements' appelle la
régression linéaire de Y en X. Soit (Xi, Y 1 ), ... , (XN, YN) les données brutes. Le coup le (Bo,/1 1 )
va être déterminé de manière à ce que la fonction
N
d(bo,b1) = L:(Yk - bo - b1Xd
k= I
ait un minimu m global sur IR2 en (Bo,/1 1 ). C'est la raison pour laq uelle cette méthode s'appelle
aussi la méth ode des moindres carrés ordinaires. Le minimum de cette fonction d positive et
différentiable sur JR 2 est réalisé en un unique point critique, c'est-à-dire en un point oè1 les deux
dérivées partielles de cette fonction sont nulles.
Remarques
1. (Yk - Po - P 1 >Vt.)
2 représente le carré de la distance verticale du point (Xk, Yk) à la droite considérée
comme la meilleure.
2. b 1 est le coefficient directeur de la droite et boson ordonnée à l'origin e.
3. La fonction da pour variables bo et b 1 • Les dérivées partielles seront ainsi calculées suivant ces deux
variables et les équations définissant le point critique résolues par rapport à ces deux variables. Ici les
inconnues ne sont pas les variables Xk. et Yk mais les variables bo et b 1 •
4. Notons aussi que les données int roduites ci-dessus sont issues d'une population . Mais les mêmes
notions peuvent être définies dans le cadre d'un échantillon . Dans la suite, tout est présenté dans le
cadre d'une population . Les n otions supplémentaires qui apparaissent lorsque nous t ravaill ons avec
un échantillon seront signalées dans le texte.
b) Droite de régression de Y par rapport à X
Définition: La droite de régression de Y par rapport à X est la droite d'équation y= bo + b1 x
qui rend la fonction d(bo,b 1 ) minimale.
Les valeurs des nombres réels/1 1 etfJ<.> en sont déduites:
,,
1
= C ov(X, Y) = p(X, Y)O'(Y)
,,
0' 2 (X)
O'(X)
et fJ<.> =µ(Y) - f11µ(X),
où C ov(X, Y) est la covariance de X et de Y, a-2(X) la variance de X, p(X, Y) le coefficient de
corrélation linéaire théorique entre X et Y et O'(Y) l'écart-type de Y, µ(X) et µ(Y) les moyennes
respectives de X et de Y.
208