® Si A 1 , A 2 , . . . , A p sont les colonnes de A, les coordonnées de p W (X) dans la base
canonique sont y 1 A 1 + y 2 A 2 + · · · + y p A p = A
⎡
⎣
y 1
. . .
y p
⎤
⎦ .
La projection p W : R
n
→ R
n a pour matrice A(
t
A A)
−1 (
t
A)
dans la base canonique de R
n .
Démonstration de la proposition. Tout vecteur X ∈ R
n se décompose en X = X
+ X
,
où X
∈ W et X
∈ W
⊥ . En notant A i les colonnes de A, les coefficients de la matrice-colonne
(
t
A)X
sont les produits scalaires (
t
A i )X
= u i · X
qui sont nuls puisque X
est orthogonal
à tous les vecteurs de W . Il vient donc (
t
A A)
−1 (
t
A)X = (
t
A A)
−1 (
t
A)X
+ (
t
A A)
−1 (
t
A)X
=
(
t
A A)
−1 (
t
A)X
. Puisque X
∈ W , on a X
= y 1 A 1 + y 2 A 2 + · · · + y p A p = AY , où Y est la
matrice-colonne des coefficients y i . Alors (
t
A A)
−1 (
t
A)X
= (
t
A A)
−1 (
t
A A)Y = I p Y = Y , d’où
le résultat puisque X
= p W (X) par définition du projeté orthogonal.
1.5 Une application : la méthode des moindres carrés
Le problème. Supposons qu’une quantité réelle y dépende d’un paramètre x et
qu’on dispose de n mesures y 1 , y 2 , . . . , y n correspondant à des valeurs x 1 , x 2 , . . . , x n
du paramètre ; on suppose n 2 et que les x i ne sont pas tous égaux.
Il s’agit de trouver une relation de la forme y = ax + b qui approxime le mieux la
relation entre les x i et les y i : précisément, on cherche à déterminer a et b pour que
la somme des écarts
y i − (ax i + b)
2 soit la plus petite possible. y
x
y i
x i
ax i + b
y = a x + b
La droite d’équation y = ax + b sera celle qui s’écarte globalement le moins des points (x i , y i ) ; on l’appelle la droite
de régression.
La droite de régression permet de calculer pour tout x une
valeur raisonnable de y : on peut ainsi faire des extrapolations.
Pour déterminer la droite de régression, nous utiliserons le théorème de projection
dans l’espace euclidien usuel R
n .
Résolution
Notons X le vecteur-colonne de R
n de coefficients (x 1 , x 2 , . . . , x n ), Y le vecteurcolonne de coefficients (y 1 , y 2 , . . . , y n ) et U le vecteur-colonne de R
n dont toutes les
coordonnées sont égales à 1.
Pour tous nombres a et b, les y i −ax i −b sont les coordonnées du vecteur Y −aX −bU
et la somme des (y i − ax i − b)
2 est égale à Y − aX − bU
2 . Quand a et b parcourent
les nombres réels, le vecteur aX + bU parcourt le sous-espace vectoriel W de R
n
engendré par X et U . Puisque les nombres x i ne sont pas tous égaux, les vecteurs
X et U ne sont pas colinéaires, donc ils forment une base de W.
D’après la propriété (iii) du théorème de projection, la norme Y − aX − bU sera
minimum si aX + bU est la projection orthogonale de Y sur W.
Chapitre 7 – ESPACE HERMITIEN, ESPACE EUCLIDIEN – 211
canonique sont y 1 A 1 + y 2 A 2 + · · · + y p A p = A
⎡
⎣
y 1
. . .
y p
⎤
⎦ .
La projection p W : R
n
→ R
n a pour matrice A(
t
A A)
−1 (
t
A)
dans la base canonique de R
n .
Démonstration de la proposition. Tout vecteur X ∈ R
n se décompose en X = X
+ X
,
où X
∈ W et X
∈ W
⊥ . En notant A i les colonnes de A, les coefficients de la matrice-colonne
(
t
A)X
sont les produits scalaires (
t
A i )X
= u i · X
qui sont nuls puisque X
est orthogonal
à tous les vecteurs de W . Il vient donc (
t
A A)
−1 (
t
A)X = (
t
A A)
−1 (
t
A)X
+ (
t
A A)
−1 (
t
A)X
=
(
t
A A)
−1 (
t
A)X
. Puisque X
∈ W , on a X
= y 1 A 1 + y 2 A 2 + · · · + y p A p = AY , où Y est la
matrice-colonne des coefficients y i . Alors (
t
A A)
−1 (
t
A)X
= (
t
A A)
−1 (
t
A A)Y = I p Y = Y , d’où
le résultat puisque X
= p W (X) par définition du projeté orthogonal.
1.5 Une application : la méthode des moindres carrés
Le problème. Supposons qu’une quantité réelle y dépende d’un paramètre x et
qu’on dispose de n mesures y 1 , y 2 , . . . , y n correspondant à des valeurs x 1 , x 2 , . . . , x n
du paramètre ; on suppose n 2 et que les x i ne sont pas tous égaux.
Il s’agit de trouver une relation de la forme y = ax + b qui approxime le mieux la
relation entre les x i et les y i : précisément, on cherche à déterminer a et b pour que
la somme des écarts
y i − (ax i + b)
2 soit la plus petite possible. y
x
y i
x i
ax i + b
y = a x + b
La droite d’équation y = ax + b sera celle qui s’écarte globalement le moins des points (x i , y i ) ; on l’appelle la droite
de régression.
La droite de régression permet de calculer pour tout x une
valeur raisonnable de y : on peut ainsi faire des extrapolations.
Pour déterminer la droite de régression, nous utiliserons le théorème de projection
dans l’espace euclidien usuel R
n .
Résolution
Notons X le vecteur-colonne de R
n de coefficients (x 1 , x 2 , . . . , x n ), Y le vecteurcolonne de coefficients (y 1 , y 2 , . . . , y n ) et U le vecteur-colonne de R
n dont toutes les
coordonnées sont égales à 1.
Pour tous nombres a et b, les y i −ax i −b sont les coordonnées du vecteur Y −aX −bU
et la somme des (y i − ax i − b)
2 est égale à Y − aX − bU
2 . Quand a et b parcourent
les nombres réels, le vecteur aX + bU parcourt le sous-espace vectoriel W de R
n
engendré par X et U . Puisque les nombres x i ne sont pas tous égaux, les vecteurs
X et U ne sont pas colinéaires, donc ils forment une base de W.
D’après la propriété (iii) du théorème de projection, la norme Y − aX − bU sera
minimum si aX + bU est la projection orthogonale de Y sur W.
Chapitre 7 – ESPACE HERMITIEN, ESPACE EUCLIDIEN – 211