72
6
•
Moindres carrés
ÉNONCÉSDES EXERCICES
6.1 Mise en équation
On rappelle que pour u ∈ R
n
, u 2 = ( u
T
× u )
1 / 2
où u
T
× v calcule le produit scalaire u . v =
n
i = 1
u i v i ,a vec u , v ∈ R
n
.L ec hoix de cette norme n’est pas anodin et on verra que le produit
scalaire est indispensablepour utiliser les projections orthogonales.
Soient x 1 < x 2 <... < x n , n abscisses distinctes, b un vecteur de R
n
et { w 1 , w 2 ,...,w m } ,
m fonctions linéairement indépendantes définies sur R avec m n .O nc herche une fonction
w =
m
j = 1
a j w j approchant au mieux les données i.e b i w ( x i ). Précisons :ils’agit de trouver un
ou desvecteurs a = ( a 1 , a 2 ,...,a m )
T
∈ R
M
minimisant J ( a ) =
n
i = 1
( w ( x i ) − b i )
2
1 / 2 .
Soit A la matrice rectangulaire de R
n × m
dont les coefficients sont définis par a ij = w j ( x i )pour
i = 1 ,...,n , j = 1 ,...,m .
1. Montrer que
w ( x 1 ) ,...,w ( x n )
T = A ( a 1 ,...,a m )
T
.
2. En déduire que J ( a ) = A a − b 2 .
3. Montrer que si E est un sous-espace vectoriel de R
n
,leminimum de u − b u ∈ E est atteint
en ¯u projection orthogonale de b sur E définie par ¯u ∈ E et ∀ v ∈ E , v
T
× ( ¯u − b ) = 0. En fait
il suffitd’avoir l’égalité pour une base de E .Onendéduit que le minimum de J ( a )est atteint
lorsquelevecteur ( w ( x 1 ) ,...,w ( x n ))
T
est le projeté orthogonal de b sur Im(A ).
4. Montrerque le minimum de J ( a )est atteint en ¯a vérifiant : A
T
A ¯a = A
T
b qui admet une
solution unique dès que rang( A ) = m .
6.2 Droite et parabole de régression
On part desdonnées suivantes :
i
1
2 3 4
5
x − 2 − 1 0 1
2
y 3 / 2 − 1 1 5 17/ 2
Déterminer la droite puis la parabole de régression i.e minimiser
5
i = 1
( y i − a 1 − a 2 x i )
2
puis
5
i = 1
( y i − a 1 − a 2 x i − a 3 x
2
i )
2
.Vérification sur Matlab.
6
•
Moindres carrés
ÉNONCÉSDES EXERCICES
6.1 Mise en équation
On rappelle que pour u ∈ R
n
, u 2 = ( u
T
× u )
1 / 2
où u
T
× v calcule le produit scalaire u . v =
n
i = 1
u i v i ,a vec u , v ∈ R
n
.L ec hoix de cette norme n’est pas anodin et on verra que le produit
scalaire est indispensablepour utiliser les projections orthogonales.
Soient x 1 < x 2 <... < x n , n abscisses distinctes, b un vecteur de R
n
et { w 1 , w 2 ,...,w m } ,
m fonctions linéairement indépendantes définies sur R avec m n .O nc herche une fonction
w =
m
j = 1
a j w j approchant au mieux les données i.e b i w ( x i ). Précisons :ils’agit de trouver un
ou desvecteurs a = ( a 1 , a 2 ,...,a m )
T
∈ R
M
minimisant J ( a ) =
n
i = 1
( w ( x i ) − b i )
2
1 / 2 .
Soit A la matrice rectangulaire de R
n × m
dont les coefficients sont définis par a ij = w j ( x i )pour
i = 1 ,...,n , j = 1 ,...,m .
1. Montrer que
w ( x 1 ) ,...,w ( x n )
T = A ( a 1 ,...,a m )
T
.
2. En déduire que J ( a ) = A a − b 2 .
3. Montrer que si E est un sous-espace vectoriel de R
n
,leminimum de u − b u ∈ E est atteint
en ¯u projection orthogonale de b sur E définie par ¯u ∈ E et ∀ v ∈ E , v
T
× ( ¯u − b ) = 0. En fait
il suffitd’avoir l’égalité pour une base de E .Onendéduit que le minimum de J ( a )est atteint
lorsquelevecteur ( w ( x 1 ) ,...,w ( x n ))
T
est le projeté orthogonal de b sur Im(A ).
4. Montrerque le minimum de J ( a )est atteint en ¯a vérifiant : A
T
A ¯a = A
T
b qui admet une
solution unique dès que rang( A ) = m .
6.2 Droite et parabole de régression
On part desdonnées suivantes :
i
1
2 3 4
5
x − 2 − 1 0 1
2
y 3 / 2 − 1 1 5 17/ 2
Déterminer la droite puis la parabole de régression i.e minimiser
5
i = 1
( y i − a 1 − a 2 x i )
2
puis
5
i = 1
( y i − a 1 − a 2 x i − a 3 x
2
i )
2
.Vérification sur Matlab.