6
Moindres carrés
RAPPEL DE COURS
Soit A ∈ R
n × m
et b ∈ R
n
avec n m .L es ystème AX = b n’a pas toujours de solution
(plus d’équations que d’inconnues). On peut alors chercher àminimiser J ( a ) = A a − b 2 où
U 2 =
n
i = 1
u
2
i
1 / 2
.
Si A ∈ R
n × m
avec n m alors A = QR où R est une matrice triangulairesupérieurede R
m × m
et Q une matrice de R
n × m
telle que Q
T
Q = I .Si A est de rang m alors J admet un minimum
unique atteint en ¯a solution du système linéaireRx = Q
T
boudusystème A
T
A ¯a = A
T
b.
Application : Soient x 1 , x 2 ,...,x n , n réels distincts, b un vecteur de R
n
et { w 1 , w 2 ,...,w m } ,
m fonctions linéairement indépendantes définies sur R (ou une partie de R )a vec m n .Pour
déterminerune fonction w =
m
j = 1
a j w j minimisant J ( a ) =
n
i = 1
( w ( x i ) − y i )
2
1 / 2
,onconstruit
A ∈ R
n × m
telle que a ij = f j ( x i )e to nm inimise A a − b 2 .S i A est de rang m ,l as olution
unique est obtenue en ¯a solution de A
T
A ¯a = A
T
b .
Le cas le plus connu est l’approximation par une droite de régression où w 1 ( x ) = 1et w 2 ( x ) = x .
On cherche w ( x ) = a 1 + a 2 x minimisant les carrés des écarts.
Nous commençons par redémontrer comment obtenir une approximation au sens des moindres carrés. Un exemple de droite et de parabole de régression est ensuite proposé. L’instruction polyfit
de Matlab permet àpartir de données ( x i , y i ) i = 1 ,..., n ,d’obtenir les coefficients polynômiaux de
l’approximation y ( x )ausens des moindres carrés.
Mais lesfonctions de base les plus intéressantes ne sont pas forcément les polynômes. On verra
l’intérêt de fonctions périodiquesdans l’exercice 6.3. Pour le filtre de Savitsky-Golay (instruction
sgolayfilt), nous décrivons la méthode ;elle permet de montrer l’importance du choix d’une
bonne base de polynômes et de faire quelques calculs sur les matrices ;nous proposons aussi une
programmationqui rajoute quelques paramètres par rapport àl’instruction standard.
Enfin nous terminonsaveclarecherche d’une solution approchée d’une équation différentielle par
uneméthode de moindres carrés.
Moindres carrés
RAPPEL DE COURS
Soit A ∈ R
n × m
et b ∈ R
n
avec n m .L es ystème AX = b n’a pas toujours de solution
(plus d’équations que d’inconnues). On peut alors chercher àminimiser J ( a ) = A a − b 2 où
U 2 =
n
i = 1
u
2
i
1 / 2
.
Si A ∈ R
n × m
avec n m alors A = QR où R est une matrice triangulairesupérieurede R
m × m
et Q une matrice de R
n × m
telle que Q
T
Q = I .Si A est de rang m alors J admet un minimum
unique atteint en ¯a solution du système linéaireRx = Q
T
boudusystème A
T
A ¯a = A
T
b.
Application : Soient x 1 , x 2 ,...,x n , n réels distincts, b un vecteur de R
n
et { w 1 , w 2 ,...,w m } ,
m fonctions linéairement indépendantes définies sur R (ou une partie de R )a vec m n .Pour
déterminerune fonction w =
m
j = 1
a j w j minimisant J ( a ) =
n
i = 1
( w ( x i ) − y i )
2
1 / 2
,onconstruit
A ∈ R
n × m
telle que a ij = f j ( x i )e to nm inimise A a − b 2 .S i A est de rang m ,l as olution
unique est obtenue en ¯a solution de A
T
A ¯a = A
T
b .
Le cas le plus connu est l’approximation par une droite de régression où w 1 ( x ) = 1et w 2 ( x ) = x .
On cherche w ( x ) = a 1 + a 2 x minimisant les carrés des écarts.
Nous commençons par redémontrer comment obtenir une approximation au sens des moindres carrés. Un exemple de droite et de parabole de régression est ensuite proposé. L’instruction polyfit
de Matlab permet àpartir de données ( x i , y i ) i = 1 ,..., n ,d’obtenir les coefficients polynômiaux de
l’approximation y ( x )ausens des moindres carrés.
Mais lesfonctions de base les plus intéressantes ne sont pas forcément les polynômes. On verra
l’intérêt de fonctions périodiquesdans l’exercice 6.3. Pour le filtre de Savitsky-Golay (instruction
sgolayfilt), nous décrivons la méthode ;elle permet de montrer l’importance du choix d’une
bonne base de polynômes et de faire quelques calculs sur les matrices ;nous proposons aussi une
programmationqui rajoute quelques paramètres par rapport àl’instruction standard.
Enfin nous terminonsaveclarecherche d’une solution approchée d’une équation différentielle par
uneméthode de moindres carrés.