62
CHAPITRE 3. PROJECTION SUR UN CONVEXE FERMÉ
Notons que minimiser x → Ax − y H 2 sur H 1 équivaut à minimiser
x → Ax − y
2
H 2
, d’où l’expression "les moindres carrés". Une approche
"variationnelle" du problème consisterait à utiliser les ressources du Calcul
différentiel et la convexité de la fonction à minimiser, à savoir
f : x ∈ H 1 → f (x) := Ax − y
2
H 2
.
De fait, ∇ f (x) = (A ∗ ◦ A) x − A ∗ y, et ¯
x ∈ H 1 minimise f sur H 1 si et
seulement si ∇ f ( ¯
x) = 0, ce qui conduit à (3.4).
Si y ∈ Im A, mettons A ¯
x = y, il est clair que ¯
x est solution du problème des
moindres carrés associé à A et y (dans ce cas-là, la valeur minimale dans (P)
est 0, bien sûr).
L’ensemble des solutions de l’équation Ax = y est alors le sous-espace affine
fermé ¯
x + Ker A. Parmi ces solutions, il y en a une et une seule "plus courte"
que toutes les autres, c’est-à-dire de norme minimale. Cette solution, notée ˆ
x,
est construite de la manière suivante :
(z ∈ H 2 v´ erifiant (A ◦ A ∗ ) z = y) ( ˆ
x = A ∗ z)
des z ∈ H 2 diff´ erents v´ erifiant (A ◦ A ∗ ) z = y conduisent
au mˆ eme ˆ
x
.
Dans le monde de l’Optimisation, la "technologie des moindres carrés"
occupe une place de choix, tant les exemples d’application sont fréquents
et divers.
2 Le contexte général : la projection sur un convexe fermé
(Rappels)
Nous nous plaçons ici à l’autre bout du spectre (comparativement au § 1) :
le convexe fermé C sur lequel on projette est quelconque.
CHAPITRE 3. PROJECTION SUR UN CONVEXE FERMÉ
Notons que minimiser x → Ax − y H 2 sur H 1 équivaut à minimiser
x → Ax − y
2
H 2
, d’où l’expression "les moindres carrés". Une approche
"variationnelle" du problème consisterait à utiliser les ressources du Calcul
différentiel et la convexité de la fonction à minimiser, à savoir
f : x ∈ H 1 → f (x) := Ax − y
2
H 2
.
De fait, ∇ f (x) = (A ∗ ◦ A) x − A ∗ y, et ¯
x ∈ H 1 minimise f sur H 1 si et
seulement si ∇ f ( ¯
x) = 0, ce qui conduit à (3.4).
Si y ∈ Im A, mettons A ¯
x = y, il est clair que ¯
x est solution du problème des
moindres carrés associé à A et y (dans ce cas-là, la valeur minimale dans (P)
est 0, bien sûr).
L’ensemble des solutions de l’équation Ax = y est alors le sous-espace affine
fermé ¯
x + Ker A. Parmi ces solutions, il y en a une et une seule "plus courte"
que toutes les autres, c’est-à-dire de norme minimale. Cette solution, notée ˆ
x,
est construite de la manière suivante :
(z ∈ H 2 v´ erifiant (A ◦ A ∗ ) z = y) ( ˆ
x = A ∗ z)
des z ∈ H 2 diff´ erents v´ erifiant (A ◦ A ∗ ) z = y conduisent
au mˆ eme ˆ
x
.
Dans le monde de l’Optimisation, la "technologie des moindres carrés"
occupe une place de choix, tant les exemples d’application sont fréquents
et divers.
2 Le contexte général : la projection sur un convexe fermé
(Rappels)
Nous nous plaçons ici à l’autre bout du spectre (comparativement au § 1) :
le convexe fermé C sur lequel on projette est quelconque.