Le développement limité de g en 0 s’écrit g(t) = g(0) + tg
(0) + t
2
2
g
(0) + o(t
2 ).
Supposons que la condition nécessaire d’extremum est vérifiée, c’est-à-dire que les
dérivées partielles premières de f sont toutes nulles en A. Dans ce cas, g
(0) = 0 et
f (A+tH)−f (A)=g(t)−g(0)= t
2
2
(
t H)SH +o(t
2 ). Si la matrice S est définie positive, alors
(
t H)SH >0, on a f (A+tH)−f (A)>0 pour t =0 assez petit et f a un minimum local en A.
Théorème. Supposons que
∂f
∂x i
(A) = 0 pour tout i. Si la matrice hessienne de f en A
est définie positive, alors f a un minimum local en A. Si la matrice hessienne est définie
négative, f a un maximum local en A.
4.2 Méthode du gradient
Comme on ne sait pas, en général, résoudre analytiquement les équations permettant
de trouver les points critiques, on utilise le plus souvent des méthodes numériques
itératives pour trouver les extremums. La méthode du gradient est la plus simple.
Supposons par exemple qu’on cherche un minimum local de f .
Principe de la méthode. On part d’un point X 0 et l’on calcule le gradient
− − − − − − − − − →
Grad f (X 0 ). Puisque le vecteur −
− − − − − − − − − →
Grad f (X 0 ) indique la direction des niveaux décroissants, on se déplace à partir de X 0 d’une longueur h>0 dans la direction −
− − − − − − − − − →
Grad f (X 0 ),
c’est-à-dire que l’on considère le point X 0 −
h
− − − − →
Grad f (X 0 )
− − − − − − − − − →
Grad f (X 0 ). En pratique,
® on choisit un petit pas h > 0 et l’on progresse à pas de longueur h dans la direction
V 0 = −
1
− − − − →
Grad f (X 0 )
− − − − − − − − − →
Grad f (X 0 ) en formant les points
X 0,1 = X 0 + hV 0 , X 0,k+1 = X 0,k + hV 0 , pour k = 1, 2, . . .
tant que f (X 0,k+1 ) < f(X 0,k ).
®
X 3
X 2
X 1
X 0
Si X 1 est le dernier point X 0,N obtenu, on recommence en prenant X 1 comme
point initial. En itérant ce processus, on obtient des
points X 0 , X 1 , . . . de niveaux de plus en plus petits.
Comme test d’arrêt, on peut prendre
− − − − →
Grad f (X n )<ε,
où ε est un petit nombre donné. Le calcul s’arrête alors
en un point où les coordonnées du gradient sont inférieures à ε, mais il n’est pas facile de contrôler
sérieusement la précision obtenue.
Pour la recherche d’un maximum, il faut bien sûr se déplacer dans la direction du
gradient.
376 – EXTREMUM LOCAL
(0) + t
2
2
g
(0) + o(t
2 ).
Supposons que la condition nécessaire d’extremum est vérifiée, c’est-à-dire que les
dérivées partielles premières de f sont toutes nulles en A. Dans ce cas, g
(0) = 0 et
f (A+tH)−f (A)=g(t)−g(0)= t
2
2
(
t H)SH +o(t
2 ). Si la matrice S est définie positive, alors
(
t H)SH >0, on a f (A+tH)−f (A)>0 pour t =0 assez petit et f a un minimum local en A.
Théorème. Supposons que
∂f
∂x i
(A) = 0 pour tout i. Si la matrice hessienne de f en A
est définie positive, alors f a un minimum local en A. Si la matrice hessienne est définie
négative, f a un maximum local en A.
4.2 Méthode du gradient
Comme on ne sait pas, en général, résoudre analytiquement les équations permettant
de trouver les points critiques, on utilise le plus souvent des méthodes numériques
itératives pour trouver les extremums. La méthode du gradient est la plus simple.
Supposons par exemple qu’on cherche un minimum local de f .
Principe de la méthode. On part d’un point X 0 et l’on calcule le gradient
− − − − − − − − − →
Grad f (X 0 ). Puisque le vecteur −
− − − − − − − − − →
Grad f (X 0 ) indique la direction des niveaux décroissants, on se déplace à partir de X 0 d’une longueur h>0 dans la direction −
− − − − − − − − − →
Grad f (X 0 ),
c’est-à-dire que l’on considère le point X 0 −
h
− − − − →
Grad f (X 0 )
− − − − − − − − − →
Grad f (X 0 ). En pratique,
® on choisit un petit pas h > 0 et l’on progresse à pas de longueur h dans la direction
V 0 = −
1
− − − − →
Grad f (X 0 )
− − − − − − − − − →
Grad f (X 0 ) en formant les points
X 0,1 = X 0 + hV 0 , X 0,k+1 = X 0,k + hV 0 , pour k = 1, 2, . . .
tant que f (X 0,k+1 ) < f(X 0,k ).
®
X 3
X 2
X 1
X 0
Si X 1 est le dernier point X 0,N obtenu, on recommence en prenant X 1 comme
point initial. En itérant ce processus, on obtient des
points X 0 , X 1 , . . . de niveaux de plus en plus petits.
Comme test d’arrêt, on peut prendre
− − − − →
Grad f (X n )<ε,
où ε est un petit nombre donné. Le calcul s’arrête alors
en un point où les coordonnées du gradient sont inférieures à ε, mais il n’est pas facile de contrôler
sérieusement la précision obtenue.
Pour la recherche d’un maximum, il faut bien sûr se déplacer dans la direction du
gradient.
376 – EXTREMUM LOCAL