8
Algorithme EM et mélanges
Mots-clés. Mélange de lois ; estimation paramétrique.
Outils. Formule de Bayes ; maximum de vraisemblance ; entropie relative ;
loi gaussienne.
Difficulté. *
L’algorithme Expectation-Maximization (EM) fait partie des algorithmes
les plus importants de la statistique. Il permet d’approcher numériquement
l’estimateur de maximum de vraisemblance pour les modèles partiellement observés. De nombreuses variantes sont disponibles. Dans ce chapitre, nous illustrons la mécanique fondamentale de l’algorithme EM sur un exemple simple.
Sur une île cohabitent quatre espèces de mouettes différentes. Les ornithologues souhaitent estimer la proportion de mouettes de chaque espèce à partir
de l’observation de la taille des nids. Contrairement aux oiseaux, les nids ne
bougent pas, ce qui facilite le comptage. Malheureusement, les différentes espèces font des nids assez ressemblants : on ne sait pas par quelles espèces ils
ont été construits. On suppose en revanche que la distribution des nids est
caractéristique d’une espèce. La distribution globale de la taille des nids apparaît comme le mélange de quatre lois de probabilité, chacune rendant compte
de la répartition de la taille des nids pour chaque espèce d’oiseaux.
8.1 Modèle pour les nids de mouettes
Modélisons la distribution de la taille des nids construits par l’espèce j par
une loi μ j = N (m(j), v(j)) de densité γ m(j),v(j) . La loi μ de la taille des nids
de mouettes admet donc pour densité la fonction
x →
J
j=1
α(j)γ m(j),v(j) (x) =
J
j=1
α(j)
2πv(j)
exp
−
(x − m(j))
2
2v(j)
,
105
© Springer-Verlag Berlin Heidelberg 2016
D. Chafaï and F. Malrieu, Recueil de Modèles Aléatoires,
Mathématiques et Applications 78, DOI 10.1007/978-3-662-49768-5_8
Algorithme EM et mélanges
Mots-clés. Mélange de lois ; estimation paramétrique.
Outils. Formule de Bayes ; maximum de vraisemblance ; entropie relative ;
loi gaussienne.
Difficulté. *
L’algorithme Expectation-Maximization (EM) fait partie des algorithmes
les plus importants de la statistique. Il permet d’approcher numériquement
l’estimateur de maximum de vraisemblance pour les modèles partiellement observés. De nombreuses variantes sont disponibles. Dans ce chapitre, nous illustrons la mécanique fondamentale de l’algorithme EM sur un exemple simple.
Sur une île cohabitent quatre espèces de mouettes différentes. Les ornithologues souhaitent estimer la proportion de mouettes de chaque espèce à partir
de l’observation de la taille des nids. Contrairement aux oiseaux, les nids ne
bougent pas, ce qui facilite le comptage. Malheureusement, les différentes espèces font des nids assez ressemblants : on ne sait pas par quelles espèces ils
ont été construits. On suppose en revanche que la distribution des nids est
caractéristique d’une espèce. La distribution globale de la taille des nids apparaît comme le mélange de quatre lois de probabilité, chacune rendant compte
de la répartition de la taille des nids pour chaque espèce d’oiseaux.
8.1 Modèle pour les nids de mouettes
Modélisons la distribution de la taille des nids construits par l’espèce j par
une loi μ j = N (m(j), v(j)) de densité γ m(j),v(j) . La loi μ de la taille des nids
de mouettes admet donc pour densité la fonction
x →
J
j=1
α(j)γ m(j),v(j) (x) =
J
j=1
α(j)
2πv(j)
exp
−
(x − m(j))
2
2v(j)
,
105
© Springer-Verlag Berlin Heidelberg 2016
D. Chafaï and F. Malrieu, Recueil de Modèles Aléatoires,
Mathématiques et Applications 78, DOI 10.1007/978-3-662-49768-5_8