98
7 Chaînes de Markov cachées
Lemme 7.3 (Maximum de vraisemblance). L’estimateur de maximum de
vraisemblance
θ n de θ ∗ est donné pour tous i, j ∈ E par
θ n (i, j) =
⎧
⎨
⎩
N
ij
n
N i
n
si N
i
n > 0,
0
sinon,
où
N
i
n
:=
n−1
p=0 1 {Zp=i} ,
N
ij
n
:=
n−1
p=0 1 {Zp=i,Zp+1=j} .
Notons que si θ(i, j) = 0 alors
θ n (i, j) = 0, mais que la réciproque est
fausse.
Démonstration. On numérote E de sorte que E = {1, . . . , s}. Notons L :=
L Z1,...,Zn . Il est plus commode de maximiser log(L) plutôt que L. On doit
maximiser θ ∈ Θ → log(L(θ)) sous les contraintes θ(i, j) 0 et
s
k=1 θ(i, k) =
1 pour tous 1 i, j s. Or on a
∂ θ(i,j) (θ → log(L(θ))) =
N
ij
n
θ(i, j)
,
et les s conditions d’extrémalité reviennent à dire que pour tout 1 i s
la fonction j → N
ij
n /θ(i, j) doit être constante. Ce qui donne le résultat en
tenant compte de θ ∈ Θ.
L’estimateur ˆ
θ est intuitif puisqu’il estime θ(i, j) par la proportion de
transitions de l’état i vers l’état j parmi les n sauts observés. Les propriétés
asymptotiques de cet estimateur se déduisent du comportement des suites
(N
ij
n ) n et (N
i
n ) n qui sont établies ci-dessous.
Théorème 7.4 (Convergence et normalité asymptotique). Pour tout x ∈
E, sachant {X 0 = x}, l’estimateur
θ n est convergent et asymptotiquement
normal : pour tous i, j ∈ E,
θ n (i, j)
p.s.
−→
n→∞
θ(i, j)
et
nμ(i)(
θ n (i, j) − θ(i, j))
loi
−→
n→∞
N (0, θ(i, j)(1 − θ(i, j))).
Démonstration. On a, pour tous x, i, j ∈ E, sachant {X 0 = x},
1
n
N
i
n
p.s.
−→
n→∞
μ(i) et
1
n
N
ij
n
p.s.
−→
n→∞
μ(i)θ(i, j)
tandis que
1
√ n
N
ij
n − N
i
n θ(i, j)
loi
−→
n→∞
N (0, μ(i)θ(i, j)(1 − θ(i, j))).
Ces convergences presque sûres découlent de la loi des grands nombres pour
les chaînes de Markov Z et Y , où Y est la chaîne de Markov irréductible
et récurrente d’espace d’états E
2 définie par Y n = (Z n , Z n+1 ) et dont la loi
invariante est (i, j) → μ(i)θ(i, j). La convergence en loi découle du théorème
limite central pour les chaînes de Markov.