154
6 M´ ethodes de Monte Carlo par chaˆ ınes de Markov (MCMC)
Lorsque α(k) < 1, les ´ etats de la chaˆ ıne deviennent ind´ ependants de leur
condition initiale
α(k) < 1 =⇒ ∀(x, y) ∈ E
2 ,
lim
n→∞
E(d(X
x
n , X
y
n )) = 0.
Intuitivement parlant, apr` es un temps assez long, la chaˆ ıne de Markov oublie ses excursions pass´ ees, et semble toujours entrer dans le mˆ eme r´ egime
d’´ evolution. Ce r´ egime d’´ evolution est appel´ e le r´ egime stationnaire de la
chaˆ ıne X.
6.1.4 Quelques exercices
Dans la section 1.2.3, nous avons vu que le calcul des probabilit´ es de transitions, ainsi que celui des lois des ´ etats d’une chaˆ ıne de Markov discr` ete, se
“r´ eduisent” `
a des compositions “´ el´ ementaires” de matrices. Inversement, on
peut noter que toute matrice `
a entr´ ees positives dont la somme des ´ el´ ements
de chaque ligne vaut 1, peut ˆ etre interpr´ et´ ee comme la matrice de transition d’une chaˆ ıne de Markov. De telles matrices sont appel´ ees des matrices
stochastiques.
Cette mod´ elisation en semigroupes matriciels offre ainsi un point de
contact tr` es fructueux entre l’alg` ebre matricielle et la th´ eorie des processus.
Dans certains cas, l’alg` ebre matricielle apporte des outils pour calculer, ou
analyser, les probabilit´ es de transitions. Dans d’autres cas, les matrices sont
trop complexes pour faire des calculs explicites, et l’on doit avoir recours ` a
des m´ ethodes de simulation.
Les exercices suivants permettrons au lecteur d’appr´ ecier ces quelques remarques, tout en aiguisant son intuition, ainsi que sa curiosit´ e d’approfondir
th´ eoriquement ces questions.
Exercice 6.1.2 On consid` ere une chaˆ ıne de Markov homog` ene sur un espace ` a deux points E = {1, 2}, et associ´ ee `
a la matrice de transition M =
p 1,1 p 1,2
p 2,1 p 2,2
. Les entr´ ees p i,j ∈ [0, 1] sont telles que p 1,1 +p 1,2 = 1 = p 2,1 +p 2,2 .
On conviendra que p 2,2 ≥ p 1,1 , et p 1,2 ≥ p 2,1 > 0.
1. Proposer un sch´ ema d´ ecrivant l’´ evolution de cette chaˆ ıne. Montrer (par
r´ ecurrence sur le param` etre temporel) que les it´ er´ ees M
n de la matrice M
sont donn´ ees par la formule
M
n =
1
c
p 2,1 p 1,2
p 2,1 p 1,2
+
(1 − c)
n
c
p 1,2 −p 1,2
−p 2,1 p 2,1
avec c = p 1,2 + p 2,1 > 0. Montrer que (1 − c) ∈ [−1, 1). Lorsque p 1,1 > 0,
v´ erifier que (∀i, j p i,j > 0), et |1 − c| < 1.
6 M´ ethodes de Monte Carlo par chaˆ ınes de Markov (MCMC)
Lorsque α(k) < 1, les ´ etats de la chaˆ ıne deviennent ind´ ependants de leur
condition initiale
α(k) < 1 =⇒ ∀(x, y) ∈ E
2 ,
lim
n→∞
E(d(X
x
n , X
y
n )) = 0.
Intuitivement parlant, apr` es un temps assez long, la chaˆ ıne de Markov oublie ses excursions pass´ ees, et semble toujours entrer dans le mˆ eme r´ egime
d’´ evolution. Ce r´ egime d’´ evolution est appel´ e le r´ egime stationnaire de la
chaˆ ıne X.
6.1.4 Quelques exercices
Dans la section 1.2.3, nous avons vu que le calcul des probabilit´ es de transitions, ainsi que celui des lois des ´ etats d’une chaˆ ıne de Markov discr` ete, se
“r´ eduisent” `
a des compositions “´ el´ ementaires” de matrices. Inversement, on
peut noter que toute matrice `
a entr´ ees positives dont la somme des ´ el´ ements
de chaque ligne vaut 1, peut ˆ etre interpr´ et´ ee comme la matrice de transition d’une chaˆ ıne de Markov. De telles matrices sont appel´ ees des matrices
stochastiques.
Cette mod´ elisation en semigroupes matriciels offre ainsi un point de
contact tr` es fructueux entre l’alg` ebre matricielle et la th´ eorie des processus.
Dans certains cas, l’alg` ebre matricielle apporte des outils pour calculer, ou
analyser, les probabilit´ es de transitions. Dans d’autres cas, les matrices sont
trop complexes pour faire des calculs explicites, et l’on doit avoir recours ` a
des m´ ethodes de simulation.
Les exercices suivants permettrons au lecteur d’appr´ ecier ces quelques remarques, tout en aiguisant son intuition, ainsi que sa curiosit´ e d’approfondir
th´ eoriquement ces questions.
Exercice 6.1.2 On consid` ere une chaˆ ıne de Markov homog` ene sur un espace ` a deux points E = {1, 2}, et associ´ ee `
a la matrice de transition M =
p 1,1 p 1,2
p 2,1 p 2,2
. Les entr´ ees p i,j ∈ [0, 1] sont telles que p 1,1 +p 1,2 = 1 = p 2,1 +p 2,2 .
On conviendra que p 2,2 ≥ p 1,1 , et p 1,2 ≥ p 2,1 > 0.
1. Proposer un sch´ ema d´ ecrivant l’´ evolution de cette chaˆ ıne. Montrer (par
r´ ecurrence sur le param` etre temporel) que les it´ er´ ees M
n de la matrice M
sont donn´ ees par la formule
M
n =
1
c
p 2,1 p 1,2
p 2,1 p 1,2
+
(1 − c)
n
c
p 1,2 −p 1,2
−p 2,1 p 2,1
avec c = p 1,2 + p 2,1 > 0. Montrer que (1 − c) ∈ [−1, 1). Lorsque p 1,1 > 0,
v´ erifier que (∀i, j p i,j > 0), et |1 − c| < 1.