1.2 Chaˆ ınes de Markov discr` etes
13
Lorsque l’espace d’´ etats est d´ enombrable, et index´ e par les entiers positifs
E = {x i , i ∈ N}, les matrices de transition sont infini-dimensionnelles
M n = (M n (x, y)) x,y∈E =
⎛
⎜
⎜
⎜
⎝
M n (x 0 , x 0 ) M (x 0 , x 1 ) M (x 0 , x 2 ) . . .
M n (x 1 , x 0 ) M (x 1 , x 1 ) M (x 1 , x 2 ) . . .
M n (x 2 , x 0 ) M (x 2 , x 1 ) M (x 2 , x 2 ) . . .
. . .
. . .
. . .
. . .
⎞
⎟
⎟
⎟
⎠
Dans ce cas, les probabilit´ es η, et les fonctions f sur E sont associ´ ees aux
vecteurs
η = [η(x 0 ), η(x 1 ), η(x 2 ), . . .] et f =
⎡
⎢
⎢
⎢
⎣
f (x 0 )
f (x 1 )
f (x 2 )
. . .
⎤
⎥
⎥
⎥
⎦
Exemple 1.2.2 Une marche al´ eatoire homog` ene sur N, absorb´ ee en 0, peut
ˆ etre repr´ esent´ ee par la figure 1.5. La matrice de transition associ´ ee ` a cette
chaˆ ıne est donn´ ee par
M =
⎛
⎜
⎜
⎜
⎝
1
0
00. . .
(1 − p)
0
p 0 . . .
0
(1− p) 0 p . . .
. . .
. . .
. . .
. . .
. . .
⎞
⎟
⎟
⎟
⎠
0
1
2
3
4
1
1−p
1−p
1−p
1−p
p
p
p
Fig. 1.5. Chaˆ ıne absorb´ ee en 0
Lorsque le point 0 est r´ efl´ echissant, la matrice de transition s’´ ecrit sous la
forme
M =
⎛
⎜
⎜
⎜
⎝
0
1
00. . .
(1 − p)
0
p 0 . . .
0
(1− p) 0 p . . .
. . .
. . .
. . .
. . .
. . .
⎞
⎟
⎟
⎟
⎠
Cette situation correspond au sch´ ema d´ ecrit dans la figure 1.6.