14
1 Chaˆ ınes de Markov discr` etes
0
1
2
3
4
1−p
1−p
1−p
1−p
p
p
p
1
Fig. 1.6. Chaˆ ıne r´ efl´ echie en 0
Dans le dernier cas, o` u l’espace d’´ etats est d´ enombrable, et index´ e par les
entiers relatifs E = {x i , i ∈ Z}, les matrices de transition sont donn´ ees par
M n =
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎝
. . .
. . .
. . .
. . .
. . .
. . . M n (x −1 , x −1 ) M n (x −1 , x 0 ) M n (x −1 , x 1 ) . . .
. . . M n (x 0 , x −1 ) M n (x 0 , x 0 ) M n (x 0 , x 1 ) . . .
. . . M n (x 1 , x −1 ) M n (x 1 , x 0 ) M n (x 1 , x 1 ) . . .
. . .
. . .
. . .
. . .
. . .
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎠
et les probabilit´ es η, et les fonctions f sur E sont associ´ ees aux vecteurs
η = [. . . , η(x −1 ), η(x 0 ), η(x 1 ), . . .] et f =
⎡
⎢
⎢
⎢
⎢
⎢
⎢
⎣
. . .
f (x −1 )
f (x 0 )
f (x 1 )
. . .
⎤
⎥
⎥
⎥
⎥
⎥
⎥
⎦
Exemple 1.2.3 Une marche al´ eatoire simple sur Z peut ˆ etre repr´ esent´ ee par
le sch´ ema suivant
0
1
2
−1
−2
p
p
p
p
1−p
1−p
1−p
1−p
Fig. 1.7. Marche simple sur Z
La matrice de transition de cette ´ evolution est donn´ ee par
M =
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎝
. . .
. . .
. . .
. . .
. . .
. . . 0 (1 − p)
0
. . .
. . . p
0
(1− p) . . .
. . .
p
0
. . .
. . .
. . .
. . .
. . .
. . .
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎠