2.1. MARCHES ALÉATOIRES ET CHAÎNES DE MARKOV
Les marches aléatoires introduites ci-dessus sont un cas particulier simple de chaînes de
Markov. La propriété de Markov décrit une propriété de nombreux phénomènes aléatoires,
pour lesquels l’évolution aléatoire future ne dépend du passé qu’à travers l’état du processus au temps présent. Dans la suite du cours, nous verrons un grand nombre de processus
vérifiant la propriété de Markov.
Définition 2.1.4 Une suite de variables aléatoires (X n ) n∈N à valeurs dans Z satisfait la
propriété de Markov si pour tous n ∈ N, j, i 0 , . . . , i n ∈ Z, tels que P(X n = i n , . . . , X 0 =
i 0 ) > 0, on a
P(X n+1 = j|X n = i n , . . . , X 0 = i 0 ) = P(X n+1 = j|X n = i n ).
(2.1)
La loi conditionnelle de X n+1 sachant X 0 , . . . , X n est égale à sa loi conditionnelle sachant
X n .
Si cette loi ne dépend pas de n, on dit que la chaîne de Markov est homogène (en temps).
La loi d’une chaîne de Markov homogène est caractérisée par ses probabilités de transition
P i,j = P(X 1 = j|X 0 = i) i, j ∈ Z,
et par sa condition initiale :
P( X 0 = i 0 , . . . , X n = i n ) = P( X 0 = i 0 ) P i0,i1 . . . P in−1,in .
Ultérieurement, nous noterons P i la loi de la chaîne de Markov issue de l’état i : pour
tout événement A,
P i (A) = P(A|X 0 = i).
Définition 2.1.5 Les probabilités de transition (P i,j ) i,j∈Z définissent une matrice, appelée
matrice de transition, à coefficients positifs et dont la somme de chaque ligne est égale à
1 : pour tous i, j ∈ Z,
P i,j ≥ 0 ;
j∈Z
P i,j = 1.
Introduisons la suite des tribus F n = σ(X 0 , . . . , X n ) engendrées par la chaîne (X n ) n . La
tribu F n est engendrée par les ensembles de la forme {(X 0 , X 1 , · · · , X n ) = (i 0 , · · · , i n )}
pour tous i 0 , · · · , i n entiers relatifs. Elle décrit l’information donnée par le processus jusqu’à l’instant n. Les tribus F n sont croissantes (pour l’inclusion) comme l’information qui
croît au cours du temps. La suite (F n ) n s’appelle la filtration engendrée par la chaîne de
Markov (X n ) n .
11
Les marches aléatoires introduites ci-dessus sont un cas particulier simple de chaînes de
Markov. La propriété de Markov décrit une propriété de nombreux phénomènes aléatoires,
pour lesquels l’évolution aléatoire future ne dépend du passé qu’à travers l’état du processus au temps présent. Dans la suite du cours, nous verrons un grand nombre de processus
vérifiant la propriété de Markov.
Définition 2.1.4 Une suite de variables aléatoires (X n ) n∈N à valeurs dans Z satisfait la
propriété de Markov si pour tous n ∈ N, j, i 0 , . . . , i n ∈ Z, tels que P(X n = i n , . . . , X 0 =
i 0 ) > 0, on a
P(X n+1 = j|X n = i n , . . . , X 0 = i 0 ) = P(X n+1 = j|X n = i n ).
(2.1)
La loi conditionnelle de X n+1 sachant X 0 , . . . , X n est égale à sa loi conditionnelle sachant
X n .
Si cette loi ne dépend pas de n, on dit que la chaîne de Markov est homogène (en temps).
La loi d’une chaîne de Markov homogène est caractérisée par ses probabilités de transition
P i,j = P(X 1 = j|X 0 = i) i, j ∈ Z,
et par sa condition initiale :
P( X 0 = i 0 , . . . , X n = i n ) = P( X 0 = i 0 ) P i0,i1 . . . P in−1,in .
Ultérieurement, nous noterons P i la loi de la chaîne de Markov issue de l’état i : pour
tout événement A,
P i (A) = P(A|X 0 = i).
Définition 2.1.5 Les probabilités de transition (P i,j ) i,j∈Z définissent une matrice, appelée
matrice de transition, à coefficients positifs et dont la somme de chaque ligne est égale à
1 : pour tous i, j ∈ Z,
P i,j ≥ 0 ;
j∈Z
P i,j = 1.
Introduisons la suite des tribus F n = σ(X 0 , . . . , X n ) engendrées par la chaîne (X n ) n . La
tribu F n est engendrée par les ensembles de la forme {(X 0 , X 1 , · · · , X n ) = (i 0 , · · · , i n )}
pour tous i 0 , · · · , i n entiers relatifs. Elle décrit l’information donnée par le processus jusqu’à l’instant n. Les tribus F n sont croissantes (pour l’inclusion) comme l’information qui
croît au cours du temps. La suite (F n ) n s’appelle la filtration engendrée par la chaîne de
Markov (X n ) n .
11