C Rappels mathématiques : probabilités
473
dans R. Alors
ϕ (E(X)) ≤ E (ϕ(X)) .
Lorsque ϕ(X) n’est pas intégrable, la convexité de ϕ entraîne que E (ϕ(X)) vaut
+∞ et l’inégalité est encore vraie. Pour se rappeler le sens de l’inégalité, prendre
comme fonction ϕ la fonction x → |x| ou la fonction x → x 2 .
C.5 Chaîne de Markov
Nous donnons ici essentiellement la définition d’une chaîne de Markov. La classification des états, l’existence d’une mesure invariante, et les théorèmes ergodiques
pour les chaînes de Markov peuvent être trouvés dans les ouvrages classiques sur le
sujet, par exemple Norris [198] ou en français Bercu et Chafaï [20].
Les chaînes de Markov peuvent être définies sur un espace d’états discret ou
continu, mais nous nous limitons ici à un espace d’états E discret, autrement dit fini
ou infini dénombrable.
Définition C.7 Soit μ 0 une loi de probabilité sur un espace d’états E fini ou infini
dénombrable. Une suite (X n ) n≥0 de variables aléatoires à valeurs dans E est une
chaîne de Markov d’ordre 1 de loi initiale μ 0 lorsque
(i) X 0 est de loi μ 0 ;
(ii) pour tout n ≥ 0, pour tous états i 0 , i 1 , . . . , i n−1 , i, j ∈ E,
P (X n+1 = j | X n = i, X n−1 = i n−1 , . . . , X 0 = i 0 ) = P (X n+1 = j | X n = i) .
Lorsque le second membre ne dépend pas de n, la chaîne est dite homogène. Dans
ce cas, la matrice P = (p i,j ) i,j ∈E , où pour tout n ≥ 0
p i,j = P (X 1 = j | X 0 = i) = P (X n+1 = j | X n = i)
est la probabilité de transition de i vers j , est appelée matrice de transition de la
chaîne.
Une matrice dont les coefficients sont positifs ou nuls et dont la somme sur chaque
ligne vaut 1 est dite stochastique. La matrice de transition d’une chaîne de Markov
homogène est stochastique.
473
dans R. Alors
ϕ (E(X)) ≤ E (ϕ(X)) .
Lorsque ϕ(X) n’est pas intégrable, la convexité de ϕ entraîne que E (ϕ(X)) vaut
+∞ et l’inégalité est encore vraie. Pour se rappeler le sens de l’inégalité, prendre
comme fonction ϕ la fonction x → |x| ou la fonction x → x 2 .
C.5 Chaîne de Markov
Nous donnons ici essentiellement la définition d’une chaîne de Markov. La classification des états, l’existence d’une mesure invariante, et les théorèmes ergodiques
pour les chaînes de Markov peuvent être trouvés dans les ouvrages classiques sur le
sujet, par exemple Norris [198] ou en français Bercu et Chafaï [20].
Les chaînes de Markov peuvent être définies sur un espace d’états discret ou
continu, mais nous nous limitons ici à un espace d’états E discret, autrement dit fini
ou infini dénombrable.
Définition C.7 Soit μ 0 une loi de probabilité sur un espace d’états E fini ou infini
dénombrable. Une suite (X n ) n≥0 de variables aléatoires à valeurs dans E est une
chaîne de Markov d’ordre 1 de loi initiale μ 0 lorsque
(i) X 0 est de loi μ 0 ;
(ii) pour tout n ≥ 0, pour tous états i 0 , i 1 , . . . , i n−1 , i, j ∈ E,
P (X n+1 = j | X n = i, X n−1 = i n−1 , . . . , X 0 = i 0 ) = P (X n+1 = j | X n = i) .
Lorsque le second membre ne dépend pas de n, la chaîne est dite homogène. Dans
ce cas, la matrice P = (p i,j ) i,j ∈E , où pour tout n ≥ 0
p i,j = P (X 1 = j | X 0 = i) = P (X n+1 = j | X n = i)
est la probabilité de transition de i vers j , est appelée matrice de transition de la
chaîne.
Une matrice dont les coefficients sont positifs ou nuls et dont la somme sur chaque
ligne vaut 1 est dite stochastique. La matrice de transition d’une chaîne de Markov
homogène est stochastique.