Chapitre 5 • Pro ces sus sto chas tiques et pro gram ma tion…
204
P
* 5 3a, b, c4 # C
p
*
0 p
*
1 p
*
2
p
*
0 p
*
1 p
*
2
p
*
0 p
*
1 p
*
2
S 5 3p
*
0 1 a 1 b 1 c 2 , p
*
1 1 a 1 b 1 c 2 , p
*
2 1 a 1 b 1 c 2 4,
soit P* 5 3p
*
0 , p
*
1 , p
*
2 4 : cette limite est, elle aussi, posi tive et indé pen dante de la dis
tri bu tion ini tiale (0). Remar quons, en outre, que pour tout état E i , on a : p
*
i 5 p
*
i .
On peut don ner une condi tion suf fi sante de forte ergodicité (admise ici) pour un
pro ces sus de Markov : c’est que son graphe soit for te ment connexe et fini. Ce qui était
le cas dans notre exemple. Rap pe lons que « graphe fini » équi vaut à : « e fini ».
Nous ver rons ulté rieu re ment que, pour un pro ces sus de Markov com por tant un
nombre infini d’états, la forte ergodicité peut avoir lieu ou pas, selon les valeurs rela tives
des dif fé rents taux l ij (comme plus bas, dans les pro ces sus de nais sance et de mort).
Pré ci sons enfin qu’un pro ces sus de Markov est « ergodique » (on dit aussi « sim
ple ment ergodique ») si toute pro ba bi lité de tran si tion p ij (t) admet, quand t tend vers
l’infini, une limite posi tive ou nulle p
*
j indé pen dante de l’état ini tial E i . Les états E j ,
tels que p
*
j 5 0, sont des états tran si toires.
5.8 cal cul des Pro ba bi li tés des états en régime
Per manent–théo rème des couPes
Soit un pro ces sus de Markov homo gène, for te ment ergodique. On dit que ce pro ces
sus est en « régime per manent », si t est suf fi sam ment grand pour que les pro ba bi li tés
des états aient atteint leur limite ; alors : p i 1 t 2 5 p
*
i .
On se pro pose de cal cu ler ces pro ba bi li tés des états en régime per manent. Ce
cal cul peut se pra ti quer soit en résol vant un sys tème d’équa tions linéaires, soit en
appli quant le théo rème des coupes (qui conduit à un cal cul plus aisé, en par ti cu lier si
le graphe asso cié au pro ces sus de Markov pré sente une struc ture régu lière).
5.8.1 Théo rème des coupes
On nomme « fré quence des tran si tions de l’état E i vers l’état E j en régime per -
manent », la quan tité w ij 5 p
*
i
# l ij .
Soit B un sous ensemble d’états : B ( e. La « coupe », asso ciée à B (ou « coupe
B »), désigne l’ensemble des arcs ayant une extré mité et une seule dans B (en théo rie des
graphes, on uti lise le terme : « co cycle asso cié à B », noté v(B)). Cet ensemble d’arcs
com porte deux par ties : v
1
(B) (resp. v
2
(B)), l’ensemble des arcs ayant leur extré mité
ini tiale (resp. ter mi nale) dans B et leur extré mité ter mi nale (resp. ini tiale) dans B.
On nomme « fré quence des tran si tions vers l’exté rieur de B » la quan tité :
w B SB 5 a
E i HB
a
E j HB
p
*
i
# l ij 5
a
(E i , E j ) Hv
1 (B)
p
*
i
# l ij .
204
P
* 5 3a, b, c4 # C
p
*
0 p
*
1 p
*
2
p
*
0 p
*
1 p
*
2
p
*
0 p
*
1 p
*
2
S 5 3p
*
0 1 a 1 b 1 c 2 , p
*
1 1 a 1 b 1 c 2 , p
*
2 1 a 1 b 1 c 2 4,
soit P* 5 3p
*
0 , p
*
1 , p
*
2 4 : cette limite est, elle aussi, posi tive et indé pen dante de la dis
tri bu tion ini tiale (0). Remar quons, en outre, que pour tout état E i , on a : p
*
i 5 p
*
i .
On peut don ner une condi tion suf fi sante de forte ergodicité (admise ici) pour un
pro ces sus de Markov : c’est que son graphe soit for te ment connexe et fini. Ce qui était
le cas dans notre exemple. Rap pe lons que « graphe fini » équi vaut à : « e fini ».
Nous ver rons ulté rieu re ment que, pour un pro ces sus de Markov com por tant un
nombre infini d’états, la forte ergodicité peut avoir lieu ou pas, selon les valeurs rela tives
des dif fé rents taux l ij (comme plus bas, dans les pro ces sus de nais sance et de mort).
Pré ci sons enfin qu’un pro ces sus de Markov est « ergodique » (on dit aussi « sim
ple ment ergodique ») si toute pro ba bi lité de tran si tion p ij (t) admet, quand t tend vers
l’infini, une limite posi tive ou nulle p
*
j indé pen dante de l’état ini tial E i . Les états E j ,
tels que p
*
j 5 0, sont des états tran si toires.
5.8 cal cul des Pro ba bi li tés des états en régime
Per manent–théo rème des couPes
Soit un pro ces sus de Markov homo gène, for te ment ergodique. On dit que ce pro ces
sus est en « régime per manent », si t est suf fi sam ment grand pour que les pro ba bi li tés
des états aient atteint leur limite ; alors : p i 1 t 2 5 p
*
i .
On se pro pose de cal cu ler ces pro ba bi li tés des états en régime per manent. Ce
cal cul peut se pra ti quer soit en résol vant un sys tème d’équa tions linéaires, soit en
appli quant le théo rème des coupes (qui conduit à un cal cul plus aisé, en par ti cu lier si
le graphe asso cié au pro ces sus de Markov pré sente une struc ture régu lière).
5.8.1 Théo rème des coupes
On nomme « fré quence des tran si tions de l’état E i vers l’état E j en régime per -
manent », la quan tité w ij 5 p
*
i
# l ij .
Soit B un sous ensemble d’états : B ( e. La « coupe », asso ciée à B (ou « coupe
B »), désigne l’ensemble des arcs ayant une extré mité et une seule dans B (en théo rie des
graphes, on uti lise le terme : « co cycle asso cié à B », noté v(B)). Cet ensemble d’arcs
com porte deux par ties : v
1
(B) (resp. v
2
(B)), l’ensemble des arcs ayant leur extré mité
ini tiale (resp. ter mi nale) dans B et leur extré mité ter mi nale (resp. ini tiale) dans B.
On nomme « fré quence des tran si tions vers l’exté rieur de B » la quan tité :
w B SB 5 a
E i HB
a
E j HB
p
*
i
# l ij 5
a
(E i , E j ) Hv
1 (B)
p
*
i
# l ij .