5.5 Pro ces sus de Markov à espace d’états dis cret
197
© Dunod – Toute reproduction non autorisée est un délit.
Ainsi pour la chaîne ci dessus com por tant une seule classe d’états (qui est
donc récur rente) car son graphe est fortement connexe, la période de E 4 est :
d 4 5 PGCD 54, 8, 12, c 6 5 4. On véri fie que les cir cuits pas sant par E 4 ont une
lon gueur qui est un mul tiple de 4. L’exemple ci dessus montre que la pério di cité d
pour l’état E i n’exige pas que : p
1n2
ii soit égal à 1. Ainsi p
142
55 5
1
3
.
Un état E i est dit « a pério dique » si d i 5 1. Une condi tion suf fi sante d’a pério di
cité pour E i est que le graphe pos sède une boucle au som met E i : alors p
112
ii 5 p ii . 0
et d i 5 PGCD 51, c 6 5 1.
Cette condi tion n’est pas néces saire : Pour la chaîne ci dessous :
d i 5 PGCD 52, 3, c 6 5 1.
En effet il y a un cir cuit de lon gueur 2 pas sant par E j , et un autre de lon gueur 3.
Enfin on peut mon trer que tous les
états d’une même classe (récur rente)
ont la même période : il s’agit en
fait d’un résul tat concer nant les lon
gueurs des cir cuits à l’inté rieur d’une
com po sante for te ment connexe d’un
graphe.
• Si l’on résol vait le sys tème
P
* # Ms 5 P
*
, on obtien drait
p
*
C 5 p
*
F 5 p
*
G 5
1
3
.
Cela ne cor res pond pas à une limite aux pro ba bi li tés des états (n) quand n S `,
mais seule ment à une limite en moyenne : « au sens de Cesaro » (toutes les 3 tran si
tions, le sys tème passe par C, F ou G). (n) n’a pas de limite, puisqu’il oscille entre
les 3 vec teurs ; [1, 0, 0] , [0, 1, 0] et [0, 0, 1].
5.5 Pro ces sus de markov à esPace d ’ états dis cret
Nous avons étu dié dans le para graphe pré cé dent les chaînes de Markov ; ce sont des
pro ces sus sto chas tiques à temps dis cret et à espace d’états dis cret. Nous pré sen tons
197
© Dunod – Toute reproduction non autorisée est un délit.
Ainsi pour la chaîne ci dessus com por tant une seule classe d’états (qui est
donc récur rente) car son graphe est fortement connexe, la période de E 4 est :
d 4 5 PGCD 54, 8, 12, c 6 5 4. On véri fie que les cir cuits pas sant par E 4 ont une
lon gueur qui est un mul tiple de 4. L’exemple ci dessus montre que la pério di cité d
pour l’état E i n’exige pas que : p
1n2
ii soit égal à 1. Ainsi p
142
55 5
1
3
.
Un état E i est dit « a pério dique » si d i 5 1. Une condi tion suf fi sante d’a pério di
cité pour E i est que le graphe pos sède une boucle au som met E i : alors p
112
ii 5 p ii . 0
et d i 5 PGCD 51, c 6 5 1.
Cette condi tion n’est pas néces saire : Pour la chaîne ci dessous :
d i 5 PGCD 52, 3, c 6 5 1.
En effet il y a un cir cuit de lon gueur 2 pas sant par E j , et un autre de lon gueur 3.
Enfin on peut mon trer que tous les
états d’une même classe (récur rente)
ont la même période : il s’agit en
fait d’un résul tat concer nant les lon
gueurs des cir cuits à l’inté rieur d’une
com po sante for te ment connexe d’un
graphe.
• Si l’on résol vait le sys tème
P
* # Ms 5 P
*
, on obtien drait
p
*
C 5 p
*
F 5 p
*
G 5
1
3
.
Cela ne cor res pond pas à une limite aux pro ba bi li tés des états (n) quand n S `,
mais seule ment à une limite en moyenne : « au sens de Cesaro » (toutes les 3 tran si
tions, le sys tème passe par C, F ou G). (n) n’a pas de limite, puisqu’il oscille entre
les 3 vec teurs ; [1, 0, 0] , [0, 1, 0] et [0, 0, 1].
5.5 Pro ces sus de markov à esPace d ’ états dis cret
Nous avons étu dié dans le para graphe pré cé dent les chaînes de Markov ; ce sont des
pro ces sus sto chas tiques à temps dis cret et à espace d’états dis cret. Nous pré sen tons