Chapitre 5 • Pro ces sus sto chas tiques et pro gram ma tion…
188
5.2 défi ni tion d ’ un Pro ces sus sto chas tique
Un pro ces sus sto chas tique (ou pro ces sus aléa toire) est une famille de variables aléa
toires X t :
5X t , t H T6
où t par court l’ensemble T (qui repré sente, le plus sou vent, un ensemble de temps).
Si T est dis cret, on parle plus volon tiers de suite sto chas tique, l’appel la tion de pro
ces sus étant alors réser vée au cas de T continu. Dans les appli ca tions, X t repré sen tera
l’état pris par un sys tème à l’ins tant t : ainsi pour une file d’attente, X t sera le nombre
de clients présents à t.
La lettre T a donc été choi sie en rai son du fait que, très sou vent, elle désigne un
ensemble de dates ; lorsque T est dis cret, t 1 , t 2 , c , t n , c sont des ins tants don
nés ; lorsque T est continu (T 5 R
1
par exemple), t désigne un ins tant quel conque
1 t > 02 .
Lorsque X t peut prendre un ensemble fini ou infini dénom brable de valeurs (ou
états), le pro ces sus est dit à espace d’états dis cret : c’est très sou vent le cas en
recherche opé ra tion nelle. Si, au contraire, ses valeurs appar tiennent à un ensemble
continu (un inter valle de R par exemple), on dit qu’il est à espace d’états continu :
c’est fré quem ment le cas en phy sique.
Un pro ces sus aléa toire 5X t , t H T6 est markovien si, pour tout ins tant u, pour toute
valeur X u 5 x don née, la pro ba bi lité pour que le pro ces sus prenne la valeur y (passe
par l’état y) à un ins tant quel conque t ulté rieur (c’est àdire pour tout t > u) ne dépend
pas des valeurs prises par le pro ces sus avant l’ins tant u :
P3X t 5 y k X s pour s , u ; X u 5 x 4 5 P3X t 5 y k X u 5 t 4
On dit aussi que le pro ces sus est sans mémoire.
5.3 chaînes de markov à esPace d ’ états dis cret
C’est ainsi qu’on nomme une suite sto chas tique (le temps est donc discret) à espace
d’états dis cret et véri fiant la prop riété « sans mémoire » ci dessus ; nous sup po se
rons, en outre, le pro ces sus homo gène.
On a donc T 5 5t 0 , t 1 , c , t n , c 6 ; le plus sou vent on confon dra T avec N : on
étu diera les états X t par les quels passe un sys tème à t 5 0, 1, 2, c
Soit un ensemble d’états :
e 5 5E 1 , E 2 , c , E n , c 6,
fini ou infini. On dit que « le pro ces sus est passé par l’état E k à l’ins tant n » si :
X n 5 k.
Par défi ni tion, une chaîne de Markov pos sède la prop riété « sans mémoire ».
P3X n 5 j k X 0 5 i 0 , X 1 5 i 1 , c , X n21 5 i n21 4 5 P3X n 5 j k X n21 5 i n21 4 5 p
(n)
ij .
188
5.2 défi ni tion d ’ un Pro ces sus sto chas tique
Un pro ces sus sto chas tique (ou pro ces sus aléa toire) est une famille de variables aléa
toires X t :
5X t , t H T6
où t par court l’ensemble T (qui repré sente, le plus sou vent, un ensemble de temps).
Si T est dis cret, on parle plus volon tiers de suite sto chas tique, l’appel la tion de pro
ces sus étant alors réser vée au cas de T continu. Dans les appli ca tions, X t repré sen tera
l’état pris par un sys tème à l’ins tant t : ainsi pour une file d’attente, X t sera le nombre
de clients présents à t.
La lettre T a donc été choi sie en rai son du fait que, très sou vent, elle désigne un
ensemble de dates ; lorsque T est dis cret, t 1 , t 2 , c , t n , c sont des ins tants don
nés ; lorsque T est continu (T 5 R
1
par exemple), t désigne un ins tant quel conque
1 t > 02 .
Lorsque X t peut prendre un ensemble fini ou infini dénom brable de valeurs (ou
états), le pro ces sus est dit à espace d’états dis cret : c’est très sou vent le cas en
recherche opé ra tion nelle. Si, au contraire, ses valeurs appar tiennent à un ensemble
continu (un inter valle de R par exemple), on dit qu’il est à espace d’états continu :
c’est fré quem ment le cas en phy sique.
Un pro ces sus aléa toire 5X t , t H T6 est markovien si, pour tout ins tant u, pour toute
valeur X u 5 x don née, la pro ba bi lité pour que le pro ces sus prenne la valeur y (passe
par l’état y) à un ins tant quel conque t ulté rieur (c’est àdire pour tout t > u) ne dépend
pas des valeurs prises par le pro ces sus avant l’ins tant u :
P3X t 5 y k X s pour s , u ; X u 5 x 4 5 P3X t 5 y k X u 5 t 4
On dit aussi que le pro ces sus est sans mémoire.
5.3 chaînes de markov à esPace d ’ états dis cret
C’est ainsi qu’on nomme une suite sto chas tique (le temps est donc discret) à espace
d’états dis cret et véri fiant la prop riété « sans mémoire » ci dessus ; nous sup po se
rons, en outre, le pro ces sus homo gène.
On a donc T 5 5t 0 , t 1 , c , t n , c 6 ; le plus sou vent on confon dra T avec N : on
étu diera les états X t par les quels passe un sys tème à t 5 0, 1, 2, c
Soit un ensemble d’états :
e 5 5E 1 , E 2 , c , E n , c 6,
fini ou infini. On dit que « le pro ces sus est passé par l’état E k à l’ins tant n » si :
X n 5 k.
Par défi ni tion, une chaîne de Markov pos sède la prop riété « sans mémoire ».
P3X n 5 j k X 0 5 i 0 , X 1 5 i 1 , c , X n21 5 i n21 4 5 P3X n 5 j k X n21 5 i n21 4 5 p
(n)
ij .