Chapitre 10 Les chaînes de Markov
Dans cette partie du cours, nous allons aborder le problème du traitement des
phénomènes aléatoires dans les processus de gestion.
Par phénomène aléatoire, on entendra tout phénomène auquel on peut associer, pour le
formaliser, une ou plusieurs variables aléatoires. On distinguera par conséquent
l'aléatoire de l'incertain, pour lequel il n'est pas possible de faire intervenir des
distributions de probabilités. Les problèmes de choix en avenir incertain ne seront
d'ailleurs pas du tout abordés ici, ce qui constituera une restriction importante, dans la
mesure où, pour bon nombre de processus réels, l'hypothèse de l'existence de
distributions de probabilité est parfois hardie. De même, on ne traitera pas ici de
problèmes de choix en situation concurrentielle, où le décideur ne sait pas non plus
affecter des probabilités aux évènements dans la mesure où ces évènements dépendent
des autres acteurs. Il s'agit là du champ de la Théorie des Jeux.
L'étude des phénomènes aléatoires, sous l'angle de la Recherche Opérationnelle, se
rattache en principe à la discipline mathématique dite « Processus stochastique », où l'on
étudie des variables aléatoires dépendant du temps. Il s'agit là d'une discipline assez
difficile, donnant souvent lieu à des développements mathématiques raffinés. Comme
pour les autres chapitres (programmation linéaire et graphes), nous éviterons ici de nous
attacher aux difficultés théoriques, qui sont nombreuses, pour envisager les phénomènes
étudiés sous un angle beaucoup plus pratique, quitte à perdre sur le plan de la rigueur.
Encore une fois, le but essentiel ici est de montrer comment certains problèmes se
réclamant du terme « gestion » peuvent se formaliser, et donc se lire d'une certaine
façon.
Les chapitres suivants seront structurés non pas suivant un cadre théorique préétabli,
mais suivant une série de questions pouvant relever du calcul des probabilités (stocks,
fiabilité, files d'attente ...).
Toutefois, le chapitre 10 sera consacré à une classe particulière de processus
stochastiques ne se rattachant pas à une question particulière, mais intervenant dans bon
nombre de problèmes : les chaînes de Markov.
Rappelons qu'en langage probabiliste, un processus stochastique se définit de la façon
suivante:
Soit un ensemble , engendré par l'indice et une variable aléatoire , indicée par On
appelle processus stochastique l'ensemble :
.
aura très fréquemment la signification du temps. sera dit alors l'ensemble - temps. Si
est pris dans un ensemble ( ou
par exemple), sera l'ensemble - état.
Dans cette partie du cours, nous allons aborder le problème du traitement des
phénomènes aléatoires dans les processus de gestion.
Par phénomène aléatoire, on entendra tout phénomène auquel on peut associer, pour le
formaliser, une ou plusieurs variables aléatoires. On distinguera par conséquent
l'aléatoire de l'incertain, pour lequel il n'est pas possible de faire intervenir des
distributions de probabilités. Les problèmes de choix en avenir incertain ne seront
d'ailleurs pas du tout abordés ici, ce qui constituera une restriction importante, dans la
mesure où, pour bon nombre de processus réels, l'hypothèse de l'existence de
distributions de probabilité est parfois hardie. De même, on ne traitera pas ici de
problèmes de choix en situation concurrentielle, où le décideur ne sait pas non plus
affecter des probabilités aux évènements dans la mesure où ces évènements dépendent
des autres acteurs. Il s'agit là du champ de la Théorie des Jeux.
L'étude des phénomènes aléatoires, sous l'angle de la Recherche Opérationnelle, se
rattache en principe à la discipline mathématique dite « Processus stochastique », où l'on
étudie des variables aléatoires dépendant du temps. Il s'agit là d'une discipline assez
difficile, donnant souvent lieu à des développements mathématiques raffinés. Comme
pour les autres chapitres (programmation linéaire et graphes), nous éviterons ici de nous
attacher aux difficultés théoriques, qui sont nombreuses, pour envisager les phénomènes
étudiés sous un angle beaucoup plus pratique, quitte à perdre sur le plan de la rigueur.
Encore une fois, le but essentiel ici est de montrer comment certains problèmes se
réclamant du terme « gestion » peuvent se formaliser, et donc se lire d'une certaine
façon.
Les chapitres suivants seront structurés non pas suivant un cadre théorique préétabli,
mais suivant une série de questions pouvant relever du calcul des probabilités (stocks,
fiabilité, files d'attente ...).
Toutefois, le chapitre 10 sera consacré à une classe particulière de processus
stochastiques ne se rattachant pas à une question particulière, mais intervenant dans bon
nombre de problèmes : les chaînes de Markov.
Rappelons qu'en langage probabiliste, un processus stochastique se définit de la façon
suivante:
Soit un ensemble , engendré par l'indice et une variable aléatoire , indicée par On
appelle processus stochastique l'ensemble :
.
aura très fréquemment la signification du temps. sera dit alors l'ensemble - temps. Si
est pris dans un ensemble ( ou
par exemple), sera l'ensemble - état.