244
Recherche opérationnelle
et peuvent être finis ou infinis, discrets ou continus. Les combinaisons de ces
différentes qualités fournissent une classification possible des processus stochastiques.
Nous étudierons dans ce premier chapitre les processus stochastiques où et
sont
discrets et dénombrables : ces processus stochastiques seront appelés suites
stochastiques à ensemble-état discret, le terme suite signifiant que l'ensemble temps est
discret, et un cas particulier important sera constitué par Les chaînes de Markov.
10.1. DEFINITION D'UNE CHAINE DE MARKOV
10.1.1. Suite stochastique
Soit un système pouvant se trouver dans un certain nombre d'états
dénombrables, ,
et cela à certaines périodes ou instants, également
dénombrables, numérotés
Entre l'instant
le système passe aléatoirement d'un état
à un état .
Définissons la variable aléatoire de la façon suivante:
signifie qu'à la date , le système se trouve dans l'état . L'ensemble :
{
est une suite stochastique à ensemble-état discret.
Exemples :
1. Sur un chantier fonctionne un certain nombre de machines. Pendant un jour donné,
certaines peuvent tomber en panne. Elles sont alors envoyées le soir du jour
considéré à l'atelier de réparation. La durée de réparation est aléatoire, mais les
machines, une fois réparées, repartent au chantier pour y arriver le matin qui suit la
fin de leur réparation.
On peut alors s'intéresser au nombre de machines en fonctionnement sur le chantier
pour une matinée quelconque : l'état
signifie qu'il y a
machines en
fonctionnement, et l'instant est la
matinée considérée. , est alors le nombre
(aléatoire, évidemment) de machines en fonctionnement à la matinée .
2. Un médecin a un planning de rendez-vous, pour ses consultations, où les patients
sont inscrits dans l'ordre où ils se présentent.
S'il n'accepte d'examiner par jour qu'un contingent limité de malades, il existe en
général des délais de rendez-vous. Le nombre de malades prenant rendez-vous
pendant une journée considérée étant aléatoire, on peut considérer par exemple la
variable aléatoire
suivante :
signifie qu'au début de journée le délai de rendez-vous est , c'est-à-dire
que le premier malade téléphonant pour prendre rendez-vous ne pourra être reçu que
dans jours.
On pourrait aussi prendre pour variable
le nombre total d'inscrits sur le carnet de
rendez-vous au début du
jour.
Recherche opérationnelle
et peuvent être finis ou infinis, discrets ou continus. Les combinaisons de ces
différentes qualités fournissent une classification possible des processus stochastiques.
Nous étudierons dans ce premier chapitre les processus stochastiques où et
sont
discrets et dénombrables : ces processus stochastiques seront appelés suites
stochastiques à ensemble-état discret, le terme suite signifiant que l'ensemble temps est
discret, et un cas particulier important sera constitué par Les chaînes de Markov.
10.1. DEFINITION D'UNE CHAINE DE MARKOV
10.1.1. Suite stochastique
Soit un système pouvant se trouver dans un certain nombre d'états
dénombrables, ,
et cela à certaines périodes ou instants, également
dénombrables, numérotés
Entre l'instant
le système passe aléatoirement d'un état
à un état .
Définissons la variable aléatoire de la façon suivante:
signifie qu'à la date , le système se trouve dans l'état . L'ensemble :
{
est une suite stochastique à ensemble-état discret.
Exemples :
1. Sur un chantier fonctionne un certain nombre de machines. Pendant un jour donné,
certaines peuvent tomber en panne. Elles sont alors envoyées le soir du jour
considéré à l'atelier de réparation. La durée de réparation est aléatoire, mais les
machines, une fois réparées, repartent au chantier pour y arriver le matin qui suit la
fin de leur réparation.
On peut alors s'intéresser au nombre de machines en fonctionnement sur le chantier
pour une matinée quelconque : l'état
signifie qu'il y a
machines en
fonctionnement, et l'instant est la
matinée considérée. , est alors le nombre
(aléatoire, évidemment) de machines en fonctionnement à la matinée .
2. Un médecin a un planning de rendez-vous, pour ses consultations, où les patients
sont inscrits dans l'ordre où ils se présentent.
S'il n'accepte d'examiner par jour qu'un contingent limité de malades, il existe en
général des délais de rendez-vous. Le nombre de malades prenant rendez-vous
pendant une journée considérée étant aléatoire, on peut considérer par exemple la
variable aléatoire
suivante :
signifie qu'au début de journée le délai de rendez-vous est , c'est-à-dire
que le premier malade téléphonant pour prendre rendez-vous ne pourra être reçu que
dans jours.
On pourrait aussi prendre pour variable
le nombre total d'inscrits sur le carnet de
rendez-vous au début du
jour.