1 0
CHAPITRE 5. PROCESSUS DE POPULATION EN TEMPS CONTINU
5.3.2 Chaîne de Markov incluse
Soit (X t ) t un processus markovien de saut, associé à (T n , Z n ), n ≥ 0. La suite Z n = X Tn
est une chaîne de Markov à temps discret. C’est une conséquence de la propriété de Markov
forte de (X t ) t . Elle est appelée chaîne incluse et vérifie que Z n+1 = Z n , presque-sûrement,
pour tout n. Sa matrice de transition se calcule aisément en fonction du générateur Q de
X t , grâce à (5.3.8) :
˜
P i,j =
Qij
qi
si j = i
0
si j = i.
Si l’on pose
S n = q Zn−1 (T n − T n−1 ),
où q i =
i =j Q i,j , et pour tout t ≥ 0, N t = sup{n,
n
k=1 S k ≤ t}, alors le processus (N t ) t
est un processus de Poisson d’intensité 1. En effet, il suffit d’appliquer le Corollaire 5.3.5 :
la loi conditionnelle de T n − T n−1 sachant Z n−1 est une loi exponentielle de paramètre
q Zn−1 , et donc la loi de S n est une loi exponentielle de paramètre 1. On utilise pour cela
le fait que si U est une variable aléatoire exponentielle de paramètre λ, alors λU est une
variable aléatoire exponentielle de paramètre 1.
Réciproquement, il est possible de définir un processus de Markov à temps continu à
valeurs dans N à partir de son générateur infinitésimal. Soit Q une matrice de taux,
c’est-à-dire une matrice indexée par N telle que pour tous i, j ∈ N,
Q i,j ≥ 0 si j = i ; Q i,i = −
j =i
Q i,j ≤ 0.
(5.3.13)
Posons alors q i = −Q i,i et définissons la matrice de transition ˜
P par ˜
P i,j =
Qi,j
qi
si i = j
et q i = 0, et ˜
P i,j = 0 si j = i, avec la convention ˜
P i,j = 0 ∀j si q i = 0. A tout i ∈ N, nous
associons la chaîne (Z n ) n de matrice de transition ˜
P et nous considérons un processus de
Poisson (N t ) d’intensité 1 indépendant de (Z n ) n . La suite des instants de saut de (N t ) est
notée (T
n ) n et pour n ≥ 1, on définit
U n =
T
n − T
n−1
q Zn−1
; T n = U 1 + · · · + U n .
Si la condition de non-explosion (5.1.1) est satisfaite par (T n ) n , alors
X t =
n≥0
Z n 1 [Tn,Tn+1[ (t), t ≥ 0
(5.3.14)
est un processus markovien de saut de générateur infinitésimal Q.
Construction algorithmique de (X t ) t :
Il est facile de construire le processus (X t , t ≥ 0) issu de l’état i en itérant la procédure
suivante.
6
CHAPITRE 5. PROCESSUS DE POPULATION EN TEMPS CONTINU
5.3.2 Chaîne de Markov incluse
Soit (X t ) t un processus markovien de saut, associé à (T n , Z n ), n ≥ 0. La suite Z n = X Tn
est une chaîne de Markov à temps discret. C’est une conséquence de la propriété de Markov
forte de (X t ) t . Elle est appelée chaîne incluse et vérifie que Z n+1 = Z n , presque-sûrement,
pour tout n. Sa matrice de transition se calcule aisément en fonction du générateur Q de
X t , grâce à (5.3.8) :
˜
P i,j =
Qij
qi
si j = i
0
si j = i.
Si l’on pose
S n = q Zn−1 (T n − T n−1 ),
où q i =
i =j Q i,j , et pour tout t ≥ 0, N t = sup{n,
n
k=1 S k ≤ t}, alors le processus (N t ) t
est un processus de Poisson d’intensité 1. En effet, il suffit d’appliquer le Corollaire 5.3.5 :
la loi conditionnelle de T n − T n−1 sachant Z n−1 est une loi exponentielle de paramètre
q Zn−1 , et donc la loi de S n est une loi exponentielle de paramètre 1. On utilise pour cela
le fait que si U est une variable aléatoire exponentielle de paramètre λ, alors λU est une
variable aléatoire exponentielle de paramètre 1.
Réciproquement, il est possible de définir un processus de Markov à temps continu à
valeurs dans N à partir de son générateur infinitésimal. Soit Q une matrice de taux,
c’est-à-dire une matrice indexée par N telle que pour tous i, j ∈ N,
Q i,j ≥ 0 si j = i ; Q i,i = −
j =i
Q i,j ≤ 0.
(5.3.13)
Posons alors q i = −Q i,i et définissons la matrice de transition ˜
P par ˜
P i,j =
Qi,j
qi
si i = j
et q i = 0, et ˜
P i,j = 0 si j = i, avec la convention ˜
P i,j = 0 ∀j si q i = 0. A tout i ∈ N, nous
associons la chaîne (Z n ) n de matrice de transition ˜
P et nous considérons un processus de
Poisson (N t ) d’intensité 1 indépendant de (Z n ) n . La suite des instants de saut de (N t ) est
notée (T
n ) n et pour n ≥ 1, on définit
U n =
T
n − T
n−1
q Zn−1
; T n = U 1 + · · · + U n .
Si la condition de non-explosion (5.1.1) est satisfaite par (T n ) n , alors
X t =
n≥0
Z n 1 [Tn,Tn+1[ (t), t ≥ 0
(5.3.14)
est un processus markovien de saut de générateur infinitésimal Q.
Construction algorithmique de (X t ) t :
Il est facile de construire le processus (X t , t ≥ 0) issu de l’état i en itérant la procédure
suivante.
6