68
4 Chaˆ ınes de Markov en auto-interaction
Plusieurs questions naturelles se posent :
Quel est le rˆ ole pr´ ecis des processus de renforcements ? Peut-on les d´ ecrire,
les analyser math´ ematiquement ? Est-il envisageable de les contrˆ oler ? Peut-on
contourner les pi` eges du renforcement ? Quelle strat´ egie d’exploration adopter
pour ´ eviter ces ´ ecueils, et visiter convenablement une r´ egion, sans ˆ etre trop
attir´ e par des sites trop souvent visit´ es ? Comment trouver un circuit optimal,
en d´ ejouant l’attrait des chemins d´ ej` a trop emprunt´ es par le pass´ e ? Intuitivement la r´ eponse est assez simple. Dans le cas d’une visite d’une ville, ou encore
dans la recherche de circuits optimaux, il suffit d’augmenter ses capacit´ es exploratoires, en s’accordant de temps ` a autre des ´ evolutions al´ eatoires de plus
fortes amplitudes. Cette strat´ egie naturelle permet ainsi de lutter contre les
renforcements inconscients induits par des fr´ equences de passage d´ ej` a trop
nombreuses.
D’un point de vue purement math´ ematique, les processus de renforcement
formalis´ es correspondent ` a la notion de chaˆ ınes de Markov en auto-interaction.
Ces mod` eles d’´ evolutions repr´ esentent l’exploration d’un marcheur virtuel
avan¸ cant pas `
a pas selon des transitions de probabilit´ es li´ ees ` a la mesure
d’occupation du processus. Autrement dit, la dynamique du marcheur est influenc´ ee par les chemins d´ ej` a emprunt´ es, et les sites visit´ es dans le pass´ e. Les
chaˆ ınes de Markov en auto-interaction sur un espace E sont caract´ eris´ ees par
la donn´ ee d’une famille de transitions de probabilit´ es M η (x, dy) ind´ ex´ ees par
l’ensemble P(E) des mesures de probabilit´ es η sur cet ensemble E.
La probabilit´ e pour que le marcheur se trouve sur un site X n ` a l’instant n
est alors donn´ ee par la formule
P(X n ∈ dx | X 0 , . . . , X n−1 ) = M 1
n
n−1
k=0 δ X k
(X n−1 , dx)
Le lecteur aura certainement not´ e que X n n’est pas une chaˆ ıne de Markov,
mais le processus historique
X n−1 := (X 0 , . . . , X n−1 ) X n := ((X 0 , . . . , X n−1 ), X n )
poss` ede toujours la propri´ et´ e markovienne.
4 Chaˆ ınes de Markov en auto-interaction
Plusieurs questions naturelles se posent :
Quel est le rˆ ole pr´ ecis des processus de renforcements ? Peut-on les d´ ecrire,
les analyser math´ ematiquement ? Est-il envisageable de les contrˆ oler ? Peut-on
contourner les pi` eges du renforcement ? Quelle strat´ egie d’exploration adopter
pour ´ eviter ces ´ ecueils, et visiter convenablement une r´ egion, sans ˆ etre trop
attir´ e par des sites trop souvent visit´ es ? Comment trouver un circuit optimal,
en d´ ejouant l’attrait des chemins d´ ej` a trop emprunt´ es par le pass´ e ? Intuitivement la r´ eponse est assez simple. Dans le cas d’une visite d’une ville, ou encore
dans la recherche de circuits optimaux, il suffit d’augmenter ses capacit´ es exploratoires, en s’accordant de temps ` a autre des ´ evolutions al´ eatoires de plus
fortes amplitudes. Cette strat´ egie naturelle permet ainsi de lutter contre les
renforcements inconscients induits par des fr´ equences de passage d´ ej` a trop
nombreuses.
D’un point de vue purement math´ ematique, les processus de renforcement
formalis´ es correspondent ` a la notion de chaˆ ınes de Markov en auto-interaction.
Ces mod` eles d’´ evolutions repr´ esentent l’exploration d’un marcheur virtuel
avan¸ cant pas `
a pas selon des transitions de probabilit´ es li´ ees ` a la mesure
d’occupation du processus. Autrement dit, la dynamique du marcheur est influenc´ ee par les chemins d´ ej` a emprunt´ es, et les sites visit´ es dans le pass´ e. Les
chaˆ ınes de Markov en auto-interaction sur un espace E sont caract´ eris´ ees par
la donn´ ee d’une famille de transitions de probabilit´ es M η (x, dy) ind´ ex´ ees par
l’ensemble P(E) des mesures de probabilit´ es η sur cet ensemble E.
La probabilit´ e pour que le marcheur se trouve sur un site X n ` a l’instant n
est alors donn´ ee par la formule
P(X n ∈ dx | X 0 , . . . , X n−1 ) = M 1
n
n−1
k=0 δ X k
(X n−1 , dx)
Le lecteur aura certainement not´ e que X n n’est pas une chaˆ ıne de Markov,
mais le processus historique
X n−1 := (X 0 , . . . , X n−1 ) X n := ((X 0 , . . . , X n−1 ), X n )
poss` ede toujours la propri´ et´ e markovienne.