4.2 Les pi` eges du renforcement
71
M 1
n
n−1
k=0 1 X k
(X n−1 , i) = P(X n = i | X 0 , . . . , X n−1 )
=
1
n
n−1
k=0
1 X k (i) + (1 − ) μ(i)
Cette exploration renforc´ ee co¨ ıncide avec la chaˆ ıne de Markov en autointeraction associ´ ee `
a la famille de transitions de probabilit´ es d´ etermin´ ee par
la formule suivante
M η (i, j) = η(j) + (1 − ) μ(j)
Avec la probabilit´ e , il d´ ecide de retourner sur l’un des pubs X 0 , . . . , X n−1 visit´ es dans le pass´ e. Dans le cas contraire, il choisira au hasard et uniform´ ement
l’un des pubs selon la loi μ. Examinons les deux cas extrˆ emes ∈ {0, 1}. Le
cas = 1 correspond ` a un degr´ e de renforcement de l’individu maximal. Apr` es
avoir visit´ e un premier pub, le touriste ne le quitte plus. Dans cette situation,
le parcours de l’individu est simple
X 0 = X 1 = . . . = X n = . . .
`
A l’oppos´ e, lorsque = 1 la personne ne subit aucun m´ ecanisme de renforcement. Il choisit al´ eatoirement chaque jour un des p pubs. Dans cette situation, les variables X n sont ind´ ependantes et uniform´ ement distribu´ ees selon la
mˆ eme loi μ. Examinons quelques situations interm´ ediaires. Lorsque =
1
1000 ,
le touriste se tourne en moyenne une fois sur 1000 vers le pass´ e, si =
1
100 il
y retourne une fois sur 100, enfin si =
1
10 il revisite l’un des pr´ ec´ edents sites
une fois sur 10, etc.
Une illustration graphique de cette exploration renforc´ ee est donn´ ee dans
la figure 4.1.
Afin d’illustrer cette exploration renforc´ ee, examinons une situation num´ erique particuli` ere. Supposons que la vieille ville contienne une vingtaine
de pubs p = 20. Dans ce paysage, chacun des pubs peut ˆ etre a priori choisi
avec une probabilit´ e de 1/20. Notre touriste retourne n´ eanmoins une fois sur
deux dans l’un des pubs visit´ es par le pass´ e. Autrement dit, son degr´ e de
renforcement est ´ egal ` a 1/2. Examinons le pouvoir d’attraction d’un pub,
disons le premier, ayant ´ et´ e visit´ e 20 fois sur les 30 premiers jours de vacances.
D` es le deuxi` eme jour, le pouvoir d’attraction du premier pub visit´ e est d´ ej` a
tr` es fort. La probabilit´ e de retourner dans cet endroit est sup´ erieure `
a 1/2
× 1 + (1 − )
1
20
=
1
2
+
1
40
=
21
40
= 0, 525 >
1
2
La probabilit´ e de visiter ce jour l` a un nouveau pub, peut ˆ etre plus attrayant,
est vingt fois plus faible
71
M 1
n
n−1
k=0 1 X k
(X n−1 , i) = P(X n = i | X 0 , . . . , X n−1 )
=
1
n
n−1
k=0
1 X k (i) + (1 − ) μ(i)
Cette exploration renforc´ ee co¨ ıncide avec la chaˆ ıne de Markov en autointeraction associ´ ee `
a la famille de transitions de probabilit´ es d´ etermin´ ee par
la formule suivante
M η (i, j) = η(j) + (1 − ) μ(j)
Avec la probabilit´ e , il d´ ecide de retourner sur l’un des pubs X 0 , . . . , X n−1 visit´ es dans le pass´ e. Dans le cas contraire, il choisira au hasard et uniform´ ement
l’un des pubs selon la loi μ. Examinons les deux cas extrˆ emes ∈ {0, 1}. Le
cas = 1 correspond ` a un degr´ e de renforcement de l’individu maximal. Apr` es
avoir visit´ e un premier pub, le touriste ne le quitte plus. Dans cette situation,
le parcours de l’individu est simple
X 0 = X 1 = . . . = X n = . . .
`
A l’oppos´ e, lorsque = 1 la personne ne subit aucun m´ ecanisme de renforcement. Il choisit al´ eatoirement chaque jour un des p pubs. Dans cette situation, les variables X n sont ind´ ependantes et uniform´ ement distribu´ ees selon la
mˆ eme loi μ. Examinons quelques situations interm´ ediaires. Lorsque =
1
1000 ,
le touriste se tourne en moyenne une fois sur 1000 vers le pass´ e, si =
1
100 il
y retourne une fois sur 100, enfin si =
1
10 il revisite l’un des pr´ ec´ edents sites
une fois sur 10, etc.
Une illustration graphique de cette exploration renforc´ ee est donn´ ee dans
la figure 4.1.
Afin d’illustrer cette exploration renforc´ ee, examinons une situation num´ erique particuli` ere. Supposons que la vieille ville contienne une vingtaine
de pubs p = 20. Dans ce paysage, chacun des pubs peut ˆ etre a priori choisi
avec une probabilit´ e de 1/20. Notre touriste retourne n´ eanmoins une fois sur
deux dans l’un des pubs visit´ es par le pass´ e. Autrement dit, son degr´ e de
renforcement est ´ egal ` a 1/2. Examinons le pouvoir d’attraction d’un pub,
disons le premier, ayant ´ et´ e visit´ e 20 fois sur les 30 premiers jours de vacances.
D` es le deuxi` eme jour, le pouvoir d’attraction du premier pub visit´ e est d´ ej` a
tr` es fort. La probabilit´ e de retourner dans cet endroit est sup´ erieure `
a 1/2
× 1 + (1 − )
1
20
=
1
2
+
1
40
=
21
40
= 0, 525 >
1
2
La probabilit´ e de visiter ce jour l` a un nouveau pub, peut ˆ etre plus attrayant,
est vingt fois plus faible