3 • Postulats de la physique statistique
53
Pour trouver la forme mathématique de I, revenons au premier exemple : une boule
dans N boîtes identiques. Il est clair que I doit être une fonction de N : I = I(N). Si le
nombre de boîtes augmente, l’information sur le système va diminuer. Donc :
I(M) > I(N) si M > N
(5)
S’il n’y a qu’une boîte, nous sommes sûrs du résultat. Aussi l’information manquante
doit-elle être nulle :
I(1) = 0
(6)
Supposons à présent que chacune des boîtes soit divisée en M compartiments équiprobables. On peut résoudre le problème de deux manières différentes :
1- Il y a au total NM compartiments équiprobables. L’information manquante est donc
égale à I(NM).
2- On peut procéder en deux étapes : trouver la boîte, puis le compartiment dans celle-ci.
L’information manquante vaut I(N) dans la première étape et I(M) dans la seconde.
Il est raisonnable de demander que l’information soit une grandeur additive. En effet,
si celle-ci est connue petit à petit, mais sans répétition, l’information totale doit être la
somme des informations obtenues à chaque étape. Ce qui est vrai pour l’information est
aussi vrai pour l’information manquante.
Exemple. Considérons deux journaux traitant de sujets différents. La quantité d’information est
la même que nous les ayons reçus le même jour ou à deux jours d’intervalle, pourvu que nous
les ayons tous les deux à notre disposition lorsque nous en prenons connaissance.
L’additivité de l’information manquante s’exprime par :
I(MN) = I(M) + I(N)
( 7 )
ce qui conduit à définir l’information manquante comme :
I(N) = C Log N
(8)
où C est une constante arbitraire, mais positive. I(N) a une forme mathématique qui
est très similaire à celle de l’entropie statistique. En effet, dans notre exemple, N est le
nombre de micro-états accessibles au système. Pour cette raison, nous choisirons C = k
(la constante de Boltzmann) et nous appellerons l’information manquante : entropie d’information.
Notons que l’information que nous avons sur un système peut s’évaluer par la quantité
−I, puisque I représente l’information manquante. Ainsi, lorsque l’information manquante est maximum, l’information est minimum et réciproquement.
Dans l’exemple précédent, toutes les boîtes sont équiprobables. Supposons maintenant que ce ne soit pas le cas et appelons P i la probabilité d’occuper la boîte 1 i N.
On a :
P i 0 et
N
i=1
P i = 1
(9)
c
Dunod. La photocopie non autorisée est un délit.
53
Pour trouver la forme mathématique de I, revenons au premier exemple : une boule
dans N boîtes identiques. Il est clair que I doit être une fonction de N : I = I(N). Si le
nombre de boîtes augmente, l’information sur le système va diminuer. Donc :
I(M) > I(N) si M > N
(5)
S’il n’y a qu’une boîte, nous sommes sûrs du résultat. Aussi l’information manquante
doit-elle être nulle :
I(1) = 0
(6)
Supposons à présent que chacune des boîtes soit divisée en M compartiments équiprobables. On peut résoudre le problème de deux manières différentes :
1- Il y a au total NM compartiments équiprobables. L’information manquante est donc
égale à I(NM).
2- On peut procéder en deux étapes : trouver la boîte, puis le compartiment dans celle-ci.
L’information manquante vaut I(N) dans la première étape et I(M) dans la seconde.
Il est raisonnable de demander que l’information soit une grandeur additive. En effet,
si celle-ci est connue petit à petit, mais sans répétition, l’information totale doit être la
somme des informations obtenues à chaque étape. Ce qui est vrai pour l’information est
aussi vrai pour l’information manquante.
Exemple. Considérons deux journaux traitant de sujets différents. La quantité d’information est
la même que nous les ayons reçus le même jour ou à deux jours d’intervalle, pourvu que nous
les ayons tous les deux à notre disposition lorsque nous en prenons connaissance.
L’additivité de l’information manquante s’exprime par :
I(MN) = I(M) + I(N)
( 7 )
ce qui conduit à définir l’information manquante comme :
I(N) = C Log N
(8)
où C est une constante arbitraire, mais positive. I(N) a une forme mathématique qui
est très similaire à celle de l’entropie statistique. En effet, dans notre exemple, N est le
nombre de micro-états accessibles au système. Pour cette raison, nous choisirons C = k
(la constante de Boltzmann) et nous appellerons l’information manquante : entropie d’information.
Notons que l’information que nous avons sur un système peut s’évaluer par la quantité
−I, puisque I représente l’information manquante. Ainsi, lorsque l’information manquante est maximum, l’information est minimum et réciproquement.
Dans l’exemple précédent, toutes les boîtes sont équiprobables. Supposons maintenant que ce ne soit pas le cas et appelons P i la probabilité d’occuper la boîte 1 i N.
On a :
P i 0 et
N
i=1
P i = 1
(9)
c
Dunod. La photocopie non autorisée est un délit.