3 • Postulats de la physique statistique
55
système, I, vaut
I N
N
soit :
I = −k
N
i=1
P i Log P i
(16)
Bien que nous ayons obtenu cette relation dans un cas particulier, elle est générale,
et nous prendrons l’expression (16) comme définition de l’entropie d’information. Si
P i =
1
N
, toutes les configurations sont équiprobables et :
I = −k
N
i=1
1
N
Log
1
N
= k Log N
(17)
Nous retrouvons l’expression (8). En physique statistique, P i sera la probabilité d’occuper un micro-état. Dans le cas général où les P i dépendent du micro- état i, le système
n’est pas en équilibre statistique. On généralise ainsi la notion d’entropie statistique à un
système hors d’équilibre. L’équilibre statistique est atteint lorsque tous les micro-états
accessibles sont équiprobables, i.e. lorsque :
P i =
1
V(E)
(18)
Dans ce cas, et dans ce cas seulement, on obtient :
I = S = k Log V(E)
(19)
Par la suite, nous identifierons toujours S et I. À l’équilibre, l’entropie est maximum
donc l’information est minimum. L’entropie est une mesure du désordre du système.
Plus celui-ci est grand, plus S est grand. À l’équilibre le désordre est maximum.
3.3.2 Entropie et théorie de l’information
Le premier postulat de la physique statistique suppose que tous les micro-états d’un système en équilibre sont équiprobables. Il est possible de construire la physique statistique
à partir de la théorie de l’information en remplaçant le premier postulat par l’énoncé suivant : L’information sur un système en équilibre est minimum. En d’autres termes, cela
signifie que l’entropie d’information (information manquante) est maximum. Le premier
postulat découle alors naturellement de cette hypothèse comme nous allons le montrer
maintenant. Considérons un système isolé et soit P i la probabilité d’occuper le microétat i. L’entropie de ce système est définie par :
S = −k
i∈M
P i Log P i
(20)
c
Dunod. La photocopie non autorisée est un délit.
55
système, I, vaut
I N
N
soit :
I = −k
N
i=1
P i Log P i
(16)
Bien que nous ayons obtenu cette relation dans un cas particulier, elle est générale,
et nous prendrons l’expression (16) comme définition de l’entropie d’information. Si
P i =
1
N
, toutes les configurations sont équiprobables et :
I = −k
N
i=1
1
N
Log
1
N
= k Log N
(17)
Nous retrouvons l’expression (8). En physique statistique, P i sera la probabilité d’occuper un micro-état. Dans le cas général où les P i dépendent du micro- état i, le système
n’est pas en équilibre statistique. On généralise ainsi la notion d’entropie statistique à un
système hors d’équilibre. L’équilibre statistique est atteint lorsque tous les micro-états
accessibles sont équiprobables, i.e. lorsque :
P i =
1
V(E)
(18)
Dans ce cas, et dans ce cas seulement, on obtient :
I = S = k Log V(E)
(19)
Par la suite, nous identifierons toujours S et I. À l’équilibre, l’entropie est maximum
donc l’information est minimum. L’entropie est une mesure du désordre du système.
Plus celui-ci est grand, plus S est grand. À l’équilibre le désordre est maximum.
3.3.2 Entropie et théorie de l’information
Le premier postulat de la physique statistique suppose que tous les micro-états d’un système en équilibre sont équiprobables. Il est possible de construire la physique statistique
à partir de la théorie de l’information en remplaçant le premier postulat par l’énoncé suivant : L’information sur un système en équilibre est minimum. En d’autres termes, cela
signifie que l’entropie d’information (information manquante) est maximum. Le premier
postulat découle alors naturellement de cette hypothèse comme nous allons le montrer
maintenant. Considérons un système isolé et soit P i la probabilité d’occuper le microétat i. L’entropie de ce système est définie par :
S = −k
i∈M
P i Log P i
(20)
c
Dunod. La photocopie non autorisée est un délit.