© Dunod – La photocopie non autorisée est un délit
SOLUTIONS
Solutions
d’où l’on déduit
x∈E
f (NP([X = x])) 0.
c. On remarque que si P([X = x]) = 0, on
f (NP([X = x])) = −NP([X = x]) ln (NP([X = x]))
= −NP([X = x]) ln N − NP([X = x]) ln (P([X = x]))
= f (N)P([X = x]) + Nf (P([X = x])) .
On remarque que cette égalité reste vérifiée si P([X = x]) = 0. On en déduit que
x∈E
f (NP([X = x])) = f (N)
x∈E
P([X = x]) + N
x∈E
f (P([X = x]))
= f (N) + NH(X).
De l’inégalité de la question précédente, on déduit H(X) −
f (N)
N
, c’est-à-dire
H(X) ln N.
3. a. On a vu que pour tout X, H(X) 0. La valeur minimale est 0. On sait que si
X est constante, on a H(X) = 0. Si X n’est pas constante, il existe a ∈ E tel que
P([X = a]) ∈ ]0, 1[. On a alors f (P([X = a])) > 0 et comme f (P([X = x])) 0 si
x = a, on a a fortiori H(X) > 0.
On conclut : l’entropie H(X) est minimale (c’est-à-dire nulle) si et seulement X est
une variable constante.
b. On vu que H(X) ln N et que H(X) = ln N si X est uniforme. Supposons réciproquement que H(X) = ln N. D’après les questions 2.(b) et (c), cela équivaut à
x∈E
f (NP([X = x])) = 0, c’est-à-dire à
x∈E
f (NP([X = x])) =
x∈E
(1 − NP([X = x]))
ou encore à
x∈E
(f (NP([X = x])) − 1 + NP([X = x])) = 0.
On a, pour tout x ∈ E, f (NP([X = x])) − 1 = NP([X = x]) 0. Cette somme de
termes négatifs est donc nulle si chaque terme est nul. D’après 2.(a) cela équivaut (cas
d’égalité) à NP([X = x] = 1 et donc à P([X = x]) =
1
N
, pour tout x ∈ E : X suit une
loi uniforme.
On conclut : l’entropie est maximale (c’est-à-dire égale à ln N) si et seulement si X suit
une loi uniforme.
7.
1. Au cours du premier échange, on prend un jeton numéroté 0 dans la boîte A et
un jeton numéroté 1 dans la boîte. À l’issue de cette opération, il y un jeton 0 et un jeton
1 dans chaque boîte, donc X 1 est la variable certaine égale à 1.
521