6. Principe d’un test statistique
87
contexte, la valeur p peut être définie comme « la probabilité que le hasard de
l’échantillonnage puisse produire des données aussi éloignées (ou encore plus
éloignées) de l’hypothèse nulle que le sont les données de notre échantillon, si
l’hypothèse nulle était vraie ». Dans l’exemple des Onobrychis, on aura par
exemple p = 0.0000000000000002, de sorte qu’il serait extrêmement rare d’observer des données aussi éloignées de l’hypothèse nulle si celle-ci était vraie, les
données contredisant ainsi fortement l’hypothèse nulle
3 .
Plus la valeur p est petite,
plus l’hypothèse nulle est contredite par les données.
La convention veut donc que l’on parle de résultat significatif si on a p ≤
0.05. On peut ainsi résumer la situation comme suit :
• une différence significative (entre les données et l’hypothèse nulle) est
une différence que le hasard de l’échantillonnage ne pourrait que rarement
produire
→ les données sont incompatibles avec H 0
→ on a une preuve statistique contre H 0 (on rejette H 0 )
→ notons qu’il s’agit « seulement » d’une preuve statistique contre H 0 ,
non d’une preuve mathématique (bien que contrôlée à 5 %, on pourrait
quand même commettre une erreur de première espèce ; sauf dans des
cas très spéciaux, on ne pourra pas totalement exclure la possibilité que
le hasard soit responsable de quelque chose ; on n’aura pas de valeur p
exactement nulle)
• une différence non significative (entre les données et l’hypothèse nulle)
est une différence que le hasard de l’échantillonnage pourrait produire
→ les données sont compatibles avec H 0
→ on n’a pas de preuve statistique contre H 0 (on ne rejette pas H 0 )
→ attention, on n’a pas pour autant de preuve statistique pour H 0 (on
pourrait commettre une erreur de seconde espèce, qui n’est pas contrôlée).
3 Le concept de valeur p, introduit vers 1925 par le fameux statisticien R.A. Fisher, est l’un
des plus difficiles et des plus incompris de la statistique. Certaines interprétations courantes de
la valeur p sont erronées. En particulier, la valeur p n’est pas « la probabilité que l’hypothèse
nulle soit vraie ». Une telle probabilité serait du reste difficile à définir dans notre contexte
où nous définissons une probabilité comme une proportion, à savoir un numérateur divisé par
un dénominateur. Or, quel serait le dénominateur d’une telle probabilité ? On n’a en principe
qu’une seule hypothèse nulle (et il est difficile de s’imaginer « répéter » une hypothèse nulle).
De fait, une hypothèse nulle sera soit vraie soit fausse et il n’y aura pas de sens ici de
parler de la probabilité qu’elle soit vraie ou qu’elle soit fausse (il faudrait pour cela adopter
une approche bayésienne de la statistique). La valeur p n’est donc pas la probabilité que
l’hypothèse nulle soit vraie, mais la probabilité d’observer des données aussi éloignées (ou
plus éloignées) de l’hypothèse nulle que les nôtres si l’hypothèse nulle était vraie.
87
contexte, la valeur p peut être définie comme « la probabilité que le hasard de
l’échantillonnage puisse produire des données aussi éloignées (ou encore plus
éloignées) de l’hypothèse nulle que le sont les données de notre échantillon, si
l’hypothèse nulle était vraie ». Dans l’exemple des Onobrychis, on aura par
exemple p = 0.0000000000000002, de sorte qu’il serait extrêmement rare d’observer des données aussi éloignées de l’hypothèse nulle si celle-ci était vraie, les
données contredisant ainsi fortement l’hypothèse nulle
3 .
Plus la valeur p est petite,
plus l’hypothèse nulle est contredite par les données.
La convention veut donc que l’on parle de résultat significatif si on a p ≤
0.05. On peut ainsi résumer la situation comme suit :
• une différence significative (entre les données et l’hypothèse nulle) est
une différence que le hasard de l’échantillonnage ne pourrait que rarement
produire
→ les données sont incompatibles avec H 0
→ on a une preuve statistique contre H 0 (on rejette H 0 )
→ notons qu’il s’agit « seulement » d’une preuve statistique contre H 0 ,
non d’une preuve mathématique (bien que contrôlée à 5 %, on pourrait
quand même commettre une erreur de première espèce ; sauf dans des
cas très spéciaux, on ne pourra pas totalement exclure la possibilité que
le hasard soit responsable de quelque chose ; on n’aura pas de valeur p
exactement nulle)
• une différence non significative (entre les données et l’hypothèse nulle)
est une différence que le hasard de l’échantillonnage pourrait produire
→ les données sont compatibles avec H 0
→ on n’a pas de preuve statistique contre H 0 (on ne rejette pas H 0 )
→ attention, on n’a pas pour autant de preuve statistique pour H 0 (on
pourrait commettre une erreur de seconde espèce, qui n’est pas contrôlée).
3 Le concept de valeur p, introduit vers 1925 par le fameux statisticien R.A. Fisher, est l’un
des plus difficiles et des plus incompris de la statistique. Certaines interprétations courantes de
la valeur p sont erronées. En particulier, la valeur p n’est pas « la probabilité que l’hypothèse
nulle soit vraie ». Une telle probabilité serait du reste difficile à définir dans notre contexte
où nous définissons une probabilité comme une proportion, à savoir un numérateur divisé par
un dénominateur. Or, quel serait le dénominateur d’une telle probabilité ? On n’a en principe
qu’une seule hypothèse nulle (et il est difficile de s’imaginer « répéter » une hypothèse nulle).
De fait, une hypothèse nulle sera soit vraie soit fausse et il n’y aura pas de sens ici de
parler de la probabilité qu’elle soit vraie ou qu’elle soit fausse (il faudrait pour cela adopter
une approche bayésienne de la statistique). La valeur p n’est donc pas la probabilité que
l’hypothèse nulle soit vraie, mais la probabilité d’observer des données aussi éloignées (ou
plus éloignées) de l’hypothèse nulle que les nôtres si l’hypothèse nulle était vraie.