Illustration de la valeur-p. X désigne la loi de probabilité de la statistique de test et z la valeur calculée de la statistique de test.

Dans un test statistique, la valeur-p (en anglais p-value pour probability value), parfois aussi appelée p-valeur, est la probabilité pour un modèle statistique donné sous l'hypothèse nulle d'obtenir une valeur au moins aussi extrême que celle observée.

L'usage de la valeur-p est courant dans de nombreux domaines de recherche comme la physique, la psychologie, l'économie et les sciences de la vie.

Principe général

La valeur-p est utilisée pour quantifier la significativité statistique d'un résultat dans le cadre d'une hypothèse nulle. L'idée générale est de déterminer si l'hypothèse nulle est ou n'est pas vérifiée car dans le cas où elle le serait, le résultat observé serait fortement improbable. Il s'agit à ce titre d'une extension du principe de preuve par l'absurde.

Un résultat statistiquement significatif est un résultat qui serait improbable si l'hypothèse nulle (qui représente en général la norme) était vérifiée. Il en résulte donc que l'hypothèse nulle ne s'applique pas au résultat observé et donc que le cas étudié diffère de manière notable de la norme et ainsi présente un intérêt particulier.

Moralement, à titre d'exemple, imaginons que l'on connaisse la loi répartissant le poids des individus d'une population en surpoids et qu'on teste un traitement amincissant sur un groupe de personnes. On évalue le poids moyen du groupe après le traitement et on vérifie avec la loi initiale si le résultat est probable ou improbable. S'il est improbable, le traitement est efficace.

En termes statistiques, la valeur-p s'interprète comme la probabilité d'un résultat au moins aussi « extrême » que le résultat observé, « sachant l'hypothèse nulle », ou si l'on reprend la notation de probabilité type en appelant x le résultat observé et H₀ l'hypothèse nulle on peut définir de manière naïve la valeur-p^{[note 1]} :

${\displaystyle p=\mathbb {P} (x|H_{0}).}$

Le résultat d'une valeur-p « improbable » (suivant des conventions à adopter) implique que l'expérience observée ne suit pas l'hypothèse nulle mais ne permet pas stricto sensu de pousser plus loin l'interprétation. La valeur-p ne doit pas être interprétée comme une probabilité sur l'hypothèse nulle et ne correspond pas, en reprenant la notation précédente, à P(H₀|x) contrairement à une interprétation erronée parfois donnée.

Pour un test unilatéral à droite, si X est la variable aléatoire et ${\displaystyle x_{obs}}$ la valeur observée dans les données, alors la p-valeur est : ${\displaystyle p=P(X>x_{obs})}$.

Pour un test unilatéral à gauche, si X est la variable aléatoire et ${\displaystyle x_{obs}}$ la valeur observée dans les données, alors la p-valeur est : ${\displaystyle p=P(X<x_{obs})}$.

Pour un test bilatéral, si X est la variable aléatoire et ${\displaystyle x_{obs}}$ la valeur observée dans les données, alors la p-valeur est : ${\displaystyle p=2\min(P(X<x_{obs}),P(X>x_{obs}))}$. Dans le cas particulier d'une fonction de densité de X paire, on peut simplement écrire ${\displaystyle p=2P(X>|x_{obs}|)}$ comme indiqué dans la figure d'illustration.

Usage

Ce nombre est utilisé en statistiques inférentielles pour conclure sur le résultat d’un test statistique. La procédure généralement employée consiste à comparer la valeur-p à un seuil préalablement défini (traditionnellement 5 %). Si la valeur-p est inférieure à ce seuil, on rejette l'hypothèse nulle en faveur de l’hypothèse alternative et le résultat du test est déclaré « statistiquement significatif »^[1]. Dans le cas contraire, si la valeur-p est supérieure au seuil, on ne rejette pas l’hypothèse nulle et on ne peut rien conclure quant aux hypothèses formulées.

Cette utilisation de la valeur-p est remise en question (voir la section « Critiques »), car elle ne permet pas de répondre à la question à laquelle elle est censée donner une réponse^{[2],[3],[4],[5],[6],[7],[8]}.

Conventions sur la probabilité

Erreur commune

La valeur-p n'est pas la probabilité que l'hypothèse de test soit vraie. La valeur-p indique dans quelle mesure les données sont conformes à l'hypothèse de test et à ses hypothèses (c.-à-d. le modèle statistique sous-jacent)^[14].

Exemples : trucage d'une pièce de monnaie

Supposons un jeu de pile ou face. L'hypothèse nulle H₀ est que la pièce est équilibrée, c'est-à-dire que la probabilité pour un tirage donné d'obtenir un pile est la même que celle d'obtenir un face, à savoir 1/2. Un observateur effectue des tirages expérimentaux pour déterminer si la pièce utilisée est biaisée ou non.

4 'pile' pour 4 tirages Supposons que l'observateur effectue 4 tirages et obtienne 4 résultats pile.

L'observateur effectue le calcul de probabilité de ce résultat. Dans le cas où la pièce est équilibrée (hypothèse H₀), la probabilité d'obtenir 4 pile successifs est égale à 1/2⁴ soit 0,0625 ou 6,25 %. Si l'observateur a retenu le seuil classique de 5 %, alors la conclusion de l'expérience est que la proportion de pile pour l'expérience menée n'est pas significativement supérieure à la proportion attendue et ne permet pas de conclure que la pièce est biaisée dans le cadre retenu. Ce résultat ne permet cependant pas de conclure, inversement, que la pièce n'est pas biaisée.

5 'pile' pour 5 tirages Supposons que l'observateur continue ses tirages et obtienne 5 résultats pile sur 5 tirages.

L'observateur effectue à nouveau le calcul théorique de probabilité si l'hypothèse H₀ était vérifiée. Dans ce contexte, la probabilité d'obtenir 5 pile successifs est égale à 1/2⁵ soit 0,031 25 ou 3,125 %. Si l'observateur a retenu le seuil classique de 5 %, alors la conclusion de l'expérience est que la proportion de pile pour l'expérience menée est significativement supérieure à la proportion attendue et qu'il est probable que l'hypothèse H₀ ne soit pas vérifiée au seuil de significativité de 5 % ; car si H₀ était vérifiée, ce résultat serait improbable (moins de 5 % de chance selon le seuil conventionnel retenu). Ce résultat ne signifie toutefois pas qu'il y a 95 % de chances que la pièce soit biaisée.

17 'pile' pour 36 tirages Supposons que l'observateur recommence des tirages avec une nouvelle pièce et obtienne 17 résultats pile sur 36 tirages.

La démarche est la même que pour les exemples précédents, la différence principale résidant dans le calcul de la probabilité du résultat.

L'expérimentateur va alors lancer n fois la pièce et l'on note X la variable aléatoire associée, qui suit donc une loi binomiale B(n,p). La pièce de monnaie n'est pas faussée si la probabilité d'avoir une face est égale à la probabilité d'avoir un pile, c'est-à-dire l'hypothèse nulle est H₀ : p=1/2 contre l'hypothèse alternative H₁ : p>1/2 (on aurait aussi pu choisir H₁ : p≠1/2 ou H₁ : p< 1/2). Pour cette hypothèse, on peut faire un test sur la proportion d'une loi binomiale. On obtient alors une statistique de test Z qui asymptotiquement suit une loi normale centrée réduite. La valeur-p est la probabilité, pour le modèle que l'on vient de définir et pour l'hypothèse nulle, d'avoir une valeur plus extrême que celle observée (la statistique de test), c'est-à-dire avoir P(Y > z) avec Y une variable normale centrée réduite et z la réalisation de la statistique de test.

Exemple numérique avec l'exemple ci-dessus : supposons que l'on obtienne 17 face (ou succès) sur 36 essais. La réalisation de la statistique de test du test sur la proportion d'une loi binomiale sera alors :

${\displaystyle z={\sqrt {36}}{\frac {{\frac {17}{36}}-{\frac {1}{2}}}{\sqrt {0,5\times (1-0,5)}}}=-0,33}$.

La valeur-p est ${\displaystyle \mathbb {P} (Y>-0,33)=0,63}$ avec Y qui suit une loi normale centrée réduite.

La valeur-p est supérieure à 0,05, donc l'hypothèse nulle n'est pas rejetée.

Critiques

L'utilisation d'une p-valeur pour conclure à la suite d'un test statistique est très fortement remise en cause pour plusieurs raisons. D'abord d'un point de vue formel, la valeur de p désigne la probabilité d'observer un jeu de données sous l'hypothèse H₀ (P(x|H₀)), alors qu'en faisant le test, on cherche à savoir quelle est la probabilité que H₀ soit vraie sachant les données (P(H₀|x)). Or, d'après le théorème de Bayes, P(x|H₀) ≠ P(H₀|x), en l'occurrence puisque :

${\displaystyle \mathbb {P} (x|H_{0})={\frac {\mathbb {P} (H_{0}|x)\mathbb {P} (x)}{\mathbb {P} (H_{0})}}}$

Ainsi David Colquhoun conclut : « Il est conclu que si vous souhaitez maintenir votre taux de fausses découvertes en dessous de 5 %, vous devez utiliser la règle 68-95-99.7 ou une valeur p inférieure à 0,001 »^[5].

Donc la valeur ne devrait jamais être utilisée pour valider une hypothèse à partir de données puisque ce n'est pas ce qui est calculé^[6].

En 2014, David Colquhoun publie un article intitulé « An investigation of the false discovery rate and the misinterpretation of p-values »^[5], qui initie une réflexion sur l'interprétation erronée de la valeur-p au sein de la communauté scientifique. En 2016, la Société américaine de statistique (ASA) émet des recommandations explicites notamment à travers les six principes suivants pour guider l’utilisation et l’interprétation de la valeur-p^[15],[16] :

• la valeur-p peut être utile pour indiquer l’incompatibilité entre les données et un modèle statistique spécifié ;
• la valeur-p ne mesure pas la probabilité que l’hypothèse étudiée soit vraie, ou la probabilité que les données aient été produites par le hasard seul ;
• les conclusions scientifiques ne devraient pas être fondées que sur le fait que la valeur-p se trouve au-delà ou non d’une valeur seuil ;
• afin d’être convenable, l’inférence requiert que les résultats soient rapportés de façon complète et transparente (c’est-à-dire, ne pas rapporter seulement les résultats statistiquement significatifs) ;
• la valeur-p, ou la signification statistique, ne mesurent pas la taille d’un effet ou l’importance d’un résultat ;
• en soi, la valeur-p ne fournit pas une bonne mesure de la preuve concernant un modèle ou hypothèse.

En 2018, un collectif de scientifiques demande de renoncer aux termes « statistiquement significatifs » lors de la publication d'articles dans les revues scientifiques^[17].

En mars 2019, un collectif de scientifiques comprenant 800 signataires publie un article dans la revue Nature au sujet de l'utilisation abusive de la signification statistique dont la mauvaise interprétation peut biaiser les études scientifiques. Il demande « l'arrêt de l'utilisation des valeurs-p de la manière conventionnelle et dichotomique - pour décider si un résultat réfute ou soutient une hypothèse scientifique »^[18].   

Notes et références

Articles connexes

• Test statistique
• Test du χ²