En statistiques, le résultat d'études qui portent sur des échantillons de population est dit statistiquement significatif lorsqu'il semble exprimer de façon fiable un fait auquel on s'intéresse, par exemple la différence entre 2 groupes ou une corrélation entre 2 données. Dit autrement, il est alors très peu probable que ce résultat apparent soit en fait trompeur s'il n'est pas dû, par exemple, à un échantillon erroné (en), trop petit ou autrement non représentatif (surtout si la population est très diverse). Cette fiabilité se traduit généralement par des valeurs, différences de valeurs, ou rapports entre valeurs, suffisamment élévées ou au contraire faibles.
Techniquement, on évalue cette fiabilité selon une méthode qui suit le raisonnement suivant : On part de l'hypothèse qu'un résultat soit vrai, ce qu'on nomme l'hypothèse nulle. Et on s'accorde une probabilité, c'est-à-dire ici un risque acceptable, de rejeter cette hypothèse nulle alors qu'elle serait en fait vraie. Ce risque d'erreur (noté ) est souvent fixé à 5 %, mais parfois à des valeurs bien plus faibles selon les domaines. Enfin, on calcule ce risque-là sur cette étude en particulier (dit valeur p ou p valeur, de l'anglais p-value), et on dira que l'étude est statistiquement significative si p ≤ α. Récemment, des chercheurs considèrent que les valeurs admises, c'est-à-dire la valeur du sont bien trop élevées notamment dans les domaines études médicales et psychiatriques.
Histoire
Ronald Aylmer Fisher a introduit ce concept en 1925 dans son livre Statistical Methods for Research Workers[1],[2]. Il a suggéré la probabilité de 0,05 comme seuil pour rejeter l'hypothèse nulle.
Limitation
Des recherches récentes montrent qu'un test statistiquement significatif ne correspond à une évidence forte que pour une valeur p de 0,5 % ou même 0,1 %[3].
En 2016, la société américaine de statistique a publié une déclaration affirmant que « l'utilisation généralisée de la " signification statistique " (généralement interprétée comme " p≤0.05 ") comme une licence pour revendiquer une découverte scientifique (ou vérité implicite) entraîne une distorsion considérable du processus scientifique »[4].
Notes et références
- ↑ (en) Ronald Aylmer Fisher, Statistical Methods for Research Workers, (ISBN 0-050-02170-2), p. 43
- ↑ Que veut dire « statistiquement significatif », C. Mélot ?, Revue des Maladies Respiratoires, Vol 20, N° 3-C1, juin 2003. L'idée générale d'utiliser la théorie des probabilités pour distinguer entre le hasard et le dessein est antérieure.
- ↑ Valen E. Johnson, « Revised standards for statistical evidence », Proceedings of the National Academy of Sciences, 2013 DOI 10.1073/pnas.1313476110
- ↑ Ronald L. Wasserstein et Nicole A. Lazar, « The ASA's Statement on p-Values: Context, Process, and Purpose », The American Statistician, vol. 70, no 2, , p. 129–133 (ISSN 0003-1305, DOI 10.1080/00031305.2016.1154108, lire en ligne)
Voir aussi
- Taille d'effet
- Puissance statistique
- Reproductibilité
- Multiple comparisons problem (en)