Statcheck in Canada: What Proportion of CPA Journal Articles Contain Errors in the Reporting of p-Values?

    loading  Checking for direct PDF access through Ovid

Abstract

Using a computer program called “Statcheck,” a 2016 digital survey of several prestigious American and European psychology journals showed that the p values reported in research articles failed to agree with the corresponding test statistics (e.g., F, t, χ2) at surprisingly high rates: Nearly half of all articles contained at least one such error, as did about 10% of all null hypothesis significance tests. We investigated whether this problem was present in Canadian psychology journals and, if so, at what frequency. We discovered similar rates of p value errors in Canadian journals over the past 30 years. However, we also noticed a large number of typographical errors in the electronic versions of the articles. When we hand corrected a sample of our articles, the per-article error rate remained about the same, but the per test rate of errors dropped to 6.3%. We recommend that, in the future, journals include explicit checks of statistics in their editorial processes.

Une enquête numérique de 2016, réalisée au moyen du logiciel Statcheck, de plusieurs revues de psychologie prestigieuses d’Amérique et d’Europe a révélé que les valeurs p rapportées dans les articles de recherches n’équivalaient pas à celles des tests statistiques correspondants (par ex., F, t, _2), dans une proportion surprenante : près de la moitié des articles comportait au moins une telle erreur, ainsi qu’environ 10 % de l’ensemble des tests de signification d’hypothèses nulles. Nous avons cherché à savoir si le problème était le même dans les revues de psychologie au Canada et, dans l’affirmative, son ampleur. Nous avons défini que des taux similaires d’erreurs de la valeur p dans les revues canadiennes au cours des 30 dernières années. Toutefois, nous avons aussi constaté un grand nombre de coquilles dans les versions électroniques des articles. Après avoir corrigé manuellement un échantillon de nos articles, le taux d’erreurs par article est resté à peu près le même, mais le taux d’erreurs par test est tombé à 6, 3%. Nous recommandons que les revues incluent explicitement dans leur processus de révision la vérification des données statistiques.

Related Topics

    loading  Loading Related Articles