Je souligne dans La folie des imbéciles que la science est naturellement autocorrectrice – elle exige que les expériences, la collecte de données et les modes d'analyse soient pleinement explicites, pour être reproduits et ainsi vérifiés ou falsifiés – mais où les humains ou le comportement social sont impliqués , la tentation d'un progrès rapide et illégitime est accélérée par l'importance apparente des résultats et la difficulté de vérifier leur véracité. Récemment, des cas de fraude délibérée ont été découverts dans l'étude de la cognition des primates (Harvard), des bienfaits du resvératrol pour la santé (U Conn) et de nombreuses découvertes en psychologie sociale (Tilburg U, Pays-Bas). Je vais consacrer quelques blogs plus tard à d'autres aspects de la fraude dans la science mais commencerai ici avec une analyse très intelligente de la fraude statistique et le manque de partage de données dans les articles de psychologie publiés aux États-Unis. Ceci et d'autres travaux apparentés suggèrent que le problème de la fraude dans la science est beaucoup plus large que les quelques cas de fraude délibérée à grande échelle pourraient suggérer.
Wicherts et ses co-auteurs ont utilisé une caractéristique peu remarquée de tous les articles publiés dans les plus de 50 revues de l'American Psychological Association (APA) – les auteurs de ces articles s'engagent par contrat à partager leurs données brutes avec quiconque le demande , afin de tenter la réplication. Pourtant, des travaux antérieurs de ce même groupe ont montré que pour 141 articles publiés dans quatre revues spécialisées de l'APA, 73% des scientifiques ne partageaient pas les données lorsqu'on leur a demandé de le faire. Puisque, comme ils le soulignent, les erreurs statistiques sont étonnamment fréquentes et que les comptes rendus des résultats statistiques sont parfois inexacts et que les scientifiques sont souvent motivés à prendre des décisions pendant l'analyse statistique, ils sont curieux de voir s'il y a eu tout lien entre l'omission de rapporter des données et la preuve d'un biais statistique.
Voici où ils ont obtenu un résultat dramatique. Ils ont limité leurs recherches à deux des quatre revues dont les scientifiques étaient légèrement plus susceptibles de partager des données et dont la plupart des études étaient semblables à celles d'un plan expérimental. Cela leur a donné 49 papiers. Encore une fois, la majorité n'a pas partagé de données, se comportant plutôt comme une parodie d'universitaires. Parmi les personnes interrogées, 27% n'ont pas répondu à la demande (ou deux rappels de suivi) – d'abord, et mieux, ligne de légitime défense, silence total – 25% ont promis de partager les données mais ne l'ont pas fait après six ans et 6% ont affirmé que les données avaient été perdues ou qu'il n'y avait pas eu le temps d'écrire un livre de codes. En bref, 67 pour cent des scientifiques (présumés) ont évité la première exigence de la science – tout explicite et disponible pour l'inspection par d'autres.
Y a-t-il eu un parti pris dans toute cette non-conformité? Bien sûr qu'il y avait. Les personnes dont les résultats étaient plus proches du seuil mortel de p = 0,05 étaient moins susceptibles de partager leurs données. Main dans la main, ils étaient plus susceptibles de commettre des erreurs statistiques élémentaires en leur faveur. Par exemple, pour les sept articles pour lesquels les statistiques correctement calculées ont rendu les résultats non significatifs (10 erreurs au total), aucun des auteurs n'a partagé les données. Ceci est cohérent avec les données antérieures montrant qu'il a fallu beaucoup plus de temps aux auteurs pour répondre aux requêtes lorsque l'incohérence dans leurs résultats rapportés affectait l'importance des résultats (où les réponses sans partage de données!). Sur un total de 1148 tests statistiques dans les 49 articles, 4% étaient incorrects en se basant uniquement sur les statistiques sommaires des scientifiques et 96% de ces erreurs étaient en faveur des scientifiques. Les auteurs diraient que leurs résultats méritaient un «test unilatéral» (plus facile à réaliser), mais ils avaient déjà mis en place un test unilatéral, de sorte qu'ils l'ont divisé par deux, ils ont créé un «test unilatéral». Ou ils ont effectué un test unilatéral sans le mentionner, même si un test bilatéral était approprié. Etc. Un travail séparé montre que seulement un tiers des psychologues déclarent avoir archivé leurs données – le reste rend la réanalyse impossible presque dès le début! (J'ai 44 ans de données de lézard «archivées» – soyez mon invité.) Il est probable que des pratiques similaires soient associées à la réticence généralisée à partager des données dans d'autres «sciences», de la sociologie à la médecine. Bien entendu, cette malfaisance statistique n'est vraisemblablement que la pointe de l'iceberg, car dans les données et analyses non divulguées, on s'attend à encore plus d'erreurs.
La profondeur du problème a été magnifiquement révélée dans un article récent de Simmons et co-auteurs. Le message «ramener à la maison» fait partie (en partie) du titre: «La flexibilité non divulguée dans la collecte et l'analyse de données permet de présenter quelque chose d'aussi significatif». Et ils signifient n'importe quoi. Dans une étude de faux ils ont couru sur de vrais sujets, ils ont réussi à prouver que l'écoute d'un type de musique a changé sa date de naissance par rapport à l'écoute d'un autre. Comment ont-ils atteint ce résultat étonnant – et très important! En introduisant l'âge du père de chaque sujet comme une variable fictive destinée à «contrôler la variation de l'âge de référence entre les participants». Probablement le stratagème le plus commun et efficace est de continuer à recueillir des données jusqu'à ce qu'un résultat soit significatif, puis arrêtez. Les auteurs ont un grand nombre de «degrés de liberté» en matière d'analyse et de présentation des données, qui leur donnent amplement l'occasion de ne pas «masser» leurs données, comme le disent les scientifiques, mais de créer la vérité par hasard.
Il y a donc de bonnes nouvelles et de mauvaises nouvelles. Le mauvais est qu'il y a une grande latitude pour une tromperie statistiquement significative et beaucoup de motivation pour produire, et ensuite cacher. Cela peut fonctionner à divers degrés de conscience. En même temps, la science se corrige d'elle-même, les études citées ci-dessus étant de bons exemples. Avoir une science de la vérité – en particulier en ce qui concerne la vie sociale humaine – exige une science des contrevérités, y compris de nouvelles méthodes pour les exposer.
Wicherts, JM, Bakker, M et Mlenar, D. 2011. Volonté de partager des données de recherche est releated à la force de la preuve et la qualité de la déclaration des résultats statistiques. PLoS One: 6: 1-7.
Simmons, JP, Nelson, LD et Simonsohn, U. 2011. Psychologie faussement positive: La flexibilité non divulguée dans la collecte et l'analyse de données permet de présenter quelque chose d'aussi significatif. Psychological Science 22: 1359-1366.
