Plus des deux tiers des résultats psychologiques résistent dans les meilleurs journaux

Les études dans les principaux magasins ne sont pas exemptes de préoccupations en matière de reproductibilité.

Source: VikiVector / Shutterstock

Une équipe de scientifiques qui ont cherché à répéter 21 résultats de psychologie expérimentale publiés dans des revues renommées, Science and Nature, ont été en mesure de reproduire 13 d’entre eux.

La psychologie s’est lancée dans un mouvement de reconnaissance et de réforme des pratiques problématiques qui conduisent à des résultats peu fiables. Même les revues les plus réputées ne sont pas à l’abri de ces obstacles, démontrant ainsi l’importance de continuer à mettre en œuvre des politiques qui rendent les nouvelles découvertes scientifiques plus fiables.

• Comment pouvons-nous identifier les experts?
• C’était un moment
• 5 façons créatives de placer votre santé mentale au-dessus de votre travail
• Quand l’alimentation et l’exercice peuvent-ils être malsains?
• Pourquoi je suis un éveillé en sciences psychologiques

«Nous allons tous nous efforcer d’obtenir ce résultat contre-intuitif et surprenant. Ce n’est pas une mauvaise chose en science, car c’est ainsi que la science dépasse les frontières », a déclaré Brian Nosek, auteur principal de l’étude et professeur de psychologie à l’Université de Virginie. «La clé, c’est de reconnaître et d’accepter l’incertitude liée à cela, et si certains se trompent, ce n’est pas grave.» Ce que le dernier test montre, a-t-il expliqué lors d’une conférence Web la semaine dernière, «c’est que nous pouvons être beaucoup plus efficaces. identifier de fausses pistes plutôt que de les faire persévérer, car nous n’avons jamais pris la peine de les reproduire. ”

Une équipe internationale de scientifiques a examiné tous les articles de sciences sociales publiés dans Science and Nature entre 2010 et 2015. Ils prévoyaient de reproduire un sous-ensemble d’études comprenant une intervention expérimentale, un résultat significatif et un groupe de participants.

L’équipe a recréé le plan expérimental aussi étroitement que possible et a travaillé avec les auteurs originaux. Ils ont également enregistré le protocole d’étude, la conception et l’analyse sur l’Open Science Framework, un système conçu pour accroître la fiabilité et la transparence des sciences. Ils ont mené chaque étude avec cinq fois plus de personnes que l’originale, de sorte que l’enquête serait particulièrement sensible à la détection d’un effet expérimental.

• Histoires de changement de carrière
• Voulez-vous que vos employés se sentent valorisés?
• Mes 34 meilleures idées
• Sachia Vickery de l’US Open Tennis est «Diggin ‘Deep».
• Et si nous faisions un Humanzee? (Ou Chimphuman?)

L’équipe a reproduit avec succès 13 des résultats de l’étude, soit 62%. Les huit études restantes n’ont pas réussi à se reproduire. Les initiatives de réplication antérieures ont donné toute une gamme de résultats, et l’équipe estime que le taux de reproductibilité de la psychologie se situe actuellement entre 35 et 75%. Les scientifiques ont également découvert que la force des effets expérimentaux était environ la moitié de celle des études originales. Les résultats ont été publiés aujourd’hui dans la revue Nature Human Behavior.

De nombreux éléments ont contribué aux problèmes de réplication. Les scientifiques ont généralement une certaine souplesse dans la manière dont ils analysent les données expérimentales et, en essayant différentes approches, ils peuvent, consciemment ou inconsciemment, inciter les résultats à atteindre le seuil de signification statistique. Les chercheurs peuvent également modifier une hypothèse après avoir pris connaissance des résultats, ce qui a pour effet d’incorporer tous les résultats significatifs trouvés dans un récit convaincant. Ils ne sont pas obligés de mettre leurs données à disposition, ce qui peut conduire à des comportements douteux. Le plus important peut-être, c’est que les scientifiques et les éditeurs de revues sont incités à publier autant de résultats novateurs et voyants que possible, plutôt que de reproduire les résultats précédents pour assurer leur fiabilité.

Ces éléments conduisent à de nouveaux résultats et à des effets importants signalés à un taux trompeur élevé. Ceci est illustré par le fait que la taille moyenne des effets était deux fois plus grande dans les études répétées qu’elle ne l’était à l’origine. «C’est un thème récurrent dans la réplication», a déclaré Sanjay Srivastava, professeur de psychologie à l’Université de l’Oregon, qui n’a pas participé à la recherche. «Si les études dépassent parfois et parfois insuffisamment, il devrait alors être 50/50. Mais ce n’est pas du tout le cas. ”

L’équipe a également mis au point une expérience visant à déterminer si les psychologues pouvaient détecter des résultats solides et rigoureux. Un groupe de 200 chercheurs parie sur les études qui résisteraient ou non à un examen approfondi. La probabilité qu’une étude se réplique prédit correctement les résultats pour 18 des 21 études.

«En tant que communauté, nous ne sommes pas totalement perplexes quant à ce qui va être reproduit», a déclaré Will Gervais, professeur agrégé de psychologie à l’Université du Kentucky, lors de la conférence Web. «Vous pourriez éventuellement former des examinateurs à surveiller les tendances observées par les gens. J’espère que nous pourrons ainsi éliminer certains de ces faux positifs avant qu’ils ne polluent la littérature. ”

Gervais est l’auteur d’une des études qui n’a pas réussi à se reproduire. L’article, publié dans Science en 2012, montrait que la pensée analytique supprimait la croyance en la religion. À l’époque, les préoccupations concernant le renforcement de la crédibilité n’avaient pas encore envahi le terrain. Maintenant, il reconnaît que l’expérience était assez faible et n’a pas résisté, ainsi que d’autres idées tout au long de sa carrière.

«Notre étude, a posteriori, était complètement ridicule. Il s’agissait d’un très petit [nombre de participants] et à peine significatif – une sorte de parité pour le cours avant que nous ne commencions à prendre au sérieux la reproductibilité », a déclaré Gervais. «L’un des meilleurs atouts de l’ensemble du mouvement de la réplicabilité est qu’il incite les réviseurs et les rédacteurs à faire preuve de plus de discernement à propos de ce que nous devrions publier et approuver dès le départ.

Le domaine a beaucoup progressé dans le renforcement de la crédibilité des nouvelles recherches. Les solutions incluent des tests d’expérimentation sur un plus grand nombre de personnes, la création d’un seuil de signification statistique plus strict, la mise à disposition publique des données, la poursuite des efforts de réplication et la préenregistrement public du plan d’une étude avant de la mener, ce qui limite le type de flexibilité du chercheur qui conduit à de faux positifs. L’Open Science Framework a été créé en 2012 et comprend désormais les inscriptions de plus de 20 000 études, selon Nosek, directeur exécutif du Center for Open Science. Le taux a doublé chaque année depuis sa création.

«Cette étude est une très bonne motivation pour continuer à inciter les journaux à mettre à jour leurs politiques et à modifier les incitations afin que les scientifiques soient récompensés pour davantage de ces pratiques», a déclaré Srivastava. «C’est comme si tu poussais ta voiture quand elle est en panne. La voiture roule, mais vous devez continuer à avancer, sinon elle va s’arrêter. ”