Y a-t-il une crise de réplication en psychologie expérimentale?

Source: wikicommons

Une crise de réplication?

La publication l'année dernière dans Science d'une étude sur la reproductibilité des découvertes en psychologie expérimentale a suscité la consternation dans tous les domaines concernés. Deux cent soixante chercheurs associés à The Open Science Collaboration ont tenté de reproduire les résultats d'une centaine d'articles de revues de premier plan de la psychologie expérimentale, mais n'ont pu obtenir que des réplications non controversées dans trente-neuf pour cent des cas. Ce nombre, bien sûr, est très inférieur au nombre attendu sur la base des normes statistiques conventionnelles pour la recherche publiable.

Ce document ne fait qu'ajouter aux préoccupations croissantes quant à la validité méthodologique d'une grande partie de la recherche scientifique, puisque les taux de rétraction des articles publiés dans les revues ont augmenté dans la plupart des sciences au cours de la dernière décennie. L'inquiétude générale est que la pression sur les scientifiques non seulement pour publier, mais pour publier de nouvelles découvertes surprenantes, incite certains à prendre des raccourcis maintenant et ensuite dans leurs recherches. Les commentateurs ont avancé une variété de propositions sur les pratiques problématiques qui peuvent conduire à une incapacité à reproduire certains résultats, y compris un nombre insuffisant de participants expérimentaux ou présentant une hypothèse formulée sur la base de modèles découverts dans les conclusions après le fait comme si elles étaient l'hypothèse originale à l'étude.

Le contexte est-il important?

• Besoin d'un coup de pouce à la créativité? Essayez cette nouvelle approche multi-volets
• Comment trouver votre prochain employé Super Star
• L'abus de médicaments sur ordonnance et le gardien du médecin
• La neuroscience de la confiance
• Augmentez votre conscience de confiance avec ces intervenants clés

Dans une publication récente du New York Times , Jay Van Bavel, a décrit des recherches que ses collègues et lui-même ont menées pour résoudre ce problème. Elle visait à déterminer si les différences entre les contextes dans lesquels les tentatives de réplications ont été menées, d'une part, et les contextes des cent premières études, d'autre part, ont pu être un facteur critique pour expliquer pourquoi le taux de réplication était si bas. Les contextes dans lesquels les études de réplication-tentative ont été réalisées diffèrent-ils de façon critique des expériences originales de manière à réduire les probabilités d'obtenir des réplications?

Les facteurs contextuels englobent des éléments tels que les différences temporelles, culturelles, géographiques et démographiques. Une étude a-t-elle été réalisée avant la Grande Récession alors que l'autre a été réalisée après? Les participants à une étude étaient-ils chinois mais les participants à la tentative de réplication ont-ils été des Canadiens? La recherche originale a-t-elle eu lieu dans une grande ville, alors que l'étude correspondante a eu lieu dans une petite ville? Les participants à la première étude étaient-ils des étudiants de premier cycle issus d'une université américaine privée d'élite, mais les participants des deuxièmes mères célibataires d'âge moyen sans emploi ont-ils demandé des coupons alimentaires? Le fait n'est pas que n'importe qui peut savoir à l'avance que de telles variables affecteront les résultats des études. C'est seulement que les résultats de certaines études, étant donné le caractère des sujets qu'ils explorent, pourraient sembler plus susceptibles que d'autres d'être influencés par de telles questions contextuelles.

Explorer le rôle du contexte

• La valeur du soutien
• Comment former votre cerveau comme un champion de la mémoire
• "Je sais que ça ne va pas, mais tout le monde fait ça"
• Exercer notre liberté et notre intelligence: Partie 6
• Le délinquant sexuel à côté: pourquoi la réintégration aide-t-elle?

Van Bavel et ses collaborateurs ont enrôlé des codeurs ayant suivi une formation en psychologie expérimentale pour évaluer la sensibilité relative au contexte des cent expériences. Chacun des codeurs lisait les résumés d'une cinquantaine de documents et les évaluait sur une échelle de un à cinq pour déterminer dans quelle mesure les études étaient probablement sensibles au contexte. La coïncidence substantielle des jugements des évaluateurs sur vingt-cinq études choisies au hasard et évaluées par tous les évaluateurs indiquait qu'ils évaluaient les études de la même façon. Van Bavel et ses associés ont calculé les cotes moyennes de la sensibilité au contexte des études et ont mesuré leur corrélation avec les réplications réussies.

Fondamentalement, les études avec les scores de sensibilité au contexte les plus faibles étaient significativement plus susceptibles d'être répliquées avec succès. Les cotes de la sensibilité au contexte des études se sont révélées être un prédicteur influent même après avoir tenu compte d'une variété de facteurs qui ont déjà été reliés dans la littérature de la psychologie expérimentale avec une réplication réussie. La mesure de la sensibilité contextuelle a également permis de prédire les onze études parmi les cent pour lesquelles les enquêteurs avaient exprimé des préoccupations à l'avance au sujet des tentatives de réplication. Face aux soupçons que ces auteurs ont exprimé leurs inquiétudes, car ils ont reconnu les faiblesses de leurs études, une analyse plus poussée a révélé que seule la mesure de la sensibilité au contexte, parmi les diverses caractéristiques de l'étude précédemment associées à la prédiction du succès de la réplication, si un auteur a exprimé de telles préoccupations.

L'essentiel est que, une fois que les chercheurs se sont penchés sur le rôle critique que les variables contextuelles peuvent jouer dans les résultats des expériences psychologiques, les rumeurs sur une crise de réplication en psychologie expérimentale peuvent être quelque peu exagérées.