Crise de réplication?

Comme beaucoup d'entre vous le savent peut-être, un récent effort de collaboration a tenté de reproduire 100 études qui ont été publiées dans des revues de psychologie de premier plan. Selon le critère utilisé, seulement environ 40% des études ont été répliquées.

Il y a eu beaucoup d'universitaires et de journalistes qui ont commenté ces résultats et leurs implications pour la psychologie en tant que science. Beaucoup de suggestions ont été faites qui sont des étapes vraiment positives (par exemple, en utilisant des échantillons plus grands, et plus de rapports ouverts et complets de données, de conception expérimentale et d'échantillons). Mais je veux mettre l'accent sur un facteur qui ne semble pas avoir beaucoup d'airplay en expliquant pourquoi ces effets ne se répliquent pas plus facilement – la complexité de la psychologie humaine.

Complexité et débat sur la réplication

Imaginez votre comportement, ou toute croyance que vous avez, ou toute émotion que vous ressentez. Imaginez les causes de l'une de ces émotions, croyances ou comportements. Maintenant faites la même chose, mais étendez cette quête aux gens autour de vous, puis aux gens de votre pays. Puis étendez cela au monde entier. Faites-le maintenant lorsque les gens sont en groupe plutôt que par eux-mêmes. Ok, imaginez maintenant essayer de prédire ces différents aspects des autres alors que le monde en dehors du laboratoire change constamment et a un impact sur les gens. Je suppose que vous pourriez facilement trouver un large éventail de facteurs qui peuvent influencer n'importe quel exemple spécifique de comportement, de pensée ou de sentiment humain.

Pourtant, dans l'ensemble, les psychologues ont tenté de conclure dans des expériences que 1 ou 2 variables peuvent prédire l'émotion humaine, la cognition et le comportement. Pour rendre les choses plus problématiques, la plupart de ces études sont faites à l'aide d'étudiants, presque entièrement d'Europe centrale et orientale, d'Amérique du Nord (Canada et États-Unis) ou d'Australie. Il a longtemps été une grossière simplification d'un être complexe (l'humain!).

En décrivant ces réplications échouées, il semble y avoir cette mentalité de masse parmi les psychologues que les effets trouvés dans la recherche antérieure devraient se produire de la même manière dans tous les échantillons, indépendamment de ce qui se passe dans le monde extérieur et indépendamment des caractéristiques spécifiques de l'échantillon. Même en utilisant des échantillons universitaires (ce que font la plupart des études) dans des études originales et dans les tentatives de réplication, il est un peu imprévoyant de supposer que chaque échantillon dans tous les États répondra de manière similaire dans une étude de psychologie. Lorsque vous effectuez des tentatives de réplication dans différents pays par rapport à l'étude d'origine, cela est encore plus énigmatique, même en excluant les problèmes de compréhension du langage (qui n'ont pas été évalués dans les tentatives de réplication actuelles).

Nous savons, grâce à la recherche, que l'endroit où vivent les gens prédit une orientation politique, des croyances religieuses et une variété de variables de personnalité. Maintenant, nous savons aussi que de nombreux effets dans les expériences ne se produisent que pour des gens qui, par exemple, sont extravertis, ou politiquement conservateurs, ou qui croient en Dieu. Et nous savons que pour contrer chacun de ces «groupes» (introvertis, politiquement libéraux et athées), non seulement ces effets ne se produisent pas, mais des effets opposés peuvent se produire.

Maintenant, pourquoi cette recherche est ignorée est curieux pour moi alors que nous essayons d'expliquer pourquoi ces études n'ont pas réussi à se reproduire. Si vous supposez que la plupart des effets psychologiques sont modérés (ce qui semble une valeur sûre pour au moins les études de psychologie sociale incluses dans les tentatives de réplication) par de nombreux facteurs, il est bien sûr possible de passer d'un pays à l'autre pays, va faire la différence. Tous les étudiants universitaires ne sont pas les mêmes partout. Et tous les mondes en dehors du laboratoire ne se comportent pas exactement de la même manière. (à travers l'histoire ou la culture).

Si vous prenez un échantillon d'un état conservateur, il est très probable qu'ils vont répondre un peu différemment (si pas opposée) à toute étude qui implique une variable associée à l'orientation politique, et probablement aussi la croyance religieuse étant donné la corrélation de ces deux variables . Et oui, il est vrai qu'il y aura un nombre égal de conservateurs (probablement) dans chaque condition d'une expérience. Mais cela ne signifie pas que l'effet ne sera pas dominé par les conservateurs de l'échantillon. Et si vous avez plus de ces individus, vous aurez plus de chances de reproduire l'effet. (Si vous ne mesurez pas l'orientation politique en tant que variable modératrice dans les analyses statistiques, vous pouvez obtenir un effet principal significatif de la manipulation sur la variable dépendante, mais cela ne signifie pas qu'il n'y a pas de modération). Si l'étude originale ne mesure pas ce modérateur (dans ce cas, l'orientation politique) ou le signale, et suppose simplement un effet principal, alors si une réplication est faite en utilisant un échantillon qui est plus bas sur cette variable modératrice (dans ce cas a personnes plus libérales), l'effet n'est pas susceptible de se reproduire.

En substance, cet échec de la réplication ne montre pas (entièrement) que les effets dans la recherche publiée originale n'existent pas. Ce que cela montre probablement, c'est que les choses sont beaucoup plus complexes que nous ne les imaginons, et les caractéristiques de l'échantillon (et les situations qui se produisent spécifiquement dans le cadre de l'expérience, la zone en dehors du cadre et le monde d'ailleurs). ) vraiment important. Nous le savons à un certain niveau, mais il continue d'être ignoré dans les discussions sur ce projet de réplication. Peut-être est-ce parce que les gens ont un besoin général de structure et de simplicité, ou parce que nous avons besoin d'une compréhension claire et forte des gens pour que nous puissions clairement être étiquetés comme une science. Mais quoi qu'il en soit, il faut vraiment considérer que ce qui est incertain, ce n'est pas seulement l'existence de ces effets, mais aussi notre compréhension des processus psychologiques, et en particulier notre simplification excessive des résultats dans le passé. Dans le désir de comprendre, je pense que nous simplifions grandement.

Je félicite les chercheurs qui ont consacré beaucoup de travail à l'exécution de cet effort de réplication massif. L'immense réaction qu'elle reçoit à l'intérieur et à l'extérieur de la psychologie témoigne de son importance. Il est crucial pour le développement du domaine, et pour le résultat positif ultérieur qu'il peut avoir sur le monde dans son ensemble, de faire de notre mieux pour améliorer un grand nombre de nos pratiques scientifiques. Mais il est peut-être tout aussi important de lutter contre l'urgence de simplifier à l'extrême le monde social et psychologique, ce qui pourrait nuire à la précision que nous recherchons.

Nous vivons dans un monde d'interactions à 4 ou 5 voies, et nous prétendons exister dans un monde d'effets exclusivement exclusifs (ou tout au plus, d'interactions bidirectionnelles).