Un guide rapide de la crise de la réplication en psychologie

L'étude:

Brian Nosek et la collaboration scientifique ouverte:

Nous avons effectué des réplications de 100 études expérimentales et corrélationnelles publiées dans trois revues de psychologie en utilisant des conceptions de haute puissance et des matériaux originaux lorsqu'ils sont disponibles. [Article scientifique ici.]

Les résultats:

• Une réponse aux écrits de Sam Harris sur la vérité morale Pt 1 sur 3
• La révolution psychiatrique est terminée
• Assez avec le réductionnisme de traumatisme!
• Télévision, publicités et votre enfant
• Vous n'êtes pas du tout

1. Seulement 36% des réplications étaient «réussies» (c.-à-d., Les valeurs de p produites <0,05).
2. La taille de l'effet moyen des réplications était d'environ la moitié de celle des études originales.
3. Des résultats plus faibles et plus surprenants étaient moins susceptibles de se reproduire.
4. Les résultats de la psychologie sociale étaient moins de moitié moins susceptibles de se reproduire que les résultats de la psychologie cognitive.
5. Les principaux effets étaient plus susceptibles de se répliquer que les effets d'interaction.

Certaines des constatations qui n'ont pas été reproduites …

• Les gens sont plus susceptibles de tricher après avoir lu un passage les informant que leurs actions sont déterminées et donc qu'ils n'ont pas de libre arbitre.
• Les gens font des jugements moraux moins sévères quand ils viennent de se laver les mains.
• Les femmes en couple sont plus attirées par les hommes célibataires lorsqu'elles ovulent (lorsque les femmes ovulent, c'est-à-dire). [Voir ici, ici.]

Quel est le problème?

Le taux de réplication est inquiétant. L'épidémiologiste John Ioannidis estime qu'environ 50% des résultats publiés sont faux, au moins en médecine – ce résultat est donc pire que ce à quoi il s'attendait.

• Le "Wild Man"
• Passerelles pour les messes
• Candidat présidentiel dit Psych Degree signifie Fast Food Job
• 16 Tweets Thérapeutiques
• Pourquoi est l'aide émotionnelle Divorce si difficile?

Et le taux de réplication réel peut même être inférieur à 36%. Toutes les études ont été prises à partir de trois revues de psychologie de premier plan. Qui sait quel pourrait être le taux de réussite sur le totem, dans les revues de rang inférieur?

Pris à la valeur nominale, l'étude de Nosek suggère que toute conclusion donnée en psychologie est plus susceptible d'être fiction que fait. Si vous étudiez la psychologie, une grande partie de ce que l'on vous enseigne est fausse. Et si vous enseignez la psychologie, vous consacrez potentiellement une grande partie de votre vie à répandre des faussetés. C'est un problème.

Les réponses:

"Un taux de réplication de 36% n'est pas vraiment mauvais."

Sanjay Srivastava:

La science doit impliquer de prendre des risques et repousser les frontières, donc même une science optimale produira des faux positifs. Si 36 pour cent des réplications obtiennent des résultats statistiquement significatifs, il n'est pas du tout clair ce que ce nombre devrait être. [Plus]

Verdict : Pas d'accord.

Premièrement, le taux élevé de faux positifs n'est pas uniquement dû à la prise de risque intellectuel. Cela est également dû à la petite taille des échantillons, au piratage, au phénomène de tiroir de fichiers, au biais de publication et, dans certains cas, à la fabrication pure et simple de données.

De plus, même si aucune de ces choses n'était un problème, le taux de réplication serait toujours inquiétant bas compte tenu du fait que rarement des reproductions sont tentées ou publiées en psychologie . Un taux de réplication de 36% pourrait être acceptable si nous accordions plus d'attention à l'élimination des faux positifs de la littérature – mais nous ne le faisons pas, alors ce n'est pas le cas.

"Ce n'est pas seulement de la psychologie!"

Verdict : D'accord. Certains domaines font mieux que la psychologie, sans aucun doute – mais certains font pire. [Voir, par exemple, ici]

"Ce n'est pas tout de la psychologie. Certaines zones sont pires que d'autres. "

Verdict : D'accord. [Voir, par exemple, ici.]

Vern Quinsey:

J'aime ce projet mais n'aime pas la manière paroissiale dont les résultats sont communiqués. Premièrement, les résultats tendent à être présentés comme s'ils sont représentatifs de la psychologie – ils ne le sont pas. Par exemple, la psychophysique et la mémoire sont sous-représentées. Plus important encore, beaucoup de psychologie n'utilise pas l'expérimentation en laboratoire – les données sont collectées à partir de sources d'archives. Dans certains de ces domaines, les observations importantes ont été reproduites des centaines de fois (pensez à la corrélation entre l'âge et le crime, par exemple). Deuxièmement, les techniques de méta-analyse qui ont été explicitement conçues pour résoudre les problèmes de reproductibilité et qui sont maintenant hautement sophistiquées sont totalement ignorées.

Quelques tweets pertinents:

[Note: "beh génétique" = "comportemental génétique." L'étude à laquelle Brian est lié est ici.]

"Il n'y a pas de crise – la détection et le rejet de fausses découvertes ne sont qu'une partie de la science. La psychologie va très bien.

Lisa Feldman Barrett:

l'échec de la réplication n'est pas une cause d'alarme; en fait, c'est une partie normale du fonctionnement de la science … Supposons que vous ayez deux études bien conçues, soigneusement dirigées, A et B, qui étudient le même phénomène. Ils effectuent ce qui semble être des expériences identiques, et pourtant ils arrivent à des conclusions opposées. L'étude A produit le phénomène prédit, alors que l'étude B ne le fait pas. Nous avons un échec à répliquer.

Cela signifie-t-il que le phénomène en question est nécessairement illusoire? Absolument pas. Si les études étaient bien conçues et exécutées, il est plus probable que le phénomène de l'étude A ne soit vrai que dans certaines conditions. Le travail du scientifique est maintenant de comprendre quelles sont ces conditions, afin de former de nouvelles et meilleures hypothèses à tester. [Plus]

Verdict : Pas d'accord.

Ed Yong:

Pour commencer, comme l'a noté Dorothy Bishop de l'Université d'Oxford sur Twitter, il «soulève [la question] de la gravité de prendre des conclusions qui dépendent si précisément des conditions.» En d'autres termes, si les résultats sont de délicates fleurs fanées seulement floraison sous la garde de certains expérimentateurs, quelle est leur pertinence pour le monde désordonné, bruyant, chaotique en dehors du laboratoire? [Plus]

En plus de cela, les chercheurs ont pris la peine de reproduire les études aussi précisément que possible, ce qui aurait dû éliminer tout effet contextuel significatif.

"OK, les nouvelles ne sont pas géniales. Mais si nous regardons les résultats à travers une lentille bayésienne, ils sont un peu moins sinistres qu'ils ne le paraissent pour la première fois … "

Verdict : D'accord. En adoptant une approche bayésienne, Alex Etz a décrit les résultats de l'étude comme suit:

• Succès de réplication forts: 25%
• Succès de réplication modérés: ≈10%
• Inconclusive: ≈30%
• Échecs de réplication modérés: ≈20%
• Échecs de réplication forts: ≈20% [Plus]

Le dernier mot

Pour être clair, rien de tout cela n'implique que la psychologie soit invalide en tant que science, ou qu'elle soit un domaine de recherche unique et imparfait. Nous faisons des progrès, et cette recherche en fait partie. Nous avons juste à aller plus loin que la plupart d'entre nous pensait!

—————————-

Merci à Robert King, un autre blogueur, pour avoir stimulé la discussion sur ces questions.

Pour plus de la même chose seulement différent, suivez-moi sur Twitter.