Réplication
C'est l'un de ces mots mystérieux que les chercheurs en psychologie et en psychiatrie utilisent régulièrement, mais peu de gens dans le grand public ont entendu parler, et encore moins compris. Pourtant, si je devais compiler une liste de 10 termes que tout profane éduqué s'intéressant à la psychologie devrait savoir, la «réplication» serait haute sur cette liste. Il fait référence à la capacité des chercheurs, idéalement des chercheurs indépendants, à reproduire des résultats antérieurs. La réplication indépendante est particulièrement cruciale, car une équipe d'enquête peut continuer à répéter ses erreurs, ce qui entraîne l'apparition erronée d'une conclusion digne de confiance.
Les réplications en psychologie sont extrêmement importantes, surtout parce que des dizaines de découvertes intéressantes sont des douves. Rappelez-vous la fameuse étude «bloomer» de Rosenthal et Jacobson de 1968 qui montre que les attentes positives artificiellement inductives chez les enseignants peuvent produire des QI plus élevés chez leurs élèves. Beaucoup de gens, y compris de nombreux laïcs éduqués, ont entendu parler de cette découverte, mais peu savent qu'un grand nombre de chercheurs plus récents ont trouvé ces résultats difficiles à reproduire. Les résultats originaux de Rosenthal et Jacobson ne sont ni robustes ni (plus vraisemblablement) de petite ampleur, surtout dans le monde réel où les enseignants ont l'occasion d'interagir de manière intensive avec leurs élèves, ce qui nuit aux attentes des enseignants. Le même problème de réplicabilité s'applique à la médecine; dans un article de 2005, John Ioannides a constaté qu'environ un tiers des résultats des essais cliniques ne tiennent pas dans les études ultérieures.
Mais il y a un problème avec les réplications: ils ne sont pas sexy. Pour beaucoup, les réplications ressemblent à de «vieilles nouvelles». Ainsi, les médias d'information – qui, après tout, rendent compte de ce qui est «nouveau» – les ignorent souvent. Prenons la littérature sur la perception extrasensorielle (ESP), dans laquelle les médias rapportent systématiquement une indication de recherche positive ou même une anecdote de soutien, mais mentionnent à peine les centaines d'échecs de réplications de phénomènes psychiques supposés.
Les réplications ne sont pas non plus sexy pour les éditeurs de journaux. Au début de ma carrière, quand j'étais encore étudiant diplômé, j'ai soumis (avec un co-auteur) un article à une importante revue psychologique qui était essentiellement une réplique et une extension mineure des conclusions antérieures sur les différences symptomatiques entre deux états infantiles imbriqués , trouble déficitaire de l'attention / hyperactivité et trouble oppositionnel avec provocation. Les critiques que nous avons reçues étaient plutôt positives, mais le rédacteur en chef a d'abord refusé de publier le document parce que notre étude était «seulement» une réplique d'une conclusion antérieure (pour donner au rédacteur son dû, il était prêt à être persuadé). en publiant notre article suite à une révision substantielle). Mais dans la plupart des cas, les réplications sont probablement encore plus importantes que les résultats initiaux, parce que tant de résultats initiaux ne tiennent pas dans la recherche ultérieure.
C'est pourquoi un article paru en première page du New York Times le 17 juin m'a fait sourire. Il ne l'a pas fait parce que j'ai fait un investissement intellectuel ou personnel particulier dans la conclusion – je ne sais pas – mais parce que cela marquait l'une des premières fois où je me souviens que l'omission de reproduire une conclusion recevait presque autant de couverture médiatique que la conclusion originale. Cet article, écrit par Ben Carey, journaliste en psychologie du New York Times, rapporte qu'une découverte largement balisée – d'abord rapportée par Avshalom Caspi et ses collègues dans l'article de 2003 dans la prestigieuse revue Science – n'a pas résisté lorsque 14 autres études ont été combinées dans ce que les psychologues appellent une méta-analyse, qui est une technique statistique sophistiquée qui permet aux chercheurs de combiner plusieurs études et de les traiter comme s'il s'agissait d'une grande étude. Plus précisément, en 2003, Caspi et ses collaborateurs avaient découvert qu'une variante de gène spécifique à la sérotonine neurotransmetteur interagissait avec le stress de la vie en augmentant le risque de dépression. Autrement dit, les personnes présentant à la fois la variante du gène et le stress de la vie étaient particulièrement sujettes à la dépression, de sorte que les «effets» des influences génétiques et environnementales étaient multiplicatifs et non additifs.
Pour beaucoup d'observateurs, la conclusion de Caspi était particulièrement attirante parce qu'elle concordait avec les notions populaires – et politiquement correctes – d'interaction entre gène et environnement. Elle est devenue l'une des découvertes les plus largement discutées et les plus citées de la psychologie moderne; à ce jour (28 juin 2009), il a été cité en 1996 dans la littérature scientifique (à titre de comparaison, le nombre modal de citations pour les articles de revues en psychologie est 0 – oui, zéro), et a été largement salué parmi les résultats scientifiques significatifs de la décennie. Pourtant, la nouvelle méta-analyse, dirigée par le généticien Neil Risch et publiée dans le Journal de l'American Medical Association (JAMA), a montré que lorsque les données d'autres études ont été combinées avec les résultats originaux de Caspi, l'effet d'interaction a disparu. http://jama.ama-assn.org/cgi/content/full/301/23/2462
Bien sûr, il est possible que ce verdict négatif puisse lui-même changer au fil du temps avec l'émergence de nouvelles découvertes, et que Caspi et ses collègues finiront par être défendus. La beauté de la science est qu'elle est auto-correctrice sur le long terme, même si elle est souvent désordonnée à court terme. Finalement, la vérité concernant les gènes de la sérotonine, les événements stressants de la vie, et la dépression disparaîtra. Mais avec l'apparition de l'article JAMA, la balle est maintenant dans la cour de Caspi et ses collègues, pas dans la cour de leurs critiques, pour montrer que leur effet d'interaction n'était pas un mirage.
Quelles leçons pouvons-nous tirer de cet épisode? Nous ne devrions pas trop faire confiance à toute découverte de psychologie à moins et jusqu'à ce qu'une équipe d'enquête différente l'ait reproduite. Nous devons également nous rappeler que les médias n'apprécient que rarement l'importance de la réplication, de sorte qu'ils sont susceptibles de diffuser des résultats surprenants avant que d'autres ne les reproduisent. Et les enquêteurs eux-mêmes devraient s'efforcer de contenir leur enthousiasme au sujet de la plupart des découvertes jusqu'à ce que d'autres les aient trouvées fiables. Dans l'intérêt de la divulgation complète, je devrais noter que je peux être coupable d'avoir violé ce précepte. En deux occasions, j'ai publié des résultats d'interactions dans les domaines de la personnalité et de la psychopathologie, et à ma connaissance, personne n'a essayé de les reproduire. Rétrospectivement, j'aurais aimé être plus circonspect pour les rapporter, en partie parce que (pour une foule de raisons statistiques dont je ne vais pas ennuyer les lecteurs) les interactions peuvent être particulièrement improbables à reproduire, et en partie parce que je suis depuis Reconnaître à quel point il est facile de tomber amoureux de ses résultats – surtout lorsqu'ils s'harmonisent avec ses hypothèses.
Enfin, en tant que consommateurs de la littérature psychologique, nous devrions nous souvenir d'une pépite de sagesse que mon sage Ph.D. Le mentor, le regretté David Lykken, aimait bien dispenser: En général, plus une découverte psychologique est intrigante, moins il est probable qu'elle se répète. À quelques exceptions près, David avait probablement raison, car plus une découverte contredirait les connaissances accumulées par une recherche soigneusement menée, plus il y aurait de risques de se tromper. Bien sûr, des découvertes surprenantes s'avèreront parfois vraies, aussi, en interprétant de telles découvertes, nous devons tracer une ligne de démarcation entre un scepticisme excessif et une ouverture d'esprit excessive. Mais si Lykken a raison, la quantité de couverture médiatique qu'une découverte reçoit – ce qui reflète généralement sa contre-intuitivité – peut en réalité être inversement liée à sa fiabilité. Caveat emptor.
