La psychologie sévit avec des résultats de recherche inexacts

Le cas d'un psychologue hollandais qui a fabriqué des expériences à partir de tissus entiers pendant au moins une décennie met en lumière les défauts systémiques dans le reportage de la recherche psychologique.

Diederik Stapel, un psychologue bien connu et largement publié aux Pays-Bas, a systématiquement falsifié des données et inventé des expériences entières, selon un comité d'enquête.

Mais selon Benedict Carey du New York Times , le scandale n'est qu'un exemple d'embarras dans «un domaine que les critiques et les statisticiens disent avoir besoin de revoir de fond en comble»:

Au cours des dernières années, les psychologues ont rapporté une série de conclusions sur les préjugés raciaux, l'imagerie cérébrale et même la perception extrasensorielle qui n'ont pas résisté à l'examen ….

• La mort est-elle meilleure qu'une maison de retraite?
• "Les guerres de chat" appelle à tuer des chats en liberté
• Que faire quand votre enfant dit: "Je suis gay!"
• Exagérez-vous des bâtons en minimisant les carottes?
• Guérir une nation

Le Dr Stapel a pu fonctionner pendant si longtemps, a déclaré le comité, dans une large mesure parce qu'il était «seigneur des données», la seule personne qui a vu la preuve expérimentale qui avait été recueillie (ou fabriquée). C'est un problème répandu en psychologie, a déclaré Jelte M. Wicherts, psychologue à l'Université d'Amsterdam. Dans un récent sondage, les deux tiers des psychologues de recherche néerlandais ont déclaré ne pas avoir mis leurs données brutes à la disposition d'autres chercheurs. "Ceci est en violation des règles d'éthique établies dans le domaine", a déclaré le Dr Wicherts.

Leslie John, de Harvard Business School, et deux collègues ont découvert que plus de 2000 psychologues américains devraient être publiés cette année. Environ un tiers a déclaré avoir rapporté une découverte inattendue comme prévu depuis le début, et environ 1% a admis avoir falsifié des données.

Aussi commun est une négligence statistique égoïste. Dans une analyse publiée cette année, le Dr Wicherts et Marjan Bakker, également à l'Université d'Amsterdam, ont recherché un échantillon aléatoire de 281 articles de psychologie pour des erreurs statistiques. Ils ont trouvé qu'environ la moitié des articles dans les revues haut de gamme contenaient des erreurs statistiques, et qu'environ 15% de tous les articles avaient au moins une erreur qui modifiait une conclusion rapportée – presque toujours en opposition à l'hypothèse des auteurs ….

• Les 10 mots de la relation qui ne sont pas traduisibles en anglais
• Prise rapide
• Spinoza et les bouvillons
• Un film dangereux?
• Le plaidoyer pour la justice sociale fait-il brûler les thérapeutes?

Implications médico–légales

Bien que des découvertes inexactes et même fabriquées rendent le domaine de la psychologie ridicule, elles prennent des ramifications potentiellement beaucoup plus graves dans les contextes médico-légaux, où les enjeux peuvent inclure des paiements à six chiffres ou des privations extrêmes de liberté.

Par exemple, les réclamations fondées sur des études de scintigraphie IRMf sont de plus en plus permises dans les tribunaux dans les deux contextes criminel et civil. Pourtant, une analyse de 2009 a révélé qu'environ la moitié de ces études publiées dans des revues scientifiques de premier plan étaient si «sérieusement défectueuses» qu'elles équivalaient à la science vaudou qui «ne devrait pas être cru».

De même, le chercheur Jay Singh et ses collègues ont découvert que les méta-analyses censées montrer l'efficacité des instruments utilisés pour prédire qui seront violents à l'avenir sont confrontés à des problèmes, notamment l'absence de description adéquate des procédures de recherche, l'absence de chevauchement des échantillons ou biais de publication, échec de l'étude de la confusion de l'hétérogénéité de l'échantillon, et utilisation d'une technique statistique problématique, l'aire sous la courbe (AUC), pour mesurer la précision prédictive.

Ce qui me trouble particulièrement, c'est une toute nouvelle étude selon laquelle la volonté des chercheurs de partager leurs données est directement liée à la force de la preuve et à la qualité de la communication des résultats statistiques. (L'analyse est disponible en ligne à partir de la revue PloS ONE.)

J'ai entendu parler de plusieurs chercheurs dans le domaine de l'évaluation des risques des délinquants sexuels qui s'opposent obstinément aux efforts déployés par d'autres chercheurs pour obtenir leurs données à des fins de réanalyse. Comme l'a noté le Dr Wicherts, psychologue à l'Université d'Amsterdam, il s'agit d'une violation des règles d'éthique. Plus important encore, cela nous empêche de croire en la fiabilité et la validité des affirmations de ces chercheurs. Malgré cela, des instruments potentiellement peu fiables – certains d'entre eux ne sont même pas publiés – sont régulièrement introduits devant les tribunaux pour établir la dangerosité future.

Les critiques disent que les problèmes répandus sur le terrain soutiennent fortement le besoin de réformes obligatoires, y compris l'établissement de politiques exigeant que les chercheurs archivent leurs données pour les rendre disponibles pour l'inspection et l'analyse par d'autres. Cette réforme est importante pour la crédibilité de la psychologie en général, mais absolument essentielle en psychologie médico-légale.