La psychologie est toujours en crise

Il n’est pas encore temps d’arrêter de parler de notre problème de réplication.

Peut-être que le monde s’améliore constamment ou peut-être pensons-nous que c’est le cas. Certes, les scientifiques semblent souscrire à «l’histoire Whig», à savoir que le changement historique implique un progrès inévitable et inexorable. Prenons, par exemple, la manière dont ils parlent de leur travail.

En 1974, un résumé de journal sur 50 utilisait des descripteurs complémentaires pour décrire la recherche. En 2014, un tel éloge était présenté une fois sur six, soit une augmentation de près de 900%. Le terme «innovant» à lui seul était devenu plus commun de 2 500% – sans aucune indication évidente que la recherche décrite était 25 fois plus révolutionnaire. Il semble que les scientifiques aient perçu le calibre de leurs productions s’améliorer progressivement avec chaque année.

Cependant, les décennies entre 1974 et 2014 ont été presque précisément celles au cours desquelles l’inquiétude quant à la qualité de la science publiée a atteint son paroxysme. Les inquiétudes suscitées par un biais de publication irréprochable, un échantillonnage sous-alimenté et de nombreux autres problèmes ont conduit les observateurs à s’interroger sur la qualité des recherches publiées. Plusieurs articles importants ont paru, tels que le classique de John PA Ioannidis, «Pourquoi la plupart des résultats de recherche publiés sont-ils fausses»?

Il semble que plus nous en apprenons sur la faiblesse de nos recherches, plus nous le pensons. Cette habitude cognitive est sûrement troublante. Nous devrions en tenir compte chaque fois que l’on nous dit que les problèmes de réplication de la psychologie sont en cours de résolution. Malheureusement, nous ne pouvons simplement pas souhaiter que ces problèmes disparaissent.

• Comment améliorer votre mémoire en moins de 15 minutes
• Comment éviter de se faire prendre dans un prétendu culte
• Les pères font plus de garde que jamais auparavant
• Le double standard de la honte féminine
• Comment faire en sorte que plus d’étudiants participent aux programmes

* * *

En fait, la science – y compris la science psychologique – pourrait devenir de plus en plus pire, au lieu de mieux en mieux. Lorsque la valeur d’un employé universitaire est comptée dans les subventions et les citations, ce qui est bon pour le chercheur individuel ne l’est pas nécessairement pour sa recherche. L’obsession de la quantité produite a tendance à rendre la rigueur inadaptée et à favoriser la sélection naturelle de la mauvaise science.

Compte tenu de la montée récente de l’intérêt des médias pour la médiocre réplication de la psychologie, il est facile de donner l’impression que notre état de crise est une nouveauté. En fait, notre domaine est aux prises avec plusieurs crises imbriquées depuis des décennies:

• Le moyen unique et le plus puissant de résoudre les conflits de couple
• Elle a dit, il a dit, et le parti pris de la croyance partisane
• Ce que les calendriers de Kavanaugh montrent clairement
• Au-delà de l’optimisme et du pessimisme
• Pourquoi je fais souvent confiance au bon sens par rapport aux données

• fragmentation théorique ( une crise paradigmatique )
• réductionnisme ( une crise de mesure )
• approches négligentes de l’importance et de la taille d’effet ( une crise statistique )
• une tendance à se concentrer sur une infime partie de la population humaine ( une crise d’échantillonnage )
• optimisme prématuré quant aux progrès réalisés par la psychologie, tant en sciences fondamentales que dans la résolution de ses problèmes de reproductibilité ( une crise d’exagération , si vous voulez).

Dans mon nouveau livre sur ce sujet, Psychology in Crisis, je dissèque systématiquement chacune des crises ci-dessus et plusieurs autres.

J’ai beaucoup appris en écrivant Psychology in Crisis. Par exemple, j’ai appris que chaque fois que quelqu’un mentionnera le mot «crise», il y aura des gens qui demanderont «Crisis? Quelle crise? »Il y aura toujours des gens désespérés pour souhaiter la sortie de crise.

En psychologie, les affrontements publics entre les auto-flagellants et leurs collègues teintés de rose ont inévitablement conduit un auteur de gros titres à affirmer que la psychologie est maintenant «en crise pour savoir si elle est ou non en crise», une floraison littéraire qui porte plus qu’un anneau de vérité.

* * *

Dernièrement, les psychologues ont réalisé des progrès significatifs dans le resserrement du domaine, et il est important de le reconnaître. Néanmoins, à mon avis, nous devons absolument éviter de nous laisser bercer par l’optimisme. Nous ne pouvons pas baisser notre garde pour l’instant.

En effet, malgré nos efforts pour améliorer les choses, nous n’avons pratiquement rien fait pour remédier à la force fondamentale qui alimente nos problèmes de réplication – les incitations perverses qui ont cultivé la sélection naturelle de la mauvaise science.

Après tout:

• Les revues continuent de privilégier les résultats statistiquement significatifs par rapport aux effets nuls, encourageant ainsi des pratiques négligées telles que le p- agking et le «HARKing» (émettre des hypothèses après que les résultats sont connus) et perpétuer l’effet de tireur de fichiers. Ils le font parce que cela les rend plus performants. Le marché a besoin d’importance statistique; les journaux nourrissent cette faim pour qu’ils puissent eux-mêmes survivre.
• Les citations (et les index h ) sont toujours utilisés pour évaluer les résultats de chaque chercheur, même si tout le monde sait que de telles mesures ne disent rien de la qualité de la recherche (et ne la promeuvent donc pas) . En fait, les métriques indiquent souvent le contraire de la qualité: de véritables mauvaises études deviennent régulièrement virales. Cette persistance à utiliser les citations comme mesure de la prouesse du chercheur – de la part des comités de titularisation et des organismes subventionnaires, entre autres – encourage le tranchage du salami, l’auto-citation gratuite et d’autres habitudes destructrices qui faussent la recherche.
• En dépit de nombreuses condamnations, les facteurs d’impact de journal demeurent la principale unité de devise par laquelle les journaux sont évalués. Les effets indésirables des FIJ sont très bien documentés. Ils ont incité les rédacteurs en chef à fermer les yeux sur le saucissonnage et le remplissage de citations. Ils encouragent également les éditeurs à conserver des documents «sous presse» ou «en ligne avant impression» pendant des mois (voire des années), troublant davantage l’enregistrement final des résultats de la recherche dans un domaine donné. Une forme concurrentielle de recherche de critères, plutôt qu’une volonté réelle de maximiser la qualité de la science, est ce qui motive les comportements dans cette industrie. Ses crises ne vont pas disparaître de sitôt.
• Plusieurs conventions d’auteur problématiques continuent sans entrave. Beaucoup concernent le chargement gratuit (cession de crédit d’auteur lorsque cela n’est pas justifié). Encore une fois, cela est rendu possible par des conventions arbitraires et l’opportunisme de l’industrie. Par exemple, dans les curriculum vitae standard et les profils personnels (tels que Google Scholar), les métriques relatives aux auteurs individuels ne permettent pas de prendre en compte le fait que la plupart des articles de psychologie sont des efforts d’équipe. Pour un article donné, chaque coauteur est ainsi crédité d’avoir produit une publication complète (au lieu d’une part) et réputé avoir attiré l’ensemble de ses citations (plutôt qu’une partie). Dans tout autre contexte de travail-productivité, la sortie d’une équipe compterait, logiquement, comme une sortie unique. Cela ne compterait jamais comme une sortie multipliée par le nombre de membres de l’équipe . En psychologie, comme ailleurs dans la science, une sorte d’évolutivité infinie entraîne une autonomie considérable des auteurs (les auteurs «honoraires» ou «fantômes» sont toujours une chose), créant une pente glissante vers un mépris généralisé de l’éthique de la recherche. (Considérez: s’il est acceptable d’ignorer les normes éthiques sur la qualité d’auteur, quelles autres normes éthiques convient-il de ne pas tenir compte?) Une telle négligence est l’antithèse même de la rigueur et nourrit de manière pernicieuse la mauvaise science sous toutes ses formes.

* * *

Source: Jesse Orrico / Stocksnap

Le pré-enregistrement des protocoles de recherche aidera sûrement à résoudre le problème des tiroirs de fichiers. Toutefois, dans l’ensemble, l’enregistrement de la recherche reste facultatif et non obligatoire. Les psychologues peuvent facilement poursuivre des programmes de recherche sans se soucier de se pré-inscrire.

En matière de titularisation ou de promotions, peu d’universités (le cas échéant) accordent des points supplémentaires pour la publication d’études pré-enregistrées, par opposition au type traditionnel non enregistré. Ainsi, si les rapports enregistrés sont importants pour une bonne science, les incitations nécessaires pour encourager les scientifiques à les produire restent extrêmement faibles.

Je ne connais pas de statistiques complètes sur le sujet, mais je serais surpris que des recherches préenregistrées représentent même 1% de ce qui sera publié dans les revues de psychologie cette année. Sur une base de zéro il n’y a pas si longtemps, cela représente un progrès. Mais ne nous laissons pas emporter pour célébrer notre nouveau monde audacieux pour l’instant.

* * *

Si nous ne démantelons pas l’architecture des récompenses déformée qui façonne la recherche en psychologie (et dans d’autres sciences), nous continuerons à observer la même dynamique qui, au cours du siècle dernier, nous a conduits à notre désarroi actuel.

Les affirmations selon lesquelles nous avons réglé nos problèmes (ou, plus subtilement, que nous les avons surestimées) sont contre-productives car elles nous incitent à un optimisme injustifié. Ils nous font quitter le lot des yeux.

Au lieu de cela, nous devrions investir des efforts pour garder notre objectif extrêmement net. Ne célébrons pas prématurément la fin de la crise. Ne succombons pas au déni de crise et ne nous enlisons pas pour contester le principe. Essayons d’éviter l’effrondement de la dissonance cognitive, de l’auto-illusion optimiste et du renforcement insignifiant qui a provoqué la crise.

Sinon, nous pourrions nous retrouver dans une sorte de tourmente de plus en plus profonde, une de nos propres créations – dans une crise de savoir si nous sommes en crise ou non.