Il y a neuf ans, on m’a demandé de commencer à écrire un blog pour Psychology Today. Je l’ai fait pendant environ six mois alors que j’étais père au foyer avec ma fille. Ensuite, je suis retourné au travail à temps plein et les blogs n’ont pas semblé importants. J’écrivais parfois quelque chose, mais à l’anniversaire d’un an, je l’avais abandonné. Il y a quelques semaines, on m’a demandé de redémarrer le blog et j’ai accepté à contrecoeur.
La réticence concerne: 1) J’ai quitté tous les médias sociaux, alors je doute que quiconque lise ceci – je ne ferai certainement pas cette publicité. Et 2) Lorsque j’ai débuté le blog, Psychology Today a déclaré qu’ils me rémunéreraient en fonction du nombre de lecteurs. J’avais des lecteurs et courais les chiffres, et je me suis rendu compte que je devais environ 70 cents. J’ATTENDS TOUJOURS MON CHECK.
J’ai dépassé le n ° 1 parce que certaines des choses que je veux dire dans ce (nouveau) blog sont des choses que je veux juste penser et écrire, donc ce n’est pas grave si quelqu’un le lit, et j’ai écrit le n ° 2 juste pour que je puisse faire référence au gosse de Better Off Dead qui veut ses deux dollars.
Donc, je suis de retour.
Une des choses qui s’est produite entre l’heure et l’heure actuelle est que je suis devenu éditeur. J’ai été nommé rédacteur en chef adjoint pour la psychologie du développement , poste que j’ai occupé au cours des 8 dernières années (j’ai officiellement terminé à la fin de cette année civile, mais je continuerai à traiter tous les documents exceptionnels qui ont reçu des demandes de relecture jusqu’en 2019 ). J’ai été rédacteur en chef adjoint de Frontiers in Developmental Psychology pendant 3 ans et membre du comité de rédaction de American Psychologist pendant quelques années. J’ai également édité un livre sur le développement cognitif dans les musées pour enfants (avec ma merveilleuse co-rédactrice en chef, Jennifer Jipson) et j’écris un nouveau livre maintenant.
Voici ce que j’ai appris, l’édition est difficile. Vous êtes un gardien. Vous passez beaucoup de temps à travailler sur des responsabilités de révision, souvent pour peu de récompense. Une fois, j’ai calculé l’allocation que je recevais de l’APA pour mes tâches de révision en fonction d’une estimation du nombre d’heures de travail; c’était autour du salaire minimum. Vous énervez beaucoup de gens et rarement, les gens sont heureux – même lorsque les papiers sont acceptés, les auteurs ne vous aiment pas généralement parce que vous leur faites réviser leurs textes originaux, parfois plus d’une fois. Et cela ne finit jamais – les manuscrits continuent à arriver. Peu importe le nombre de lettres d’action que j’écris, il semble que les nouveaux manuscrits arrivent au même rythme. Vous sentez toujours qu’il y a un poids qui vous pousse à manipuler le prochain manuscrit – vous êtes en partie responsable de la carrière des autres.
Mais je ne suis pas ici pour me plaindre (enfin, je le suis, mais pas à ce sujet). Ce que je veux vraiment parler, c’est la crise de la réplication. Nous savons tous ce que cela signifie: de nombreuses études psychologiques publiées ne se répliquent pas. De nombreux projets tentent de reproduire des études. Certaines sont plus fondées sur des principes que d’autres et certaines ont plus de sens que d’autres. Certains ne se préoccupent que de ce qui se réplique (et devraient donc être considérés comme de la «science»), tandis que d’autres se préoccupent de savoir pourquoi une étude particulière se réplique ou ne se réplique pas (ce qui est franchement beaucoup plus de nature scientifique). J’ai beaucoup de réflexions à ce sujet, que j’aborderai dans d’autres articles, mais aujourd’hui, je souhaite parler de quelque chose qui, à mon avis, contribue au processus, mais n’est pas mentionné si souvent.
La psychologie – toute science en réalité – est un petit domaine. Nous nous connaissons tous. Et nous sommes surtout amis. En psychologie du développement, il y a des gens que j’aime bien et d’autres que je ne connais pas bien, mais je n’aime pas tant de gens que je n’aime pas vraiment (sauf vous, relecteur 2 du premier article que j’ai présenté à un journal en 1997). , qui a dit que le papier était si mauvais que je ne devrais pas être scientifique – je sais qui vous êtes et je ne vous aime pas). Mais la critique est supposée être neutre. Lorsque j’envoie un manuscrit pour examen, j’essaie vraiment de faire en sorte que les examens soient impartiaux – qu’il n’y ait pas de relations personnelles entre les auteurs et les relecteurs et qu’il n’y ait pas de conflits d’intérêts qui empêcheraient l’objectivité.
Les agences de financement (du moins aux États-Unis et dans plusieurs autres pays) vous demandent de déterminer si vous êtes en conflit d’intérêts avec le demandeur. Vous ne devriez pas examiner une proposition de subvention d’une personne avec qui vous êtes en conflit d’intérêts. C’est partial. Vous ne devriez pas examiner les subventions de votre ancien étudiant diplômé ou de votre ancien mentor, ou des personnes qui ont coécrit avec un auteur récemment – vous aimez ces personnes et pouvez considérer leur travail favorablement. Vous ne devriez pas examiner la subvention de vos amis proches, de vos amants (ou ex-amants), de vos partenaires (ou ex-partenaires) ni de vos collaborateurs. Un responsable de programme chez NSF m’a déjà décrit cela comme un «test de pyjama». En gros, si vous avez vu la personne en pyjama, vous ne devriez pas examiner sa proposition. Au-delà de l’évidence, une façon de penser à cela ressemble à ceci: supposons que vous vous retrouviez dans une ville étrange – si vous pouvez appeler la personne et lui arranger de rester chez elle, vous ne devriez pas revoir sa subvention.
Alors, pourquoi est-ce important? Le guide-style de l’APA en parle longuement: «En général, il ne faut pas relire un manuscrit d’un collègue, d’un collaborateur, d’un ami intime ou d’un étudiant récent. Généralement, l’éditeur d’action ne choisit pas les personnes pour lesquelles il existe un conflit d’intérêts évident. »(Pp. 17-18) Mais je ne connais pas de journal qui demande aux auteurs de révéler leurs conflits d’intérêts. Et pire encore, de nombreuses revues vous encouragent à suggérer des réviseurs potentiels. Qu’est-ce qui empêche quelqu’un de jouer avec le système ici?
En tant qu’éditeur d’action, j’ai souvent vu des auteurs demander à leurs collaborateurs de réviser leurs manuscrits. J’ai vu des auteurs (généralement des professeurs adjoints récents) demander à leurs conseillers de revoir leur manuscrit. J’ai vu des auteurs (généralement des professeurs permanents) demander à leurs étudiants de réviser leurs manuscrits. Habituellement, cela est facile à saisir et vous refusez simplement la demande. Mais parfois ça ne l’est pas. Parfois, un éditeur d’action ne sait pas, et cela passe à travers.
Voici le pire cas que j’ai rencontré: on m’a demandé de modifier un article rédigé par un étudiant diplômé et un mentor. Le mentor était un membre titulaire du corps professoral avec une grande expérience de l’édition. Le manuscrit était suffisamment proche de chez moi pour que je puisse l’évaluer, mais assez loin de ma région pour que je ne connaisse pas beaucoup de chercheurs de ce sous-domaine. J’ai demandé à 5-6 personnes. Certains provenaient de la liste de demandes des auteurs (qui était assez longue), d’autres ont été générés par moi. Après une semaine d’envoi de demandes, je n’ai plus personne.
Alors, je suis retourné, j’ai relu le manuscrit, demandé à quelques personnes de plus. Encore une fois, certains provenaient de la liste de demandes des auteurs et d’autres avaient été générés par moi. La personne que j’ai demandée dans la liste de demande des auteurs était un postdoc. Je ne connaissais pas le postdoc, mais j’avais déjà demandé au mentor du postdoc (qui avait dit non), alors j’ai pensé que tout irait bien. Le postdoctoriste a dit oui (à l’instar de quelques autres personnes, de sorte que j’avais maintenant beaucoup de critiques).
J’ai attendu et les critiques sont arrivées. Deux rejets, un examen pessimiste et une nouvelle soumission, et une acceptation. L’acceptation était du postdoc. Ma propre opinion était plutôt négative, alors j’ai commencé à écrire une lettre de rejet. Mais la critique élogieuse me tenait vraiment à cœur – avais-je oublié quelque chose? Cette personne savait-elle quelque chose que les autres ignoraient? Cette personne a-t-elle publié davantage dans ce domaine? J’ai donc consulté le CV du postdoc.
OK, le temps de divulgation complet. J’aurais dû le faire avant de demander le postdoc. J’aurais dû lire le CV attentivement. Ceci est mon erreur
Il s’avère que le postdoctorant était un diplômé récent du même programme d’études supérieures. Et après un peu de fouille, j’ai découvert que le postdoc et l’auteur des études supérieures étaient des amis proches. L’auteur principal du document était au doctorat. comité du postdoc.
J’ai écrit une lettre de rejet. L’auteur principal a alors fait appel. Des appels sont lancés dans les publications – cela m’est arrivé environ tous les 18 mois – une personne qui a été rejetée demande la possibilité de soumettre une nouvelle demande. Je suis généralement heureux de dire oui à ces demandes. C’était la première fois que je refusais un appel.
Il y a deux solutions évidentes ici. Le premier est de ne pas permettre aux auteurs de suggérer des relecteurs. La seconde est que tous les éditeurs d’action ignorent ces suggestions. Le premier pourrait être un trop grand changement pour les gens; la seconde semble duplique. Alors, voici ma solution: si vous êtes un auteur de manuscrit et que vous soumettez ce manuscrit pour publication, vous devez indiquer que vous n’avez aucun conflit d’intérêts avec un relecteur que vous recommandez. De plus, la définition de «conflit d’intérêts» devrait être formulée par la revue. Personnellement, j’aime les définitions de la NSF, mais je reconnais que c’est une question de goût. Les revues (en réalité, les maisons d’édition) peuvent instituer ce correctif à moindre coût.
À propos, ne croyez pas que c’est un problème qui peut être résolu simplement par un accès ouvert. Les revues en accès libre ont exactement le même problème. Les rédacteurs ne connaissent pas souvent les conflits d’intérêts des relecteurs et ceux-ci peuvent savoir qui est l’auteur afin d’identifier le conflit. Cela dit, bien que mes expériences avec la publication en accès libre fassent défaut (ce que je décrirai dans des entrées ultérieures, je le promets), la seule chose qui me plaisait dans mon expérience de rédacteur pour Frontiers était le fait que requis de signer leur nom. C’est une bonne vérification du système pour diverses raisons.
Peut-être que plus de revues devraient en avoir besoin. Ainsi, même si l’éditeur d’action ne peut pas détecter de conflit d’intérêts pendant l’état de révision, il pourrait être détecté une fois le manuscrit accepté et une note rédigée. Dans son merveilleux ouvrage intitulé Developmental Research Methods, Scott Miller fait une distinction entre les biais expérimentaux «non intentionnels» et «intentionnels» – des cas dans lesquels des expériences pourraient affecter intentionnellement ou non les résultats de leurs expériences (voir page 106 de l’édition 2018).
Ce que je suggère ici serait un moyen d’identifier les biais de publication non intentionnels, qui pourraient contribuer à la crise de la réplication. Les auteurs recommandent les examinateurs qui les aiment et non ceux qui vont arbitrer leur science de manière objective. Bien que je n’ai aucune preuve que quelqu’un ait agi de manière contraire à l’éthique dans mon récit, je me demande combien de fois les auteurs suggèrent des personnes qui pourraient ne pas être aussi objectives que possible.
Je signale tout cela pour ne pas dire que la science devrait être abandonnée ou que la crise de la reproduction serait le signe d’un problème plus vaste lié à la psychologie en tant que science. Je le signale plutôt pour indiquer que nous pouvons faire mieux. Mais c’est en cela que consiste la méthode scientifique: déterminer les raisons pour lesquelles nous avons tort afin de nous rapprocher de ce qui est juste. Si l’éthique fait partie de la science, inviter les scientifiques à réfléchir à l’éthique peut aider leur science.
