Tout le monde à la fontaine à eau de Twitter parle de pré-enregistrement – l'idée que les scientifiques devraient soumettre leur plan de recherche et le faire approuver avant de recueillir des données.
Il y a deux (ou plus?) Côtés au débat; D'un côté, nous devons arrêter les chercheurs qui déclarent de façon sélective des données qui racontent une bonne histoire et qui, de façon pratique, ne rapportent pas des mesures, ou des études complètes, qui ne le font pas. L'autre dit que la préinscription ne fonctionne tout simplement pas pour certaines formes d'enquête et qu'elle lie les mains des chercheurs qui veulent la liberté de modifier l'étude 2 après avoir regardé les résultats de l'étude 1, etc. Vous pouvez lire les deux côtés ici et ici, et consultez cette version de Storify du débat ici.
L'enregistrement est un cas d'école de réglementation. Il s'agit d'un ensemble de règles visant à empêcher les personnes et / ou les institutions de s'engager dans des pratiques qui les aident mais nuisent à la société. Nous ne voulons pas que les gens «trichent» avec leurs données, nous mettons donc en place des règlements visant à prévenir la tricherie.
Je n'ai aucun problème avec la réglementation. Je réglais la merde de Wall Street et des compagnies pétrolières si j'étais responsable. Mais j'ai quelques préoccupations au sujet de la pré-inscription.
1. Confiance. Réguler les psychologues, c'est comme aller à APS et mettre en place un gros gros signe qui dit «vous ne devez pas faire confiance aux gens».
Peut-être que c'est vrai. Évidemment, certains d'entre nous ne sont vraiment pas digne de confiance, comme l'ont montré les récents scandales. Mais je pense que la plupart d'entre nous sont dignes de confiance. Lorsque nous réfléchissons à la manière de traiter avec les personnes en qui nous avons confiance, nous pouvons peut-être nous en sortir si nous éduquons nos étudiants et nous-mêmes sur les meilleures pratiques scientifiques. À mon avis, c'est l'un des points où la préinscription en vaut la peine. J'aime qu'on me fasse confiance, mais je ferais bien d'abandonner un peu de confiance pour me forcer, ainsi que les autres, à ne pas manipuler les données.
Qu'en est-il des tricheurs auxquels on ne peut vraiment pas faire confiance – l'aide à la préinscription sera-t-elle utile? Bien sûr que non. Il y a deux bonnes façons de le contourner. Tout d'abord, rassemblez vos données et lorsque vous obtenez quelque chose de bien, pré-enregistrer les méthodes, tourner les doigts pendant un moment, il semble que vous collectez des données, puis publier vos belles données. Si une étude produit des résultats tangibles, il ne suffit pas de la préenregistrer. Ou si c'est trop d'effort, prenez l'approche traditionnelle: fausser les données.
2. Les relations adverses produisent des adversaires. Quand vous dites aux gens qu'on ne doit pas leur faire confiance et qu'il y a un nouveau système conçu pour les garder droits, le système devient l'ennemi.
Je dirais qu'en ce moment nous avons une société de scientifiques la plupart du temps honorables et idéalistes qui veulent trouver la vérité et faire la bonne chose. Encore une fois, c'est une question de confiance, mais je détesterais voir les sentiments de responsabilité morale des scientifiques se dégrader parce qu'ils considèrent la réglementation comme responsable plutôt que comme étant eux-mêmes.
Je crains que les étudiants de deuxième et troisième cycles qui se présenteront ne considèrent la préinscription comme un adversaire et une douleur au cou. Il existe des façons de jouer à peu près n'importe quel système, et il serait naïf de penser qu'il n'y aura pas de façons de pré-enregistrer un jeu.
3. La sélectivité est bonne. Je fais beaucoup d'études. Certains ne sont pas géniaux. Peut-être qu'ils étaient des idées stupides pour commencer ou peut-être qu'ils ont des résultats ennuyeux et indéterminés. Si je vais en psychonomie et que je parle aux gens de ces études, pour une raison que je ne peux pas comprendre, ils semblent toujours s'endormir immédiatement.
C'est mauvais pour moi et mes amis, c'est-à-dire pour les auteurs et les lecteurs. Tout d'abord, si je pré-enregistre quelque chose qui finit par être ennuyeux, je dois passer mon temps à le rédiger, et je n'ai pas assez de temps pour écrire les bonnes choses comme c'est maintenant, et encore moins les trucs ennuyeux. Je n'essaie pas de cacher de mauvais résultats, je préfère juste consacrer mon temps à des résultats qui pourraient contribuer à la littérature.
Deuxièmement, il y a déjà beaucoup d'articles à lire; la dernière chose que je veux, c'est que les articles préenregistrés commencent à sortir même si les résultats sont ennuyeux. En outre, j'ai peur que les gens commencent à former une association entre «article préenregistré» et «article avec des résultats ennuyeux». Pas que de bons articles ne seront pas préenregistrés, mais beaucoup d'ennuyeux aussi.
Tout ce qui est à dire, encore une fois, c'est sur la confiance. Si vous croyez en moi, permettez-moi de vous parler de mes meilleures études. Crois que je ne cacherai pas ceux qui réprouvent mes théories, je vais juste cacher les ennuyeux.
Le contre-argument à ce dernier point est bon: que se passe-t-il si je fais 50 études sans rapport et que l'on montre un résultat d'amorçage social fou alors je ne fais que le publier? D'un point de vue scientifique, je suis essentiellement Freddy Kruger. Alors peut-être que la pré-inscription remporte cette partie du débat.
4. Beaucoup de bonnes études ont été faites sans pré-inscription. Si vous interdisez les armes à feu, seuls les hors-la-loi auront des armes à feu, et si vous interdisez les études non préenregistrées, seuls les hors-la-loi feront des études non préenregistrées. En d'autres termes, ne décidons pas tous que les études qui ne sont pas préenregistrées sont mauvaises. Neurocritic a une proposition pour de nouveaux badges de recherche.
5. Red tape. Pour vous préinscrire, vous devez rédiger des études qui pourraient finir par être ennuyeuses, et vous devez les soumettre, et selon la situation, elles doivent être examinées et approuvées avant que vous soyez supposé mener l'étude.
En d'autres termes, si je veux faire une étude, je pourrais faire face au choix suivant:
Arghh. Préinscription prendrait tout le plaisir de la science!
Cela peut paraître infantile, mais soyons honnêtes: vous détestez probablement beaucoup de règles administratives et / ou bureaucratiques que vous considérez comme de simples tracasseries administratives. Vous devez signaler cela à l'administration ou au département; vous devez effacer cela avec l'IRS. Mais beaucoup de ces règles et procédures ont probablement semblé valables quand elles ont été proposées. La pré-inscription finira-t-elle par ressembler à plus de bureaucratie dans un processus de publication déjà lent? Encore une fois, cela dépend de comment cela fonctionne. Mais le danger est définitivement là.
En résumé , je dirais qu'il ne faut pas commencer à déroger à des études qui n'étaient pas encore préenregistrées. Reconnaissons que la préinscription pourrait avoir des conséquences inattendues, notamment une réduction progressive de la confiance et de la responsabilité parmi les scientifiques et une augmentation progressive des tracasseries administratives.
Mais je ne sais pas de quoi je parle. Ma recommandation? Essayons tous de pré-enregistrer et voir comment cela fonctionne.
Suis moi sur Twitter.
