L'effort de réforme de la science et ses mécontentements

Un essai controversé par un ancien président de l'Association for Psychological Science appelant à la civilité dans les discussions scientifiques a inspiré beaucoup de commentaires d'écrivains scientifiques sur le web. Vous pouvez lire mon synopsis de l'essai ici; vous pouvez lire tout l'essai ici.

Parce que le statu quo en sciences psychologiques comprend des études, des pratiques et des résultats problématiques, et parce que l'essai de Fiske semblait défendre ce statu quo, beaucoup à l'avant-garde de la réforme de la science s'y sont opposés. Pourquoi devriez-vous vous en soucier? La question de la qualité et de la crédibilité de la recherche scientifique n'est-elle pas trop technique pour que le profane intelligent puisse la comprendre? D'abord, pas du tout. La plupart des problèmes en sciences psychologiques sont facilement compréhensibles pour le profane, et quiconque suggère le contraire en tire un rapide (voir le lien ci-dessus). Deuxièmement, la crédibilité de tout ce que vous lisez sur la science psychologique dépend de la qualité de cette science. Si cette qualité est sous-optimale, vous voulez le savoir (au moins si vous êtes le genre de personne qui s'intéresse à la psychologie et préférez les choses qui sont vraies, plutôt qu'un mélange inconnu d'huile de serpent, d'air chaud, de mauvaises pratiques et autopromotion personnelle).

Beaucoup d'auteurs scientifiques ont considéré l'essai de Fiske comme plus qu'un appel à la civilité. Fiske a accusé ceux qui se livraient à des critiques de la science psychologique à l'extérieur des points de contrôle établis par les pairs comme se livrant à des actions hostiles et contraires à l'éthique. En tant que tel, beaucoup l'ont interprété comme une tentative de défendre le statu quo (ce que beaucoup croient être dysfonctionnel) dans la science psychologique et de le protéger des critiques justifiées.

Voici quelques-uns de ce que je crois être les meilleurs, les commentaires les plus tranchants sur l'essai de Fiske et la réforme de la science plus généralement:

• Vous pouvez enseigner à un vieux chien de nouveaux trucs
• Paralysie du sommeil et le surnaturel
• Les risques du flirt en ligne
• Elle a dit, Il a dit, Elle a dit
• Les relations en ligne sont-elles saines pour les jeunes?

TAMLER SOMMERS (VERYBADWIZARDS.COM, EPISODE 99, notez qu'il s'agit d'un podcast, et vous pouvez trouver la citation dans le deuxième segment, qui commence environ 20 minutes):

«Par éthique, elle signifie les choses qui maintiennent le statu quo et l'établissement en place … Du point de vue d'un étranger, cela se lit un peu comme:« Vous, les gens du club, ne doutez pas de nos méthodes, même si elles sont objectivement discutables. Vous devez passer par nous pour faire cela, et nous devons approuver toute critique que vous faites de notre méthodologie et de nos pratiques. "

ANDREW GELMAN (CE QUI EST ARRIVÉ ICI, C'EST LES VENTS QUI ONT CHANGÉ). L'article entier de Gelman est long mais magistral et je vous encourage à lire le tout. Voici quelques extraits:

• Six stratégies simples pour arrêter l'intimidation
• Célébrez la Semaine de l'inadaptation créative en regardant la vidéo
• Gaming le système de santé
• Certains enfants battent vraiment l'autisme, et c'est une bonne nouvelle
• Lignes directrices pour traiter de l'affaire d'un partenaire

"La petite histoire est que Cuddy, Norton et Fiske ont fait un tas d'erreurs de données – ce qui est dommage, mais de telles choses se produisent – et quand les erreurs leur ont été signalées, ils ont refusé de reconsidérer quoi que ce soit. Leur théorie substantive est si ouverte qu'elle peut expliquer à peu près n'importe quel résultat, n'importe quelle interaction dans n'importe quelle direction.

"Et c'est pourquoi les auteurs prétendent que la correction des erreurs" ne change pas le

conclusion de l'article "est à la fois ridicule et trop vrai. C'est ridicule parce que l'une des revendications clés est entièrement basée sur une valeur p statistiquement significative qui n'est plus là. Mais la revendication est vraie parce que la vraie "conclusion de l'article" ne dépend d'aucun de ses détails – tout ce qui importe est qu'il y a quelque chose, quelque part, qui a p <0.05, parce que cela suffit pour rendre publiable Les revendications sur "l'omniprésence et la persistance du stéréotype des personnes âgées" ou tout autre chose qu'ils veulent publier ce jour-là.

Lorsque les auteurs protestent qu'aucune des erreurs ne compte vraiment, cela vous fait réaliser que, dans ces projets, les données importent peu. "

"… elle travaille dans un paradigme mort. Un paradigme qui aurait dû être mort dans les années 1960 quand Meehl écrivait sur tout cela, mais qui dans le sillage de Simonsohn, Button et autres, Nosek et autres, est certainement mort aujourd'hui. C'est le paradigme de la théorie ouverte, de la publication dans les meilleures revues et de la promotion dans la presse populaire et d'affaires, basée sur des résultats «p <0,05» obtenus en utilisant des degrés de liberté de recherche abondants. C'est le paradigme de la théorie qui, selon les mots du sociologue Jeremy Freese, est «plus vampirique qu'empirique – incapable d'être tué par de simples données.

"Fiske exprime des inquiétudes pour les carrières de ses amis, des carrières qui ont pu être endommagées par la diffusion publique de leurs erreurs de recherche. Rappelez-vous que, pour chacune de ces personnes, il se peut qu'il y ait trois autres jeunes chercheurs qui faisaient un travail soigneux et sérieux, mais qui n'ont pas été choisis pour un travail ou une promotion parce qu'il était trop difficile de rivaliser avec d'autres candidats. travail bâclé mais tape-à-l'œil qui a été publié dans Psych Science ou PPNAS. Ça va dans les deux sens. "

"Fiske est agacé par les médias sociaux, et je peux comprendre cela. Elle est assise au sommet des médias traditionnels. Elle peut publier un article dans l'APS Observer et obtenir toute cette discussion sans avoir à passer par l'examen par les pairs; elle a le pouvoir d'approuver des articles pour les Actes prestigieux de l'Académie nationale des sciences; Le travail par elle-même et par ses collègues est présenté dans les journaux nationaux, à la télévision, à la radio, et même dans les pourparlers de Ted, comme j'en ai entendu parler. Les médias top-down sont l'ami de Susan Fiske. Les médias sociaux, cependant, elle n'a aucun contrôle sur. Cela doit être frustrant, et en tant que praticien des médias traditionnels (oui, j'ai moi aussi publié dans des revues savantes), je peux aussi m'énerver lorsque les nouveaux arrivants contournent les canaux traditionnels de publication. Des gens comme Fiske et moi-même passons notre vie professionnelle à accumuler une petite fortune sous la forme de publications et de citations, et il est pénible de voir cette valeur dévaluée ou de penser qu'il existe un autre type de scrip en circulation qui peut acheter des choses l'argent de la vieille école ne peut pas. "

"Laissez-moi conclure avec un désaccord clé que j'ai avec Fiske. Elle préfère les forums modérés où la critique est faite en privé. Je préfère une discussion ouverte. Personnellement, je ne suis pas un fan de Twitter, où la limitation de l'espace semble encourager des échanges rapides, souvent contradictoires. J'aime les blogs et les commentaires de blog, parce que nous avons suffisamment d'espace pour nous expliquer pleinement et pour donner des références complètes à ce dont nous discutons. "

Et puis il y avait ce commentaire tueur sur le post de Gelman et l'essai de Fiske par une personne s'identifiant seulement comme "Plucky" (que j'ai contacté et a reçu la permission de citer au complet):

PLUCKY'S BULLSEYE (La science est une méthode, pas une communauté):

Le problème clé avec Fiske est cette phrase: "En fin de compte, la Science est une communauté, et nous sommes tous ensemble."

C'est tout à fait faux, et faux dans les moyens qui résultent de tout ce que vous avez critiqué. La science n'est pas une communauté, c'est une méthode.

Je ne connais pas bien votre domaine, mais je connais bien la politique. Un problème majeur de lecture

La lettre de Fiske est que, à moins d'en connaître le contexte et les antécédents, on pourrait facilement se méprendre sur le genre de défenses politiques faibles des groupes d'intérêt de la variété des «éditoriaux». Le verbiage, le ton, la caractérisation d'un conflit entre un adulte responsable et un enfant indiscipliné, des mauvais garçons sans nom, une comparaison gratuite avec le terrorisme, et la fausse prétention de ne pas avoir de part personnelle dans la lutte sont tous des béquilles rhétoriques hacks, et il devrait être embarrassant pour un domaine scientifique que quelqu'un qui est apparemment tout à fait éminent parlerait de cette façon. Ce n'est vraiment pas un bon regard pour la science.

«Évidemment, la science est quelque chose que les gens pratiquent en collaboration, autour de laquelle une communauté se forme naturellement, mais l'élément critique de l'autorité et de la légitimité de l'entreprise est et doit être que tous les arrangements institutionnels soient conçus pour contrer l'humain naturel. tendances de clique-ishness, carriérisme, etc et être continuellement examinés pour leur efficacité à le faire. Le but de l'octroi de la concession, par exemple, est précisément de protéger la pratique de la science contre les machinations de la politique et de permettre aux gens d'admettre qu'ils ont gaspillé plus de 10 ans à chasser un fantôme sans perdre leur emploi. Quelques concessions à la nature humaine doivent être faites, mais la Science et ses praticiens doivent toujours prendre la position que la vérité est plus importante que la réputation ou la carrière de n'importe quel scientifique.

"Le problème fondamental de la définition de la Science comme" finalement … une communauté "est que les communautés n'apprécient généralement pas la vérité sur le bien-être de leurs membres (dans le sens matériel ou émotionnel). L'objectif fonctionnel d'une communauté est précisément de fournir un soutien, une protection et une validation à ses membres. Les communautés dont le but déclaré est altruiste ont besoin d'engagements très forts, individuellement et institutionnellement, pour éviter la corruption, et même avec ces engagements, la lutte pour éviter la corruption est éternelle et jamais pleinement réussie. Étant donné la description des intérêts de recherche du Dr Fiske, elle devrait le savoir mieux que n'importe qui.

TAL YARKONI (IL N'Y A PAS DE PROBLEME "TONE" EN PSYCHOLOGIE)

"Il n'y a rien de mal avec le ton général de notre discours en psychologie en ce moment.

"Même s'il y avait quelque chose de mal dans le ton de notre discours, il serait profondément contre-productif de perdre notre temps à en parler en termes généraux vagues.
La crainte d'avoir des découvertes scientifiques déchirées par d'autres n'est pas inhabituelle ou pathologique; c'est en fait un sentiment complètement normal et sain pour un scientifique.
Les appels à l'équité ne valent pas la peine d'être pris au sérieux, à moins que l'argument ne soit présenté au niveau de toute la communauté scientifique, plutôt que de simplement appartenir à la sous-communauté. "

"Aucun chercheur n'a le droit de mener une carrière réussie sans être inquiété et sans être gêné par une remise en cause sérieuse de ses découvertes. Les chercheurs en début de carrière comme Alec Beall, dont le document suggérant que les femmes fertiles sont plus susceptibles de porter des chemises rouges, n'ont pas non plus été sévèrement critiqués par Andrew Gelman et d'autres. Il est lamentable qu'une critique publique incisive puisse nuire à la réputation et aux perspectives d'emploi de ceux dont le travail a été critiqué. Et il est également vrai que cela peut être assez injuste, en ce sens qu'il n'y a généralement pas de raison particulière pour laquelle ces personnes devraient être critiquées et en souffrir, alors que d'autres personnes ayant un travail très similaire s'en sortent indemnes. promotions. "

Mais voici la chose: ce qui ne semble pas juste au niveau d'un individu est souvent parfaitement juste – ou du moins, inévitable – au niveau d'une communauté entière. Dès que l'on fait un zoom arrière sur un individu et que l'on examine le champ de la psychologie dans son ensemble, il devient clair que les marchés du travail et de la réputation sont, en première approximation, un jeu à somme nulle. Comme Gelman et beaucoup d'autres personnes l'ont noté, pour chaque personne qui ne reçoit pas d'emploi parce que son journal a été critiqué par un «réplicateur», il pourrait y avoir trois autres candidats qui n'ont pas trouvé d'emploi parce que leur travail beaucoup plus rigoureux sur le plan méthodologique trop long pour publier et / ou ne pouvait pas empiler en flashiness le travail de PR-grabbing qui a gagné la loterie du travail.

"… l'idée qu'une découverte publiée dans une de nos revues devrait être considérée comme exempte de préjugés parce que c'est arrivé en premier, alors qu'une critique subséquente ou une réplique de cette conclusion devrait être écartée pour des motifs personnels ou d'autres préjugés est, franchement, délirante . Les biais sont partout; tout le monde les a. Bien que cela ne signifie pas que nous devrions les ignorer, cela signifie que nous devrions (a) appeler tous les préjugés de manière égale – ce qui est généralement impossible, ou à tout le moins extrêmement peu pratique – ou (b) accepter que cela ne soit pas productif, et que la meilleure façon d'éliminer les préjugés à long terme est d'opposer les préjugés de chacun et de laisser les arguments logiques et les données empiriques décider qui a raison.

NEUROSKEPTIQUE (SUR "DESTRUCTO-CRITICISME")

"Supposons que Fiske a raison et que certaines personnes, tout en prétendant discuter de la science, se livrent au harcèlement personnel ciblé de scientifiques particuliers. Si c'est le cas, que devrions-nous faire?

«À mon avis, nous devrions nommer des noms (ou des pseudonymes!): Nous devrions tenir les délinquants responsables en nous référant à des exemples précis de leurs attaques. Après tout, ces gens (Fiske dit) sont des tyrans vicieux qui se comportent de manière sérieusement contraire à l'éthique. Si oui, ils méritent d'être exposés.

"Pourtant, Fiske ne fait pas ça. Elle dit: «Je ne nomme pas de noms parce que les tactiques de dénigrement ad hominem endommagent déjà notre domaine.» Mais ce n'est pas un ad hominem que de dénoncer un cas d'intimidation ou de harcèlement et de dire «c'est faux». Au contraire, ce serait défendre la décence. Si les terroristes sont vraiment parmi nous, nous devons savoir qui ils sont.

"Une autre raison pour laquelle je pense que Fiske (et quelqu'un d'autre dans une position similaire) devrait nommer les noms est que cela aide à tracer des limites. Fiske reconnaît que tous les blogueurs ne sont pas mauvais: «Tous les critiques autoproclamés ne se comportent pas de manière contraire à l'éthique.» Alors, qui sont les éthiques? Il serait utile de connaître quelques exemples de «bons» critiques car nous pourrions alors savoir où Fiske dessine la frontière séparant les bonnes critiques des mauvaises. À l'heure actuelle, les dénonciations de Fiske peuvent facilement être lues comme visant la grande majorité de ceux qui débattent de la science en ligne.

"En résumé, je veux savoir qui Fiske appelle un" destructo-critique "afin que je puisse juger de l'exactitude de l'étiquette. Suis-je un?

NEUROCHAMBRES (TERRORISME MÉTHODOLOGIQUE ET AUTRES MYTHES)

"La vérité est que nous sommes en pleine lutte de pouvoir, et ce n'est pas entre les" destructo-critiques "de Fiske et leurs victimes, mais entre les réformateurs qui tentent désespérément d'améliorer la science et une avant-garde des traditionalistes qui, de temps en temps, Regardez de leurs trônes pour jeter un journal sur la route. Alors que le nombre de répétitions échouées continue de grimper, une nouvelle génération veut un type de science différent et ils le veulent maintenant. Ils exigent une plus grande transparence dans les pratiques de recherche. Ils veulent être récompensés pour faire de la recherche de haute qualité, peu importe les résultats. Ils veulent que les chercheurs soient responsables de la qualité du travail qu'ils produisent et des choix qu'ils font en tant que professionnels publics. Tout cela est très sensé, constructif et dans l'intérêt du public. "

NEURONEUROTIQUE (LE JOUR QUE LA PALME A FAIT FACE AU VISAGE)

Je suis sympathique à l'idée que la critique blesse, que nous devrions peut-être être plus conscients de notre sarcasme et de notre frivolité face à nos critiques, et qu'il y a un niveau de joie associé à la façon dont les échecs de réplication sont publiés. Mais il y a aussi beaucoup de joie avec laquelle des articles à fort impact sont publiés et présentés dans les discussions de TED. Si vous voulez que le premier s'arrête, peut-être devrions-nous enfin mettre un terme aux conneries.

URI SIMONSOHN (TROIS IDÉES POUR LA CRITIQUE CIVILE)

Je pense que le data-journalism est une métaphore plus précise que la data-police. Comme les journalistes et contrairement aux policiers, les blogueurs (académiques) n'ont pas de pouvoirs physiques ou légaux, ils n'exercent que des analyses de partage de parole et des opinions non contraignantes qui sont appréciées par les personnes qui choisissent de les lire (en revanche, pas libre d'ignorer la police). Comme les journalistes, le pouvoir des blogueurs repose sur l'intérêt, la justesse et la persuasion.

Fait important, contrairement aux journalistes, la plupart des blogueurs universitaires ont une formation similaire sur le sujet en tant qu'auteurs originaux dont ils discutent le travail, et ils habitent aussi leurs cercles sociaux et professionnels. Donc, les blogueurs sont des journalistes d'élite: plus qualifiés et mieux incités à avoir raison

BENJAMIN KIRKUP (commentateur sur le blog Simplystatistics.org, Statistical Vitriol)

"En biomédecine, les gens se battent pour leur vie et leur immortalité à la fois. Ceux qui essaient de garder un revenu stable grâce à des subventions sont au pied du mur. Ceux qui ont publié des articles qu'ils considèrent comme leur héritage dans les rouleaux et les annales de la science, ont peut-être même plus en jeu.

"En psychologie comportementale et sociale, il y a autre chose en jeu. En lisant certains statisticiens, ils expliquent que tous ces biais inconscients doivent être considérés comme de petits effets, ce qui explique pourquoi les résultats sont notables et surprenants et susceptibles d'être faux (himmicanes, ouragans, sièges de première classe dans l'avion, peu importe). Mais cela manque le point entier. Les personnes qui avancent ces théories croient sincèrement que ces préjugés sont ÉNORMES et constituent une nouvelle forme de péché originel qui dicte les actions humaines individuelles et les structures organisationnelles et institutionnelles; qu'elle doit être mesurée, reconnue, possédée, comptabilisée, repentie et payée par la mortification et la pénitence. Dire que les effets devraient être supposés être petits est essentiellement un blasphème. Maintenant, attaquer la recherche comme infondée, en particulier sur la base des prieurs bayésiens qui refusent de voir toutes nos actions comme fondées sur ce péché originel – c'est un conflit de vue de base du monde, de religion. D'identité C'est un conflit de type "Haidt". Comme tout le monde le sait, attaquant le gagne-pain de quelqu'un, son héritage – et sa religion?

"Donc, le vitriol est rétrospectivement auto-explicatif. Une question est de savoir si ou comment en séparer les statistiques. Cela exigerait une exploration des solutions de rechange, la question de la science comme mode de connaissance, et ainsi de suite. Les enjeux sont évidemment élevés. "

LIGNES INFÉRIEURES

1. Je doute que la dissémination en ligne de scientifiques réformateurs soit découragée par l'essai de Fiske.

2. À mon avis, il est bon pour la science psychologique qu'ils ne le soient pas.

3. Fiske a sans aucun doute raison de dire que certains discours en ligne parmi les scientifiques sont incivil. L'incivilité est mauvaise. Je suis tout à fait d'accord que le discours civil devrait être encouragé et inciter le discours découragé.

4. Le discours incivil parmi les universitaires est antérieur aux nouveaux médias en ligne, et se produit régulièrement dans les points de vente même son plaidoyer préconisé (par exemple, l'examen par les pairs).

5. Beaucoup de réponses à l'essai de Fiske montrent que les problèmes et les dysfonctionnements dans la conduite de la science psychologique ont émergé de l'ancien système et ne sont pas susceptibles d'être résolus sans une réforme majeure de ce système.

6. Mais, dans le panthéon des problèmes de la science psychologique, l'incivilité est le moindre de ses soucis.

Beaucoup croient que la psychologie scientifique est tellement criblée de pratiques problématiques, qu'il est devenu difficile ou impossible de savoir ce qui est réellement vrai et ce qui ne l'est pas. C'est l'ancien système qui a produit cette crise. L'effort de réforme scientifique n'a pas toutes les réponses – mais au moins il les cherche.

Les tentatives visant à supprimer une telle critique sont profondément dysfonctionnelles.