Quel est le problème avec la science psychologique sociale?

Source: Wikimedia Commons

Cet article de blog résume certains des dysfonctionnements nombreux et profonds qui caractérisent la science psychologique, et en particulier la science psychologique sociale. Une partie de cela implique de «regarder sous le capot» – c'est-à-dire, les aspects techniques, statistiques et méthodologiques de la recherche en psychologie sociale.

N'est-ce pas incroyablement ennuyeux, comparé à, par exemple, la lecture d'articles sur "Six façons de mieux sexe" ou "Cinq signes que vous vivez avec un sociopathe" -le type d'articles que l'on trouve souvent dans d'autres blogs. Pourquoi quelqu'un d'autre que les scientifiques devrait-il s'en préoccuper?

C'est pourquoi vous devriez vous en soucier et pourquoi je pense que beaucoup d'entre vous trouveront cela intéressant. Les "informations" dans ces colonnes de conseil peuvent provenir de deux endroits: Les expériences professionnelles et personnelles des auteurs, ou la science. En l'absence d'une bonne science, l'expérience professionnelle et personnelle est tout ce que nous avons à faire, et c'est certainement mieux que rien.

Mais l'étalon-or est la science. Lorsque la science est menée de manière très qualitative et qu'elle donne des réponses claires à certaines questions, c'est la réponse que j'adopterais à chaque fois. Et si l'obtention de la bonne réponse est importante pour vous, vous devriez essayer de retrouver la science.

• Créativité et expériences multiculturelles
• Une fonction biologique pour le sexe oral?
• L'effet des associations inconscientes sur le comportement des visiteurs
• Conseils étonnants mais simples pour faire une connexion amoureuse
• Comment la culture envoie nos cerveaux

Préférez-vous mener votre vie en vous basant sur votre arrière-grand-père de 95 ans qui fumait 3 paquets par jour jusqu'à ce qu'il finisse par vous donner des coups de pied ou sur la preuve que fumer vous expose à un risque plus élevé? Bien sûr, cela n'a de sens que si la science est solide …

Alors voici la vue sous le capot …

L'essai de Fiske controversé

• La signification adaptative de l'amorçage
• La meilleure chose à faire avant de gérer un problème
• Les messages subliminaux peuvent-ils créer des sentiments d'amour et de luxure?
• 10 façons de soulager le stress en 5 minutes ou moins
• Le pouvoir d'amorcer positivement le thérapeute

Ceci est mon deuxième post inspiré par un essai controversé, même inflammatoire, par un éminent psychologue social. (Allez ici pour la première entrée).

Dans cet essai, qui a été conçu comme un appel à une plus grande civilité dans la critique scientifique, l'ancienne présidente de l'Association pour les sciences psychologiques, Susan Fiske, a critiqué les critiques en ligne de la science psychologique, les qualifiant de "Et" terroriste méthodologique ".

Dans cet article, je passe en revue le contexte scientifique profondément dysfonctionnel à partir duquel l'essai de Fiske a émergé. Il y a un terme militaire, commençant par «cluster» et suivi par le mot de quatre lettres, pour une opération dans laquelle plusieurs choses ont mal tourné simultanément, une fois popularisé par Jon Stuart sur le Daily Show. Il s'applique sans doute bien à l'état actuel de la psychologie sociale.

Qu'est-ce qui a mal tourné avec la science PSYCHOLOGIQUE?

La crise de réplication

Parfois, les problèmes de psychologie sociale sont qualifiés de «crise de réplication» parce que:

1. Beaucoup d'entre nous croient que nous avons récemment découvert qu'une grande partie de notre littérature empirique publiée échoue à reproduire. Toutes sortes de découvertes célèbres, mignonnes et contre-intuitives ont été sujettes à des échecs de réplication. Voir les résultats psychologiques sociaux les plus publiés faux pour plus de détails. Vers la fin de ce post, je fournis une liste – une très longue liste – de phénomènes ou de découvertes, dont beaucoup étaient assez célèbres et faisaient des éclaboussures dans les médias grand public parce qu'ils étaient incroyables !!! qui ont fait l'objet de réplications ratées ou d'autres sources de doutes.

Source: Lee Jussim, les inondations sont a-risin '

2. Cependant, il n'y a même pas de consensus en psychologie sociale sur ce qui «compte» comme une réplication réussie ou échouée. Par exemple, lorsque l'Open Science Framework (OSF) a mené des tentatives de réplication multisites de nombreuses études psychologiques sociales, ils ont estimé la réplication de diverses manières et ont obtenu un chiffre compris entre 25% et 50%, selon les critères.

Gilbert et al. (2015) ont plaidé pour des normes différentes et ont conclu que près de 85% d'entre eux se sont répliqués.

Simonsohn (2016) a soutenu que les deux avaient tort.

Je ne vais pas "résoudre" ce problème; mon point principal ici est que les psychologues sociaux ne peuvent même pas s'entendre sur ce qui compte comme une réplication. Jusqu'à ce que nous, en tant que domaine, atteignions un certain consensus sur cette question, nous serons réduits à une querelle interne sans fin sur ce qui se répète et ce qui ne fonctionne pas, et ce que tout cela signifie.

* Et par "nous" je veux dire les chercheurs en psychologie sociale. Tangentiellement, si nous n'avons pas de consensus sur ces questions, nous pourrions envisager d'être un peu plus tolérants envers les laïcs qui ne croient pas nécessairement toujours à nos revendications parfois élevées.

Indépendamment de ce que l'on pense de l'étude de réplication OSF, de nombreux psychologues sociaux croient qu'il existe un problème de réplication, et pour de bonnes raisons. Beaucoup de choses ne se répliquent pas. J'ai posté à plusieurs reprises sur Psych Today à propos de ce problème:

Voir mes deux blogs Unicorns (Licornes de Psychologie Sociale et Licornes de Psychologie Sociale) et mon article plus récent intitulé «Les conclusions de psychologie sociale les plus publiées sont-elles fausses?». Spoiler: Je doute que la réponse soit "oui", mais c'est très difficile à savoir. Et il est encore plus difficile de savoir quels résultats, dans notre vaste histoire de publication de la recherche, sont susceptibles d'être robustes et valables, et qui sont complètement faux, pas complètement faux, mais exagérément surestimés, et sur lesquels nous pouvons vraiment accrocher nos chapeaux.

Cependant, "Replication Crisis" est un terme impropre, car il se concentre trop étroitement sur les répétitions ratées comme une menace pour la science psychologique sociale. Les réplications échouées sont une menace, et une grande. Mais…

La crise de la validité: les dysfonctionnements en sciences psychologiques sociales vont bien au-delà des réplications ratées

Voici un bref échantillon de problèmes supplémentaires qui menacent l'intégrité de la science psychosociale, et comment ils créent des problèmes potentiels, et souvent très réels, qui minent la validité de la psychologie sociale.

Minuscules échantillons . Les statistiques calculées avec de minuscules échantillons ne ressemblent à rien, ce qui équivaut à dire: «Nous sommes à peu près sûrs que la température de demain se situera entre 10 et 100 degrés Fahrenheit». L'étude de la prison de Zimbardo est peut-être l'un des exemples les plus célèbres d'une étude donnée une publicité extrêmement intense basée sur un échantillon minuscule de 24 participants.

Et voici une friandise qui est vraiment vraiment farfelue. Une étude récente des réformateurs scientifiques Chris Fraley et Simine Vazire (fondateur de la Société pour l'amélioration des sciences psychologiques) a conclu que les revues les plus prestigieuses et influentes en psychologie sociale – celles que "tout le monde" (sur le terrain) lit et qui ont d'énormes facteurs d'impact et indices de citation – des tailles d'échantillon moyennes plus petites que celles des journaux moins prestigieux et percutants. On s'en fout? Les études avec de petits échantillons produisent des résultats moins crédibles que ceux avec des échantillons plus grands. Vous pourriez penser que les «meilleures» revues scientifiques seraient les garants d'une science de haute qualité. Mais si vous pensiez cela, vous auriez tort (ce qui ne veut pas dire que tout ce qui est publié là-bas est mauvais, mais seulement qu'ils ont souvent échoué à soutenir l'une des sources les plus importantes et les plus évidentes de la science étant bonne).

Il y a 10 ans, j'aurais écrit «tu peux me tirer dessus maintenant». Cependant, c'est justement à cause des preuves et du plaidoyer des réformateurs comme Fraley et Vazire que les choses commencent, en fait, à s'améliorer. pour un autre jour, mais un simple changement est que de nombreuses revues peuvent exiger des tailles d'échantillon plus grandes).

Source: Lee Jussim, un bâtiment qui manquait d'intégrité

Échantillons non représentatifs. Nous tirons souvent des conclusions injustifiées sur des «personnes» basées sur des participants qui ne représentent clairement pas «toute l'humanité». Habituellement, ils ne représentent pas un groupe connu, pas même des étudiants (ils peuvent être des étudiants sans être représentatifs des étudiants) de la même manière que vous pouvez être de l'Iowa sans être représentatif d'Iowans).

P-piratage et manque de transparence . Nous faisons parfois beaucoup de statistiques, choisissons ceux qui disent ce que nous voulons, puis concocte une histoire captivante. Ceci a été appelé "p-hacking" pour capturer les idées que, intentionnellement ou non, les chercheurs "piratent" parfois leur chemin vers le Saint-Graal de "signification statistique", qui est habituellement nécessaire pour obtenir un article publié. Autrement dit, nous menons parfois nos statistiques comme un archer qui tire une flèche, puis dessine une cible partout où la flèche atterrit, avec la flèche dans le bullseye. Le Garden of Forking Paths capture l'idée qu'il existe plusieurs façons d'analyser les données, et nous ne signalons qu'un sous-ensemble qui nous mène là où nous voulons aller (de préférence, une publication dans un journal prestigieux).

Le copinage . Les scientifiques sont parfois biaisés en faveur du travail de leurs amis et des étudiants actuels et anciens.

Statistiques sous-optimales. Les statistiques de workhorse dans la plupart de la psychologie ne répondent pas à la question que les chercheurs veulent généralement répondre. Habituellement, les chercheurs veulent savoir: «Est-ce que ma théorie ou mon hypothèse est exacte ou, au moins, plus juste que les alternatives connues?» Les statistiques que nous utilisons la plupart répondent à la question suivante: «Quelle est la probabilité ou la différence? s'est produite, ou une encore plus grande (plus extrême), si l'hypothèse nulle est vraie? "(l'hypothèse nulle indique généralement que, dans la population plus large, il n'y a aucun effet ou relation du tout). Si cela vous semble compliqué et que vous ne pouvez pas le suivre, ne soyez pas trop contrarié. C'est alambiqué. En fait, pour arriver à la conclusion, "Eureka, mon hypothèse est confirmée!", La logique devient encore plus compliquée. C'est parce que la logique doit être torturée pour que les statistiques ressemblent à ce qu'elles disent: «Mon hypothèse est confirmée!» Alors qu'elles ne le font pas.

Biais de publication. Les revues et les chercheurs ont généralement besoin d'études empiriques pour atteindre un Saint-Graal statistique avant de publier («signification statistique», alias «p <.05 » ). Pour les non-initiés statistiquement, vous vous demandez peut-être quel est l'enfer p <0,05? Cela signifie "il y a moins de 5% de chance que ces données, ou données plus extrêmes, se produisent si l'hypothèse nulle était vraie." Qu'est-ce que "l'hypothèse nulle?" C'est l'hypothèse qu'il n'y a aucun effet de son conditions expérimentales ou d'intervention, ou qu'il n'y a aucune relation entre deux variables. Ainsi, par exemple, une «hypothèse nulle» serait: «La confiance n'est pas corrélée à la performance».

P <.05 a longtemps été interprété comme signifiant "Eureka, mon incroyable! monde changeant !! l'hypothèse est confirmée! »et les revues s'intéressaient rarement à la publication d'hypothèses non confirmées. Une conséquence de ceci est que la littérature publiée exagère souvent le pouvoir des processus psychologiques sociaux et des hypothèses. Penses-y. Si seulement les effets "forts" (p <.05) sont publiés, alors de nombreux effets proches de zéro ne sont pas publiés. Mais nous avons besoin de connaître les effets proches du zéro pour comprendre la puissance du phénomène étudié. Mais nous ne les connaissons pas parce qu'ils ne sont pas publiés.

Plus de biais de publication . Carl Sagan a déjà dit: «Les réclamations extraordinaires exigent des preuves extraordinaires.» C'est parce que quelque chose d'extraordinaire est hautement improbable. Pour surmonter le scepticisme justifié au sujet d'une telle affirmation, la preuve devrait être très forte. La psychologie sociale a fonctionné d'une manière presque entièrement opposée: «Les revendications extraordinaires exigent des tailles d'échantillon minuscules.» C'est parce que la psychologie sociale a une culture bizarre de valoriser des résultats «surprenants» et «contre-intuitifs». Les enfants postés pour ces dysfonctionnements sont les tristement célèbres stéréotypes sur les personnes âgées / les études qui marchent dans le couloir et qui ont contribué à déclencher la crise de réplication, où deux expériences «démontraient» cet effet, chacune avec seulement 30 participants; et la menace stéréotypée, dans laquelle la plus grande étude (114 participants) n'avait pas d'effet de menace de stéréotype significatif, mais une étude a été rapportée dans des études avec 40 et 47 participants). De telles constatations sont perçues comme novatrices et créatives. Ainsi, plutôt que de soumettre les chercheurs à des normes plus élevées en matière de preuve, bon nombre d'entre eux considèrent que ces études abaissent les normes.

Le résultat est que la littérature scientifique en psychologie sociale peut être truffée d' incroyable! contre-intuitif! monde changeant! dramatique! des résultats qui, au mieux, sont difficiles à reproduire, et au pire, pas du tout. C'est la version scientifique du vieux dicton: «Si cela semble trop beau pour être vrai, c'est probablement le cas.» Combien de résultats cela décrit-il? Lesquels? Personne ne le sait encore.

Contes et survente . Les chercheurs font souvent des allégations extraordinaires basées sur des preuves très faibles. Mon livre passe en revue chaque cas, où les prophéties auto-réalisatrices et d'autres préjugés sont systématiquement présentés comme puissants et omniprésents, alors qu'en fait, les preuves montrent qu'ils sont faibles, fragiles et éphémères. La menace de stéréotype, dans laquelle un ajustement de situation mineur est censé éliminer complètement les différences d'écart de réussite raciale, est un autre exemple.

Biais de confirmation des chercheurs et pratiques d'interprétation discutables. Beaucoup de générations précédentes de psychologues (Phd obtenus de 1970 à 2010) ont été formés pour raconter des «récits fascinants». Les chercheurs se sont si bien débrouillés pour raconter ces histoires que, parfois, ils le font indépendamment de ce que disent les données. Mon récent article intitulé Interprétations et méthodes, passe en revue chaque exemple (après l'exemple après l'exemple) d'articles de psychologie sociale qui racontent des récits aussi fascinants, même si les données ne corroborent pas ces récits.

Cherrypicking résultats et études , les chercheurs peuvent souvent atteindre presque n'importe quelle conclusion qu'ils préfèrent. Les explications alternatives sont souvent négligées ou ignorées; et sont souvent plus viables que les explications publiées. Parfois, les psychologues sociaux vont jusqu'à affirmer que certaines choses sont vraies sans aucune preuve (par exemple, les affirmations selon lesquelles les stéréotypes sont inexacts, les humains sont une table rase, les tests standardisés sont invalides, etc.). Des études célèbres sont souvent citées à des taux beaucoup plus élevés que les répétitions échouées de ces mêmes études, même après que les réplications ratées ont été publiées.

Théories des morts-vivants. Certains d'entre nous croient que la falsification a un rôle central dans la science. Certains d'entre nous croient que le progrès scientifique se traduit par l'abandon des théories anciennes, mauvaises ou sous-optimales avec des théories meilleures et plus valables. Il est cependant presque impossible de déclarer «fausse» ou falsifiée une théorie de la psychologie sociale. Quelques raisons possibles de cet état bizarre des affaires scientifiques peuvent être trouvées ici: "Est-ce offensant de déclarer une prétention psychologique à tort?"

Biais de statut. Les psychologues agissent parfois comme ceux d'entre nous avec des chaises nommées et les nominations à la Ivy League méritent plus de voix, d'attention et de crédibilité – et l'accès aux publications et aux sources de financement – que ceux d'entre nous sans statut. Mais la science devrait porter sur la qualité des données, pas sur le statut des auteurs.

Biais politiques. Pendant longtemps, la psychologie sociale a été une sorte de club pour les personnes ayant des opinions politiques de gauche. Cela a éloigné certains chercheurs du domaine et a faussé les conclusions sur des sujets politisés.

LA SCIENCE PSYCHOLOGIQUE SOCIALE EST-ELLE UNIQUE?

La réponse courte est … personne ne le sait. Certains sont probablement; certains sont sûrement très bien, et nous avons actuellement peu ou pas de consensus sur la façon de déterminer qui est qui. En fait, c'est probablement la mauvaise question. La bonne question, ou, au moins, une meilleure question est, quelles conclusions psychologiques sociales sont sains et valides, et qui ne le sont pas?

Chacun des résultats ou conclusions suivants a déjà été largement accepté. Ils sont tous sous un nuage parce qu'ils sont soit:

• Connu pour être faux, exagéré ou déformé
• Sujet à des réplications ayant échoué
• Ou leurs conclusions sont douteuses, ou sinon dans le doute.

Si vous n'êtes pas familier avec l'un de ces domaines de recherche, vous pouvez en savoir plus comme suit:

1. Sujets avec des liens sont à mes blogs ou des documents qui en discutent.

2. Pour les sujets non liés, vous pouvez faire une recherche Google pour ce sujet + "réplication" ou "échec de la réplication" ou "reproductibilité" et vous serez généralement en mesure de trouver le résultat original et la source de doute.

• Menace stéréotype
• toutes sortes d'études d'amorçage
• influences descendantes sur la perception
• parti pris massif de l'endogroupe dans les perceptions d'un match de football
• le pouvoir de la situation
• les sceptiques du climat croient que les théories de conspiration bizarres
• les conservateurs nient les réalités environnementales
• les conservateurs sont plus biaisés que les libéraux en général
• prophéties auto-réalisatrices sont puissantes et omniprésentes
• les stéréotypes sont la base par défaut et puissants distorsions de la perception de la personne
• les stéréotypes sont inexacts
• la posture de puissance (les postures expansives non verbales ont des influences extraordinaires sur la confiance et la façon dont les autres vous perçoivent)
• les interventions dites «sages» augmentent la réussite ou le taux de participation
• les écarts démographiques résultent de la discrimination
• les scores supérieurs à 0 sur la version de préjudice du test d'association implicite sont inégalitaires
• les mesures de préjugés implicites prédisent mieux la discrimination que les mesures explicites
• Les stéréotypes mènent à leur propre confirmation
• épuisement de l'ego
• l'hypothèse de la rétroaction faciale
• himmicanes
• grandes portions de la neuroscience sociale
• et probablement beaucoup plus que je n'ai pas répertorié.

Source: Lee Jussim, un bâtiment qui s'effondre

Les controverses sur la question de savoir si des pans entiers de la psychologie sociale s'effondrent autour de nos oreilles ont enflammé les passions des scientifiques. Ce sont parfois des passions justes, parfois même des passions insultantes et pharisaïques, au sujet de la science, de ce qui compte, de qui fait de la bonne science et de qui ne l'est pas. Tel est le contexte scientifique à partir duquel l'essai de Fiske, avec ses incivilités d'incivilité, a émergé.