Psychologie de l'intégrité scientifique: Syllabus des cycles supérieurs

LA PSYCHOLOGIE DE L'INTÉGRITÉ SCIENTIFIQUE: LE SYLLABUS DES DIPLÔMÉS

Lectures obligatoires

NOTE: Toutes les lectures ci-dessous sont des liens, donc si vous êtes intéressé, vous pouvez lire la plupart des articles dans l'original. Parfois, en raison de problèmes de droits d'auteur sur les revues, vous ne pouvez voir que le résumé; ou, vous pourriez avoir besoin d'un abonnement à un magasin de nouvelles grand public. Cependant, dans la plupart des cas, si vous êtes affilié à un collège, vous pouvez accéder à la source via leur système de bibliothèque.

PARTIE I: INTRODUCTION

• 4 questions critiques à poser lors du choix d'un doctorat Programme
• 6 conseils pour traiter avec les personnes passives-agressives
• Mois national de sensibilisation au TSPT
• Rendre les hôpitaux plus sûrs et plus sains
• Avez-vous assez de sexe?

Quel est le problème?

Source: Magicien Will Fern **

Freedman (novembre 2010). Mensonges, maudits mensonges et science médicale. L'Atlantique.

Neuroskeptique (2012). Les neuf cercles de l'enfer scientifique.

• Mes citations préférées sur le sexe
• Va dormir. Votre vie en dépend.
• Débriefing sur le stress causé par un incident critique après un événement traumatisant
• 6 raisons pour lesquelles nous continuons à jouer à la loterie
• Sexuellement coincé? La thérapie sexuelle aide habituellement

Lehrer, J. (13 décembre 2010). La vérité se dissipe. Le new yorker.

Qu'est-ce que la science est supposée être?

https://en.wikipedia.org/wiki/Science

https://en.wikipedia.org/wiki/Scientific_method

https://en.wikipedia.org/wiki/Data_sharing

PARTIE II: REPLICATION ET SES DISCONTINENTS

La "science" psychologique est-elle irremplaçable?

OSF (2015). Estimer la reproductibilité de la science psychologique. Science, 349, doi: 10.1126 / science.aac4716.

Jussim (2012). Licornes de psychologie sociale. Psych aujourd'hui .

Jussim (2012). Les licornes psychosociales: les réplications ratées dissipent-elles les mythes scientifiques? Psych aujourd'hui.

Henrich et al (2010). Les gens les plus étranges du monde? Behavioral and Brain Sciences, 33, 61-135.

Bailleur de fonds (2012). La situation périlleuse du non-réplicateur. Funderstorms.

Dreber et al (2015). Utiliser les marchés de prédiction pour estimer la reproductibilité de la recherche scientifique. PNAS, 112, 15343-15347.

Sommes-nous des sociopathes, incompétents ou les deux?

Simmons et al (2011). Faux psychologie positive: La flexibilité non divulguée dans la collecte et l'analyse de données permet de présenter quelque chose d'aussi significatif. P sychological Science, 22, 1359-1366.

Source: Lee Jussim. Tu m'appelles un sociopathe?

Johns et al (2012). Mesurer la prévalence de pratiques de recherche discutables avec des incitations à la vérité. Psychological Science, 23 , 524-532.

Schimmack, U. (2012). L'effet ironique de résultats significatifs sur la crédibilité de plusieurs articles d'étude. Psychological Methods, 17, 551-566.

Vul et al (2009). Corrélations étonnamment élevées dans les études de l'IRMf sur les émotions, la personnalité et la cognition sociale. Perspectives on Psychological Science, 4 , 274-290.

Wicherts et al (2011). La volonté de fournir des données est liée à la solidité de la preuve et à la qualité des résultats statistiques. PLoS One, 6 (11 ): e26828. doi: 10.1371 / journal.pone.0026828

Attendez: je suis un scientifique, tout est parfait

Gilbert et al (2016). Commentaire sur "Estimer la reproductibilité de la science psychologique." Science, 351, 1037.

Source: Lee Jussim. Juste parce que je suis perdu dans la neige, à 11 500 pieds, sur une montagne isolée du Colorado, cela ne veut pas dire que tout ne va pas bien.

Fiedler, K., et Schwartz, N. (2015). Les pratiques de recherche douteuses revisitées. Social Psychological and Personality Science, 7, 45-52.

Entre panique et complaisance …

Jussim (2016). La plupart publient-ils des résultats de psychologie sociale faux? Psych aujourd'hui.

Inzlicht (2016). Compter avec le passé. Aller mieux.

Simonsohn (2016). Évaluation des réplications: 40% de remplissage n'est pas vide à 60%. Données Colada.

Partie III: AU-DELÀ DE LA RÉPLICATION

La science est auto-correctrice, non?

Ioannidis, J. (2012). Pourquoi la science n'est pas nécessairement autocorrectrice. Perspectives on Psychological Science, 7, 645-654.

Jussim, L. (2015). Auto-correction scientifique lente et inexistante en psychologie. Psych aujourd'hui.

Jussim (2016). Est-ce offensant de déclarer une affirmation psychologique fausse? Psych aujourd'hui

Orenstein (25 avril 2013). Notre guerre de bien-être contre le cancer du sein. NY Times.

NYTimes (2013). Chirurgie du genou commun fait très peu pour certains

Loeb, A. (2014). Avantages de la diversité. Physique de la Nature, 617-617.

O'Boyle et al (2014). L'effet chrysalide: Comment les résultats initiaux laids métamorphosent en beaux articles. Journal of Management, 19 .

Outsiders par conception, podcast Freakonomics.

Au moins les statistiques sont rigoureuses, claires et objectives, n'est-ce pas?

Gelman & Loken (2014). La crise statistique en science. Scientifique américain.

Source: Lee Jussim. Ce n'est pas une fusée, c'est une machine à café de presse française. Son design et sa présence dans un désert de l'Utah sont extraordinairement improbables sur le plan statistique.

Fraley & Vazire (2014). Le facteur N-Pact: Évaluer la qualité des revues empiriques en ce qui concerne la taille de l'échantillon et le pouvoir statistique. PLoS One, 9: e109019. doi: 10.1371 / journal.pone.0109019.

Nuzzo (2014). Méthode scientifique: Erreurs statistiques. Nature , 506 , 150-152.

Westfall et al (2014). Pouvoir statistique et conception optimale dans des expériences dans lesquelles des échantillons de participants répondent à des échantillons de stimuli. Journal of Experimental Psychology: Général, 143, 2020-2045.

Comment raconter un fait scientifique à partir de la fiction: la courbure en P et d'autres méthodes

Masciampo & Lalande (2012). Une prévalence particulière des valeurs p juste en dessous de 0,05. Quarterly Journal of Expérimental Psychology, 65 , 2271-2279.

Simonsohn et al (2014). P-curve: Une clé pour le tiroir-fichier. Journal of Experimental Psychology: Général, 143, 534-547.

Simonsohn et al (2014). Courbe P et taille de l'effet: Correction du biais de publication en utilisant uniquement des résultats significatifs. Perspectives on Psychological Science, 9, 666-681.

Franco et al (2014). Biais de publication dans les sciences sociales: Déverrouillage du tiroir-classeur. Science, 345, 1502-1505.

Simmons et al (2012). Une solution de 21 mots. Dialogues.

Bakker et al (2012). Les règles du jeu appelées science psychologique. Perspectives on Psychological Science, 7 , 543-554.

Le problème de l'interprétation: de mauvaises conclusions basées sur de bonnes données

Source: Shihong Khor

Vazire (2014). Le simpleminded et le brouillon.   Parfois je me trompe.

Abramowitz et al (1975). Publier ou politique: biais de l'arbitre dans la revue des manuscrits. Journal of Applied Social Psychology, 5, 187-200.

Eagly, A. (1995). La science et la politique de la comparaison des hommes et des femmes. Psychologue américain, 50, 145-158.

Inbar & Lammers (2012). La diversité politique dans la psychologie sociale et de la personnalité. Perspectives on Psychological Science, 7, 496-503.

Jussim (sous presse). Précis de la perception sociale et de la réalité sociale: pourquoi l'exactitude domine le biais et la prophétie auto-réalisatrice. Sciences du comportement et du cerveau.

Jussim, Crawford, Stevens et Anglin (2016). La politique de la psychologie sociale sociale: Distorsions dans la psychologie sociale des relations intergroupes. Dans P. Valdesolo et J. Graham (eds), Psychologie Sociale de la Polarisation Politique.

Steele et Aronson (1995). Menace stéréotype et la performance des Afro-Américains. Journal de la personnalité et de la psychologie sociale, 69, 797-811. – présenté comme une étude de cas sur la façon de mal interpréter les données

Jussim (2016). Qu'est-ce qui explique les écarts démographiques? Psych aujourd'hui.

—–

Cette entrée, comme la précédente, a été inspirée par ce blog de Sanjay Srinivasta. Sanjay a été à la pointe de l'amélioration de la science psychologique, et son poste était un faux programme pour un cours intitulé Everything is F **** d: The Syllabus. Sanjay définit les pratiques scientifiques comme f ***** quand elles présentent «… des défis conceptuels difficiles auxquels les solutions réalisables et concrètes pour les scientifiques qui travaillent ne sont pas disponibles ou couramment ignorées dans la pratique».

Semaine après semaine, le faux cours de Sanjay présente des lectures faisant valoir que certains aspects de ce que nous avons pris pour acquis comme «bonne» science en psychologie est f ***** d. Cela inclut des expériences, des révisions, des statistiques, des méta-analyses, des réplications, et plus encore.

La chose est, j'ai enseigné deux cours réels sur essentiellement le même sujet depuis 2014. Celui présenté ici est mon cours de troisième cycle. Mon post précédent, de mon programme d'études de premier cycle, est plus d'un bon aperçu général pour le lecteur laïc intéressé avec soit une formation collégiale de base ou qui est largement lu et raisonnablement numéraire (vous n'avez pas vraiment besoin d'une éducation collégiale).

Le cours de grad, cependant, a quelques sources générales, mais beaucoup de lectures techniques. Rien de sacré chez eux, mais ce sont ceux que j'ai assignés. J'ai enseigné ce cours au printemps 2015, et depuis, j'ai découvert toutes sortes de sources intéressantes (un seau entier sur le site de Sanjay). Beaucoup seront probablement incorporés dans la prochaine fois que j'enseignerai le cours.

Aperçu

Ce cours portera sur les changements rapides dans la compréhension de ce qui constitue les meilleures pratiques dans la conduite de la recherche scientifique. Par «recherche scientifique», j'entends tous les aspects des pratiques impliquées dans la production de connaissances scientifiques.

J'utilise le terme «intégrité scientifique» pour faire référence à deux idées liées mais distinctes: 1. L'honnêteté personnelle des scientifiques individuels dans la conduite et la présentation de leurs recherches; et 2. Développer des ensembles solides de conclusions valides et non altérées. De toute évidence, les pratiques malhonnêtes ou trompeuses peuvent nuire à la science. Alors que la malhonnêteté personnelle peut expliquer des problèmes tels que la fraude de données, de tels cas sont extrêmement rares et ne sont pas l'objet de ce cours.

C'est la deuxième signification du terme d'intégrité scientifique qui sera au centre de ce cours.

Même lorsque les chercheurs ne manquent pas d'intégrité personnelle, les pratiques conventionnelles courantes dans leur domaine peuvent produire des résultats trompeurs ou invalides. En ce sens, l'intégrité scientifique correspond étroitement à la compréhension conventionnelle du terme «validité» bien que l'objet de ce cours diffère de l'examen traditionnel des types de validité (visage, interne, externe, écologique, etc.) – ces formes, vraisemblablement, sont couvert par notre cours de méthodes régulières)

La science consiste à «bien faire les choses» (groupe de travail du SPSP, voir les lectures de la première semaine). Il s'agit de générer des revendications et des conclusions qui sont vraies. Ceci inclut: 1. La génération de nouvelles connaissances valides; et 2. Le développement des outils nécessaires pour déterminer, à partir des résultats de recherche existants, quelles conclusions sont vraies et lesquelles ne le sont pas.

Une fois que cela est reconnu, une question naturelle devient: «Comment pouvons-nous distinguer ce qui est vrai de ce qui n'est pas vrai?» C'est un travail pour de nouvelles méthodes et statistiques, de nouvelles Utilise des méthodes et des statistiques anciennes et des outils conceptuels pour déterminer comment identifier les erreurs systématiques et les biais dans une littérature scientifique.

Une tangente brève mais importante

Beaucoup de psychologues sociaux rechignent à déclarer certaines affirmations «fausses». Cela semble se produire parce qu'il est apparemment souvent perçu comme une attaque personnelle contre le demandeur pour déclarer que certaines affirmations scientifiques sont «fausses». Voir Est-il offensant de déclarer une allégation psychologique erronée? ? pour plus de détails à ce sujet.

Néanmoins, ce cours mettra l'accent sur le rôle de la falsification popperienne dans la création et l'évaluation des connaissances scientifiques. Dans ce contexte, la seule voie à suivre implique l'identification et la manière dont les données falsifient les affirmations scientifiques. De plus, le faire bien, inclut intrinsèquement les compétences pour reconnaître quand nous nous sommes trompés. Considérons ce qui suit, de Richard Alpert, l'ancien président de l'Académie nationale des sciences (cité dans The Economist, 2013):

"Et les scientifiques eux-mêmes ont besoin de développer un système de valeurs où simplement passer de ses erreurs sans les reconnaître publiquement endommage gravement, plutôt que protège, une réputation scientifique."

Ainsi, développer les outils scientifiques, intellectuels, intellectuels et méthodologiques pour déterminer les inférences, les affirmations et les conclusions scientifiques vraies et fausses sera au centre de ce cours.

Objectifs du cours

Ce cours a trois objectifs principaux: 1. Comprendre les sources et les manifestations de pratiques sous-optimales en recherche scientifique (résultats irréproductibles, études irremplaçables, données impossibles à obtenir, analyses statistiques et procédures non valides ou non, conclusions trompeuses ou surestimées, etc.), 2. Examiner les tentatives de réforme en cours et évaluer de manière critique les menaces à l'intégrité scientifique qu'elles semblent cibler, leur succès, la façon d'évaluer empiriquement leur succès et d'identifier les menaces à l'intégrité scientifique auxquelles elles sont peu susceptibles de répondre ; et 3. Fournir une introduction aux outils conceptuels et empiriques actuellement disponibles pour déterminer comment déterminer quelles revendications existantes émergent à partir desquelles les preuves existantes sont valides.

Structure de classe

La plupart des classes impliqueront une discussion sur les lectures de cette semaine (voir la notation ci-dessous). Toutefois, lorsque de nouvelles techniques méthodologiques ou statistiques (p. Ex., Tests de signification excessive, diagrammes en entonnoir, incurvation p, indexation d'incrédibilité, évaluation du facteur N-Pacte, intervalles de confiance [non nouveaux dans le grand schéma, mais récemment requis et peut-être , peu familier à de nombreux étudiants] sont présentés, je peux donner des conférences pour tout ou partie d'une classe.

Classement

Discussion en tête: 20%

Il y aura plusieurs lectures assignées chaque semaine. 1-2 étudiants seront nécessaires pour: 1. Générer une série de questions de discussion; 2. Faites-les circuler au moins trois jours avant la classe. 3. Initiez, dirigez et concentrez la discussion sur les lectures de cette semaine.

Participation: 20%

Comme toutes mes autres classes, à l'exception du 522 (2e classe de statistiques), la participation est une partie obligatoire et intégrante de la classe.

Résumés: 10%

Principalement pour s'assurer qu'ils lisent généralement les articles requis, ils seront tenus de fournir un bref résumé de chaque article.

Papier majeur: 50%

L'article principal impliquera l'utilisation de l'une des nouvelles techniques pour évaluer la validité de la recherche (p. Ex. Fournir un diagramme en entonnoir ou une courbe en p concernant les études dans une méta-analyse); utiliser une technique simple pour évaluer la qualité de la recherche (p. ex. erreurs ou lacunes dans les domaines de recherche) et / ou obtenir des données d'une source publiée et évaluer si les résultats peuvent être reproduits (note: j'utilise le terme «reproduire» la réponse à la question: après avoir obtenu des données publiées, si l'on fait l'analyse exacte que les auteurs décrivent, obtient-on exactement le même résultat?).

Certains pourraient prétendre que, contrairement à ce qui passe pour la psychologie «scientifique», au moins le magicien Will Fern admet qu'il crée des illusions.