Le blog d'aujourd'hui est co-écrit avec Rosa Cao, Ph.D. (RC ci-dessous, [email protected]). Dr. Cao a reçu son doctorat en neurosciences du Massachusetts Institute of Technology en 2010, étudiant le rôle du flux sanguin dans le traitement de l'information dans le cerveau. Elle a ensuite complété une bourse postdoctorale avec le Dr Daniel Dennett à l'Université Tufts, se concentrant sur des questions fondamentales en philosophie de l'esprit et en philosophie des neurosciences. Elle est actuellement professeure adjointe à l'Université de l'Indiana, menant des recherches sur la philosophie de l'esprit, la philosophie des neurosciences, la philosophie de la biologie et les sciences cognitives.
Sean Luo (SL): Le sujet d'intérêt aujourd'hui est le rôle de la réplication dans la science, en particulier les sciences du cerveau, et le rôle de la réplication des résultats scientifiques appliqués à la pratique médicale. C'est un sujet qui a été davantage exposé ces dernières années, à la fois dans la communauté scientifique (ici, ici), et dans la presse laïque (ici, ici et ici).
Les découvertes scientifiques ont commencé à développer une réputation publique d'être peu fiable. Les résultats de grands essais cliniques sont souvent inversés dans une étude ultérieure, à la surprise de beaucoup. Le plus souvent, les résultats de laboratoire de base, en particulier ceux qui sont considérés comme spectaculaires au début, ne peuvent pas être reproduits. Dans le domaine de la psychologie et des sciences cognitives, ce problème est devenu particulièrement pernicieux et controversé.
Pour résoudre ces problèmes, l'Institut national de la santé a commencé à concevoir des mécanismes de financement formels pour la réplication, ce qui a été très rare dans le passé.
Quelles sont vos pensées en tant que philosophe travaillant à l'intersection de la philosophie des sciences et de la philosophie de l'esprit?
Rosa Cao (RC): Je pense que la réplication est surestimée. Ne vous méprenez pas, c'est une sorte de norme minimale, et nous devrions certainement nous inquiéter de la diminution de la taille de l'effet en psychologie. Mais à la fin, ce qui importe est de savoir si les expériences montrent ce qu'elles prétendent montrer. En augmentant la taille de l'échantillon, les réplications réussies augmentent la crédibilité des données réelles. Mais cela ne nous aidera pas si la configuration d'origine était défectueuse, et cela ne corrigera pas une mauvaise interprétation des données.
La réplication est censée être une vérification de la réalité. Est-ce que cette découverte était un coup de chance? Plus cyniquement, il peut détecter à la fois la fraude intentionnelle et la manipulation des résultats par des vœux innocents. Si deux groupes ayant des motivations différentes produisent néanmoins les mêmes données, nous pouvons nous sentir plus confiants que les résultats ne sont pas faussés par les motivations des expérimentateurs, conscients ou inconscients. Mais la réplication n'est pas la seule, et certainement pas nécessairement la meilleure réalité. L'étalon-or en biologie est le mécanisme. Un mécanisme biologique clair qui produit des effets de manière prévisible confère beaucoup plus de crédibilité à nos résultats.
SL: Observation intéressante Le problème de la réplication a deux facettes: il y a une science imparfaite et il y a de mauvais scientifiques.
RC: L' appel à la réplication est interprété comme une accusation d'acte répréhensible, et nous voyons des gens se fâcher et fermer des rangs. Bissell, par exemple, soutient dans un article de Nature qu'il est irresponsable d'exiger des réplications et blâme les échecs de réplication sur l'incompétence dans les réplicateurs potentiels. Je suis sympathique à sa frustration – quelqu'un vous dit que votre recette ne fonctionne pas parce qu'ils sont des cuisiniers incompétents. D'un autre côté, cela suggère à son tour que de nombreuses découvertes publiées sont si fragiles que nous ne pouvons pas en conclure beaucoup (encore moins, disons, généraliser à partir des résultats de la souris aux résultats humains).
Mais parfois les résultats ne se manifestent pas pour des raisons innocentes. Nous savons que les données sont toujours bruyantes, et la cueillette des cerises, la mauvaise interprétation, la mauvaise conception, etc. sont courantes. La réplication en soi ne fera pas un bon travail pour identifier ces problèmes ou les résoudre.
Parfois, l'utilité de la réplication est mieux illustrée par des réplications "démon": un groupe plus récent trouve les mêmes données qu'un groupe précédent, mais avec un ensemble différent d'hypothèses. Cela pourrait être le type le plus puissant de démystification, mais à proprement parler, c'est une réplication réussie, où l'on retrouve les mêmes données, mais on se rend compte que cela mérite une interprétation différente de celle qui a été donnée à l'origine. Donc le problème n'est pas la réplication, c'est l' interprétation .
SL: Quels sont les nouveaux développements de la philosophie des sciences qui sont pertinents pour notre discussion actuelle?
RC: La philosophie de la science dans le bon vieux temps où la physique était dominante était obsédée par les lois. Maintenant que les sciences biologiques sont ascendantes, les philosophes ont commencé à accorder plus d'attention aux autres moyens que nous avons de faire des progrès scientifiques. Ils soutiennent que ce que nous recherchons ne sont pas des lois sans exceptions comme celles que l'on trouve en physique, mais plutôt des généralisations contextualisées, où nous savons comment quelque chose fonctionne, et cela fonctionne la plupart du temps, mais pas toujours.
Ces généralisations sont incorporées dans les descriptions du mécanisme par lequel un phénomène d'intérêt est produit (voir l'article de Machamer, Darden et Craver [1]). Cela nous permet de lier le nouveau phénomène d'intérêt à des parties et des fonctions plus simples qui sont déjà comprises ou au moins partiellement comprises dans des contextes plus larges. Si nous connaissons les parties et comment ces parties fonctionnent à leur tour, nous pouvons non seulement faire des généralisations, mais nous pouvons aussi estimer à quel point ces généralisations sont bonnes et quelle est leur portée, jusqu'où elles s'étendent au-delà du contexte expérimental original. Ce sont les situations qui nous intéressent vraiment. Si une expérience est parfaitement reproductible, mais seulement en laboratoire, alors à quoi sert la médecine, ou notre compréhension de la cognition «dans la nature»?
SL: De nombreux niveaux d'analyse sont importants. La médecine est assez large pour que, sans connaître les mécanismes en détail, nous puissions faire des inférences importantes et utiles, et comme notre budget pour la recherche est limité, comment hiérarchiser le financement pour étudier le mécanisme versus catégoriser et analyser systématiquement la phénoménologie, qui sont chers, devient critique.
RC: Je pense toujours que la réplication en médecine est vraiment un substitut de seconde classe. Lorsque – comme c'est souvent le cas en médecine – nous ne savons pas encore comment quelque chose fonctionne, nous pourrions nous contenter d'une certitude accrue que cela fonctionne. Idéalement, nous voulons savoir comment un traitement médical fait son travail. Mais nous nous contenterons d'un traitement efficace qui fonctionne souvent pour la plupart des gens, même si nous ne savons pas exactement comment.
Peut-être pourriez-vous dire qu'en médecine, nous ne pouvons pas nous permettre d'ignorer la phénoménologie. Si un médicament semble guérir le cancer, nous avons la responsabilité de croire que c'est le cas, et d'en sortir, même si nous ne savons pas comment cela fonctionne. Mais ne pas savoir comment cela pourrait même fonctionner, c'est-à-dire, un manque total d'un mécanisme, même potentiel, est une preuve prima facie contre le résultat, surtout s'il est statistiquement faible.
SL: Peut-être que la critique contre les expériences de psychologie sociale ne devrait pas être qu'elles ne se reproduisent pas, mais qu'elles ne se concentrent pas assez sur les mécanismes de systématisation et rendent les théories sous-jacentes plus rigoureuses.
RC: Ou peut-être dans quelque chose comme la psychologie sociale, il est trop difficile de chercher un mécanisme. Nous n'en savons pas assez sur la façon dont les parties biologiques (cellules, transmetteurs, etc.) parviennent à produire des comportements sociaux complexes. Mais peut-être est-ce une bonne raison de douter de l'utilité des expériences de psychologie sociale au-delà des phénomènes relativement étroitement délimités qu'ils étudient directement. Pour presque tous les domaines, nous devons nous rappeler que les revendications expérimentales ne se généralisent pas aussi souvent que nous le souhaiterions, et sont plus fiables lorsqu'elles sont limitées au phénomène réel observé.
SL: Le vrai problème que je vois pour la recherche dans la science biologique fondamentale et mécaniste, ainsi que dans la recherche appliquée sur les sujets humains, y compris les essais cliniques, est que le nombre d'hypothèses augmente de façon exponentielle. Nous vivons à l'ère des -omiques, où les signaux dérivés de centaines de milliers de gènes et de régions cérébrales peuvent être mesurés et testés simultanément pour des corrélations. Nous faisons l'hypothèse que le réductionnisme fonctionne. Par exemple, en savoir plus sur les circuits du cerveau impliqués dans la dépendance peut nous aider à soulager l'alcoolisme. Mais lequel des millions de nœuds dans le circuit sont pertinents? Ce que je vois est le problème le plus difficile auquel nous sommes confrontés aujourd'hui. La réplication est, d'une certaine manière, une relique d'une ère de la science de l'industrie artisanale, quand les idées pouvaient être recueillies à partir d'une seule hypothèse et d'une seule expérience.
RC: C'est vrai que nous sommes confrontés à une prolifération d'hypothèses et de données. Alors peut-être que nous n'avons pas besoin de réplication dans des domaines où nous avons maintenant des tailles d'échantillons énormes. Mais ces tailles d'échantillons énormes vont de pair avec des hypothèses qui ont de petites tailles d'effets – statistiquement significatives mais pas utiles à la fin. La génomique ne nous a pas encore beaucoup appris sur la façon dont les maladies fonctionnent ou comment les traiter. Il nous a donné une image extrêmement complexe de quels marqueurs sont associés avec quels autres marqueurs. C'est encore une autre raison d'aller après le mécanisme. En identifiant une voie neuronale sous-jacente particulière, ou un ensemble de molécules et de récepteurs impliqués, nous sommes un pas de plus vers la compréhension des comportements humains.
SL: Il y a une réponse de l'apprentissage automatique. Les données complexes peuvent ne pas nécessiter la compréhension de tous les mécanismes sous-jacents pour produire des produits prédictifs utiles. Les algorithmes peuvent détecter les mécanismes que les humains ont du mal à articuler. Et même si nous n'avons pas tous les mécanismes, nous pouvons encore imiter des fonctions utiles: la voiture de Google en est l'exemple parfait – nous en savons très peu sur la façon dont les humains conduisent mécaniquement une voiture. Le mécanisme réduit la dimensionnalité et améliore les performances prédictives.
Pour ramener la discussion au point de départ, si nous considérons la méthode scientifique comme un processus d'apprentissage bayésien, tant que la «taille de l'échantillon» augmente, nous nous approchons asymptotiquement de la «bonne réponse» (le bon mécanisme) . La bonne réponse pourrait bien être un modèle complexe formé sur un large ensemble de données plutôt que sur des hypothèses statistiques individuelles.
Mais s'il y a des biais systématiques (par exemple, biais de publication), ce n'est plus vrai. Donc, même avec la réplication et la modélisation sophistiquée, une grande partie des résultats scientifiques peuvent encore être biaisés. Prendre conscience de ces problèmes et y remédier est probablement le plus important.
RC: La science est supposée être auto-correctrice. C'est une autre raison d'aller au-delà de la réplication seule. Lorsque de nouvelles expériences s'appuient sur des expériences antérieures (plutôt que de simplement chercher à les répéter), nous vérifions une seconde fois si les résultats antérieurs sont fiables. Les méthodes les plus pratiquées sont les plus crédibles. Il y a ce bon vieux papier de Ian Hacking, où il dit: «Si vous pouvez les vaporiser, alors ils sont réels.» [3].
Cette interview a été réalisée et éditée à partir d'e-mails.
RÉFÉRENCE
[1] Réflexion sur les mécanismes, Peter Machamer; Lindley Darden; Carl F. Craver, Philosophie des sciences, vol. 67, n ° 1. (2000) pp. 1-25.
[2] Reproductibilité: les risques du lecteur de réplication. Mina Bissell, Nature 503, 333-334 (21 novembre 2013) doi: 10.1038 / 503333a
[3] "Nous sommes complètement convaincus de la réalité des électrons quand nous nous proposons de construire – et souvent de réussir à construire – de nouveaux types d'appareils qui utilisent différentes propriétés causales bien connues des électrons pour interférer dans d'autres parties plus hypothétiques de la nature "Ian Hacking (1982). Expérimentation et réalisme scientifique. Sujets philosophiques 13 (1): 71-87
