La science est censée se corriger d’elle-même. Pourtant, ces dernières années, dans certains domaines – biomédecine et sciences sociales, en particulier – le processus semble échouer. De nombreuses études publiées s’appuient sur des méthodes erronées ou même sur des fraudes. Les mauvaises incitations dans lesquelles opèrent la plupart des scientifiques sont une des causes. Mais un problème plus profond, difficilement guéri, est que la science, comme toute autre activité humaine, peut être sujette à des rendements décroissants.
La crise de réplication est un échec majeur: les chercheurs en sciences sociales et biomédicales ne peuvent pas répéter une expérience de manière fiable et obtenir le même résultat. La reproductibilité étant le critère de la vérité en science expérimentale, l’absence de reproduction est un problème grave. En 2016, le prestigieux journal scientifique international Nature a publié une enquête qui a montré que “Plus de 70% des chercheurs ont essayé et échoué à reproduire les expériences d’un autre scientifique et plus de la moitié ont échoué à reproduire leurs propres expériences.” décrit comment la compagnie pharmaceutique Bayer a tenté de reproduire un certain nombre d’études sur les drogues et a échoué près des deux tiers du temps. La situation peut être encore pire que ce que ces résultats suggèrent, car dans les sciences sociales, en particulier, la réplication est rarement tentée. Il s’ensuit que de nombreuses conclusions sur le régime alimentaire, les drogues, les préjugés, les préjugés et la bonne manière d’enseigner sont fausses.
Les fausses découvertes sont nécessairement à la base de la pratique erronée et de l’impasse scientifique. Le chercheur A apprend de la littérature que X est vrai. Il en déduit que si X est vrai, alors Y doit suivre. Il teste (généralement de manière inadéquate) Y et le trouve vrai … Rincez et répétez avec le chercheur B et trouvez Y … Si X est en fait faux, cette piste ne mène nulle part. Des recherches imparfaites ne peuvent être ignorées: elles ont un coût réel et potentiellement croissant.
Comment les fausses découvertes sont-elles publiées? Quelques exemples peuvent aider. Le professeur Brian Wansink dirige le Food and Brand Lab à l’Université Cornell. Le laboratoire a eu un certain nombre de problèmes; plusieurs articles publiés ont dû être rétractés. L’un des problèmes les plus triviaux des laboratoires est le suivant (extrait du Chronicle of Higher Education .):
Wansink et ses collègues chercheurs ont passé un mois à recueillir des informations sur les sentiments et le comportement des convives dans un restaurant-buffet italien. Malheureusement, leurs résultats ne supportaient pas l’hypothèse d’origine. “Cela nous a coûté beaucoup de temps et notre propre argent à collecter”, se souvient Wansink. “Il doit y avoir quelque chose que nous pouvons récupérer ici.”
Quatre publications ont émergé de l’étude du buffet «récupéré».
Le véritable problème, la source probable de tous les autres problèmes de Wansink, pourrait être la volonté de produire des publications. Par cette mesure, son groupe de recherche est extrêmement performant: en 2014, 178 articles dans des revues à comité de lecture, 10 livres et 44 chapitres de livres.
La volonté de publier ne se limite pas au professeur Wansink. Il est universel dans la science académique, en particulier chez les jeunes chercheurs à la recherche de bourses de promotion et de recherche. Un moyen d’incrémenter les listes de publication consiste à ajouter des auteurs: les articles multi-auteurs ont beaucoup augmenté ces dernières années. Un autre est de publier dès que vous avez un résultat «significatif». La LPU («unité la moins publiable»), une blague éternelle parmi les chercheurs, est ce quantum de résultats insaisissable et irréductible qui suffira pour une publication. Une nouvelle industrie de revues «pop-up» est apparue pour répondre à ce besoin de publication.
Voici un autre exemple d’un blog scientifique récent. Le problème était le soi-disant niveau de signification que le chercheur devrait utiliser comme critère pour la véracité de son résultat. Si la probabilité que le résultat apparaisse par hasard soit inférieure à X%, il peut l’accepter comme étant vraie: 5% est la valeur conventionnelle pour X. La réponse (correcte) de l’expert était la suivante: “Il n’y a aucune référence faisant autorité pour utiliser 0,05 comme niveau de signification. Au contraire … le niveau de signification doit être choisi en fonction de l’ensemble du contexte … “La norme de 5% est beaucoup trop généreuse, en fait.
Mais plus révélateur que la réponse est la question – d’un gentleman de l’Université d’Oslo: “Comment puis-je justifier l’utilisation de la signification à 10%?” En d’autres termes, ce gars ne s’intéresse pas à la vérité de son résultat , mais dans ce qu’il faudrait pour le publier. Il est difficile d’imaginer une démonstration plus claire du déclin de la méthode scientifique.
Pourquoi ce lecteur à publier? La plupart des chercheurs sont maintenant des employés salariés. Ils ont besoin de publications car c’est ainsi qu’ils sont évalués. Le problème est que, à tout moment, le nombre d’ouvertures scientifiques, de questions fructueuses – des questions qui mènent à de nouvelles idées et non des impasses – est limité. Il n’a peut-être pas suivi le rythme de la demande. Il y a peut-être trop peu de bonnes questions concernant le nombre de scientifiques à la recherche. Qu’est-ce qui détermine alors le nombre de scientifiques?
En 1945, Vannevar Bush, ingénieur et intellectuel public, a rédigé un rapport influent qui a mené à la création de la National Science Foundation. Dans SCIENCE, The Endless Frontier Bush a déclaré que “le progrès scientifique sur un large front résulte du libre jeu des intellects libres, travaillant sur des sujets de leur choix, de la manière dictée par leur curiosité pour l’exploration de l’inconnu”. Bush a estimé que le domaine de la science est essentiellement infini, que les possibilités de faire de nouvelles découvertes sont illimitées. En bref: plus il y a de scientifiques, mieux c’est!
Mais est-ce vrai? La revendication ambitieuse de Bush a été récemment attaquée, en partie à cause d’une crise de réplication et d’autres problèmes avec le produit de recherche que je viens de décrire. Des tentatives sont faites pour remédier à ces problèmes, mais leur source peut être hors de notre contrôle.
Les mauvaises incitations font partie du problème, mais la structure d’incitation médiocre de la science moderne peut être un effet plutôt qu’une cause profonde. La vraie cause peut être la nature même de la science. Vannevar Bush a promis des avancées scientifiques sur un “large front”. “Large”, oui, mais pas infini. À mesure que chaque problème est résolu, de nouvelles questions s’ouvrent. Ce processus peut ne pas être terminé, mais le nombre de lignes de recherche fructueuses à un moment donné pourrait bien être limité. La réaction naturelle à cela peut être un assouplissement des normes scientifiques. Le nombre croissant de faux pas pseudo-scientifiques dont nous avons été témoins ces dernières années n’est peut-être pas seulement une preuve de la fragilité humaine, mais reflète le fait que le nombre de pistes d’enquête fructueuses n’a pas suivi le nombre croissant de scientifiques.
Cette disparité n’est pas désastreuse. Il y a encore des réponses à trouver; l’avance continue. Mais le décalage signifie que le rapport entre les expériences infructueuses et les expériences réussies augmentera.
L’échec scientifique est le suicide professionnel
Un taux d’échec élevé ne constitue pas en soi un problème scientifique. L’échec est OK; c’est un élément nécessaire de la science. Le problème est que l’échec répété n’est pas compatible avec l’avancement professionnel. La science est maintenant pour la plupart des scientifiques une carrière pas une vocation. Les échecs sont essentiels au progrès scientifique. Bon nombre des avancées scientifiques majeures, de la théorie de Darwin au boson de Higgs, ne sont intervenues qu’après de nombreuses années de recherche souvent infructueuse pour confirmer des preuves. Darwin pourrait persister parce qu’il était indépendamment riche. La recherche du Higgs faisait partie de l’entreprise collective du Large Hadron Collider, un investissement nécessairement à long terme. Mais l’échec, en particulier l’échec individuel, ne joue pas bien avec les administrateurs de la recherche. Un scientifique ambitieux ne peut pas se permettre d’échouer.
Et cela a créé un problème majeur, qui menace d’éroder les fondements mêmes de la science. Les chercheurs anxieux seront attirés par les méthodes de recherche qui ressemblent assez à la science pour devenir une pratique acceptée, mais sont assurés d’obtenir des résultats publiables au moins une partie du temps.
En d’autres termes, la crise de la réplication et d’autres problèmes scientifiques, tels que le ralentissement apparent du taux de découverte de nouveaux médicaments thérapeutiques, peuvent refléter plus que la susceptibilité humaine à de mauvaises incitations. Peut-être que le problème n’est pas les gens, mais la nature? Peut-être y a-t-il simplement trop de scientifiques pour le nombre de problèmes solubles disponibles? Peut-être avons-nous pris les fruits bas et ce qui reste est trop difficile à récolter sans abandonner la rigueur?
Il peut y avoir trop de choses. Il doit y avoir un nombre optimal de scientifiques représentant moins de cent pour cent de la population adulte. Au-delà de ce nombre optimal, la communauté scientifique commencera à générer du bruit plutôt que du signal et l’avancement sera entravé. Sommes-nous à ce stade dans des domaines tels que les sciences sociales et la biomédecine? La prose inspirante de Vannevar Bush était appropriée à la fin de la Seconde guerre mondiale et a mené à de grandes avancées dans la science pure et appliquée soutenue par le gouvernement. Mais la situation actuelle peut être très différente. Nous devrions au moins réfléchir à la question de savoir si nous avons besoin de davantage, mais de moins, de scientifiques sociaux et biomédicaux.
