Pouvez-vous gérer la vérité sur la recherche?

Avant de considérer les résultats de recherche comme acquis, rappelez-vous toutes les raisons pour lesquelles vous n’en avez pas.

MEME

Source: MEME

Pouvez-vous gérer la vérité? Certains d’entre vous se souviennent peut-être de Jack Nicholson à la tribune dans A Few Good Men. On me rappelle souvent cette phrase lorsque je discute des résultats de recherche. Malheureusement, ce n’est pas parce que les résultats sont troublants, bien que beaucoup le soient, mais parce que, comme le sait tout bon scientifique en psychologie, la recherche ne vous donne pas de vérités. C’est une vérité à garder à l’esprit lorsque vous lisez des gros titres proclamant «La recherche montre…».

Les gens aiment avoir des réponses précises. Nous aimons cela quand la science peut nous dire quoi faire. Nous nous trompons parfois en pensant que la dernière découverte sur un sujet (surtout si elle corrobore notre point de vue) est la vérité sur ce sujet. Mangez ceci pour la santé. Ne faites pas ça pour le bonheur. Lorsque vous êtes avertis de l’entreprise scientifique, vous savez qu’une étude ne peut pas être la fin de l’histoire. Une étude scientifique ne supporte qu’une hypothèse. L’un des deux mots les plus frustrants que j’ai à prononcer lors des discussions sur la recherche est «ça dépend». Mais c’est la vérité. Peux-tu t’en charger?

Le comportement est complexe, ce qui est l’une des principales raisons pour lesquelles il est difficile d’obtenir des réponses définitives. Les résultats pourraient varier en fonction de la manière dont la recherche a été menée, des variables mesurées, de la manière dont les participants ont été recrutés, de la taille de l’échantillon, du contexte dans lequel l’étude a été réalisée et d’une foule d’autres facteurs. Atul Gawande a écrit à ce sujet de manière convaincante en matière de médecine, où il a opéré sur la médecine elle-même, la montrant compliquée, troublante et profondément humaine.

Nous savons également que les résultats des études ne se répliquent même pas. Vous aurez peut-être plus tendance à penser que quelque chose est la vérité si vous obtenez le même résultat à chaque fois. Il y a eu beaucoup d’échecs de réplication dans la science, témoignant encore de la complexité de la recherche. Même si vous répétez complètement la méthodologie d’une étude, vous n’obtiendrez peut-être pas les mêmes résultats. Mais cela empire.

Si les problèmes de réplication n’étaient pas assez graves, il est maintenant prouvé que de nombreux scientifiques n’ont pas été totalement honnêtes sur la manière dont ils ont mené leurs recherches. Dans le cas le plus récent, le Dr Brian Wansink a démissionné de l’Université Cornell après une enquête longue d’une année ayant montré qu’il avait commis une faute académique. En fait, le mois dernier, six de ses articles ont été retirés par le prestigieux Journal de l’American Medical Association (JAMA). Beaucoup de ses études antérieures sur l’alimentation sont maintenant suspectes. Mais c’est encore pire.

Apparemment, même les mêmes données donnent des résultats différents selon les personnes qui les analysent. Cette semaine, Silberzahn et ses collègues (Silberzahn et al. 2018) publient une étude révélatrice. Une question posée par 29 scientifiques et 61 scientifiques a été posée: les arbitres de football sont-ils plus susceptibles de donner des cartons rouges aux joueurs aux teintes de peau foncée qu’aux joueurs aux teintes de peau claire? Voici le botteur. Ils ont tous reçu le même ensemble de données. Les résultats ont varié. Vingt équipes ont dit OUI. Neuf équipes ont dit NON. Parmi ceux-ci, la force de l’effet était différente.

APS

Source: APS

Pourquoi est-ce arrivé? Les scientifiques ont utilisé différentes analyses pour tester les questions. Différents groupes contrôlés pour différents facteurs. Alors que certains groupes ne contrôlaient aucun facteur, d’autres contrôlaient jusqu’à sept facteurs différents. Mais rappelez-vous que les données étaient exactement les mêmes.

Cette étude est un rappel étonnant de quelque chose dont on parle rarement. Ce que le chercheur fait avec les données fait la différence. Nous ne parlons pas de la pêche aux résultats, de la fabrication de chiffres ou pire, de la simulation des résultats. Cette étude a été une fenêtre ouverte sur la manière dont les chercheurs façonnent leurs habitudes. Les chercheurs analysent les animaux de compagnie et établissent des méthodes qu’ils ont tendance à utiliser lorsqu’ils abordent la recherche. La grande révélation ici est que ces idiosyncrasies peuvent faire la différence si une conclusion est considérée comme vraie ou fausse.

Aucune étude de recherche ne vous donne la vérité. Chacun a de nombreuses limitations. Assurez-vous de traiter les principales constatations avec la prudence requise et de ne pas vous laisser emporter par une seule étude. La science se corrige d’elle-même et les incohérences nous poussent à faire de meilleures recherches. Et c’est bon pour nous tous.