La guerre des experts

Il y a un effort délibéré pour réduire notre confiance dans les experts et jeter le doute sur l'expertise elle-même. Cet effort, à bien des égards, ressemble à une guerre menée pour le terrain intellectuel, la crédibilité scientifique, le gain politique et même économique.

Cependant, je suis d'avis que la plupart des affirmations de ces experts-expéditeurs sont trompeuses et que les arguments ont tendance à être excessifs. Mais ces revendications et arguments ne peuvent pas simplement être ignorés parce qu'ils ont un certain effet. Par conséquent, je veux réfuter les allégations trompeuses et les arguments surestimés. Mes collègues et moi avons préparé plusieurs réfutations: un chapitre intitulé «La guerre des experts» (Klein et al., Sous presse) et un court article (Klein et al., 2017) basé sur ce chapitre. Je ferai également une présentation sur la guerre contre les experts dans un panel lors de la réunion sur les facteurs humains et l'ergonomie en octobre 2017 à Austin au Texas.

Dans cet essai, je veux résumer brièvement les principaux thèmes du chapitre et de l'article.

Les cinq communautés engagées dans cette guerre d'experts sont: la recherche décisionnelle, l'heuristique et les biais (HB), la sociologie, la performance fondée sur les preuves et la technologie de l'information.

• Comment pouvez-vous faire de votre travail de rêve une réalité?
• Raccourci pour comprendre les autres
• Mensonges, auto-tromperie et narcissisme malin
• Comment décidons-nous de rompre ou non?
• La santé mentale et les effets des médias sociaux

Source: Ben Shneiderman, utilisé avec permission

Recherche décisionnelle Les études primaires menées par cette communauté ont montré que les modèles statistiques surpassent les experts. Pourtant, ce qui est souvent oublié, c'est que les variables dans les formules ont été dérivées à l'origine des conseils d'experts. Le principal avantage des formules est qu'elles sont cohérentes. Cependant, les formules ont tendance à être fragiles – quand elles échouent, elles échouent misérablement. Et les expériences ont tendance à être soigneusement contrôlées, évitant les conditions désordonnées auxquelles les experts doivent faire face, tels que des objectifs mal définis, des conditions changeantes, des enjeux élevés, une ambiguïté sur la nature et la fiabilité des données. En outre, la recherche se concentre généralement sur des mesures uniques et ignore les aspects de la performance qui sont ambigus et difficiles à quantifier. Enfin, les avantages des méthodes statistiques tendent à se trouver dans des situations bruitées et complexes où les résultats ne sont pas très précis, même s'ils sont quelque peu meilleurs que les jugements d'experts.

Heuristiques et biais (HB) . Kahneman et Tversky (Tversky et Kahneman, 1974, Kahneman, 2011) ont montré que les gens, même les experts, sont victimes de biais de jugement. Cependant, la plupart des recherches HB concernent des étudiants effectuant des tâches artificielles et inconnues, sans aucun contexte pour les guider. Lorsque les chercheurs utilisent un contexte significatif, les biais de jugement diminuent habituellement. Et d'ailleurs, les heuristiques sont généralement utiles, comme le soulignent Kahneman et Tversky eux-mêmes.

Sociologie Les membres de cette communauté affirment que l'expertise est une fonction de la communauté et des artefacts entourant la tâche, se référant à la «cognition située» et la «cognition distribuée». Les experts-négateurs soutiennent que la cognition experte est construite socialement et n'est pas une fonction. de la connaissance individuelle. Il est clair que les facteurs d'équipe et de situation jouent un rôle dans la performance des experts, mais cette position extrême semble intenable – remplacer les experts d'une équipe par des compagnons et voir comment la performance globale en souffre.

• Cartographie des sources de pouvoir
• Qu'est-ce que le «raisonnement émotionnel»? Et pourquoi est-ce un problème?
• Enseigner et écrire sur la diversité
• Trouble de la personnalité borderline: Qui fâche qui?
• Pourquoi la prédiction de Carl Sagan en 1995 semble si préventive

Performance basée sur les preuves . L'idée ici est que les professionnels, tels que les médecins, devraient fonder leurs diagnostics et leurs remèdes sur des preuves scientifiques au lieu de s'appuyer sur leurs propres jugements. De toute évidence, trop de traitements de charlatanisme et de superstitions injustifiées sont devenus populaires, et des expériences contrôlées ont aidé à les éliminer. Cependant, les meilleures pratiques scientifiquement validées ne remplacent pas le jugement des spécialistes, qui est nécessaire pour évaluer la confiance dans les données probantes, réviser les plans qui ne semblent pas fonctionner et appliquer des règles simples à des situations complexes. En médecine, les patients présentent souvent plusieurs affections en même temps, alors que la preuve se rapporte généralement à une condition ou une autre.

Technologie de l'information L'intelligence artificielle, l'automatisation et le Big Data ont chacun prétendu pouvoir remplacer des experts. Cependant, chacune de ces revendications est injustifiée. Commençons par AI. Les systèmes intelligents devraient être capables de faire des choses comme la prévision météorologique mieux (et moins cher) que les humains, mais les statistiques montrent que les prévisionnistes humains améliorent les prédictions de la machine d'environ 25%, un effet constant dans le temps. Les succès d'IA ont été dans des jeux comme les échecs, Go et Jeopardy – des jeux bien structurés, avec des référents non ambigus et des solutions correctes et définitives. Mais les décideurs sont confrontés à des problèmes épineux avec des objectifs flous dans des situations ambiguës et dynamiques, des conditions qui vont au-delà des systèmes d'IA. Comme Ben Shneiderman et moi l'avons observé dans un essai précédent, les humains sont capables de penser à la frontière, de s'engager socialement et d'être responsables des actions. Ensuite, nous regardons l'automatisation, qui est censée économiser de l'argent en réduisant les emplois. Cependant, des études de cas montrent que l'automatisation dépend généralement du fait d'avoir plus d'experts, de concevoir les systèmes et de les garder à jour et fonctionner. En outre, l'automatisation est souvent mal conçue et crée de nouveaux types de travail cognitif pour les opérateurs. Enfin, les approches Big Data peuvent effectuer des recherches sur bien plus d'enregistrements et d'entrées de capteurs que n'importe quel humain, mais ces algorithmes sont susceptibles de voir des modèles là où ils n'existent pas réellement. Le projet FluTrends de Google a été annoncé comme une réussite, mais a ensuite échoué si gravement qu'il a été retiré de l'utilisation. Les algorithmes de Big Data suivent les tendances historiques, mais peuvent manquer des écarts par rapport à ces tendances. De plus, les experts peuvent utiliser leurs attentes pour repérer des événements manquants qui peuvent être très importants, mais les approches du Big Data ne sont pas conscientes de l' absence de données et d'événements.

Par conséquent, aucune de ces communautés ne constitue une menace légitime pour l'expertise. Laissés sans discussion, les surestimations et les confusions qui sous-tendent ces revendications peuvent conduire à une spirale descendante dans laquelle les experts sont renvoyés. Bien sûr, nous devons apprendre des critiques de chacune de ces communautés. Nous devons apprécier leurs contributions et leurs capacités, afin d'aller au-delà de la position accusatoire prise par chaque communauté. Idéalement, nous serons en mesure de favoriser un esprit de collaboration dans lequel leurs découvertes et techniques positives peuvent être utilisées pour renforcer le travail des experts.