Nous voulons des directives pragmatiques pour décider quels experts, le cas échéant, sont à écouter lorsqu’ils prennent une décision difficile et importante. Comment pouvons-nous savoir qui est vraiment crédible?
Bottom line: Nous ne pouvons pas savoir avec certitude. Il n’y a pas de critère de fer.
Cependant, il existe des critères souples, des indicateurs auxquels nous pouvons prêter attention. J’en ai identifié sept à ce jour, en m’appuyant sur des documents tels que Crispen & Hoffman, 2016 et Shanteau, 2015, ainsi que sur les suggestions de Danny Kahneman et Robert Hoffman. Même si aucun de ces critères n’est infaillible, ils semblent tous utiles et pertinents:
(a) Performance réussie – bilan mesurable de la prise de bonnes décisions dans le passé. (Mais avec un grand échantillon, nous réussissons très bien, par hasard, comme les stock-pickers qui ont correctement indiqué la direction du marché au cours des 10 dernières années.)
(b) le respect des pairs. (Mais les évaluations par les pairs peuvent être contaminées par la confiance en soi d’une personne ou par l’articulation fluide des raisons de ses choix.)
(c) Carrière: nombre d’années d’exécution de la tâche. (Mais certains anciens combattants de 10 ans ont une année d’expérience répétée 10 fois et, pire encore, certaines vocations ne fournissent aucune occasion de rétroaction significative.)
d) Qualité des connaissances tacites telles que les modèles mentaux. (Mais certains experts peuvent être moins explicites car les connaissances tacites sont par définition difficiles à articuler.)
e) Fiabilité. (La fiabilité est nécessaire mais non suffisante. Une montre toujours lente d’une heure sera extrêmement fiable mais totalement inexacte).
(f) Titres de compétence – octroi d’une licence ou d’une certification permettant de respecter les normes professionnelles. (Mais les références signifient simplement un niveau minimal de compétence, pas la réalisation d’expertise.)
(g) réflexion. Quand je leur demande “Quelle est la dernière erreur que vous avez commise?”, Des experts très crédibles décrivent immédiatement une erreur récente qui les a menacés. En revanche, les compagnons se faisant passer pour des experts disent généralement qu’ils ne peuvent en penser à aucun; ils semblent sincères mais, bien sûr, ils peuvent faire semblant. Et certains experts, interrogés sur des erreurs récentes, peuvent, pour toutes sortes de raisons, choisir de ne partager aucune de ces erreurs, même celles sur lesquelles ils méditent. Ce critère de réflexion et de franchise n’est donc pas plus sûr que les autres.
Par conséquent, même si nous ne pouvons pas en être sûrs, nous pouvons toujours juger qui considérer comme expert. Regardez le critère (d) ci-dessus. Les connaissances tacites incluent les compétences perceptuelles. Considérez les commentateurs lors d’événements olympiques comme la plongée. Ils voient des choses que nous ne voyons pas jusqu’à ce qu’ils nous montrent au ralenti. Je les appellerais des experts. La reconnaissance des formes est un autre aspect de la connaissance tacite. Les pompiers que j’étudie utilisent la reconnaissance des formes pour évaluer les situations qui me paraissent déroutantes – et les événements qui ont suivi ont confirmé leur jugement. Je les considère comme des experts. L’anticipation est un autre aspect de la connaissance tacite. En cas d’incendie, j’étudie la taille et l’intensité des flammes et j’interroge sur les équipements supplémentaires nécessaires. Mais les commandants expérimentés se demandent où placer cet équipement, où placer chaque camion de manière à ne pas gêner celui des autres camions ou à écraser les tuyaux. Ils sont très en avance sur moi. Je les considère comme des experts. Les modèles mentaux sont un autre type de connaissance tacite. Les opérateurs de l’usine pétrochimique que je viens d’étudier peuvent décrire les unités de l’usine, leur mode de connexion et leur fonctionnement, mais aussi leur fonctionnement, leurs risques de panne, un événement subtil, par exemple, la défaillance d’un capteur affectera les performances, sa détection et son utilisation. Ils sont conscients des causes et des interactions causales que je ne peux même pas deviner. Je les considère comme des experts.
Revenez à la pensée anticipative. Lors de la crise des missiles à Cuba en 1962, certains membres de l’équipe de John F. Kennedy voulurent lancer une attaque surprise contre Cuba. D’autres, les vrais experts, ont souligné la probabilité que l’URSS exerce des représailles avec une frappe contre Berlin-Ouest, ce qui déclencherait probablement une guerre nucléaire. Donc, ils ne proposaient pas de prédictions. Au lieu de cela, ils utilisaient leurs modèles mentaux pour illustrer les implications géopolitiques. Je considère ce deuxième groupe comme des experts. Ils ont vu des choses, ont vu des implications, ce que d’autres n’ont pas fait.
Mon argument ici est que le critère (d) nous offre beaucoup de poids pour évaluer qui est un expert. Cela nous offre une mesure transitive: voir des choses que d’autres ne voient pas. Partir sur le disque comme voyant des choses qui s’avèrent être exactes. C’est ce que font les experts et c’est ce qui les distingue en tant qu’experts. Klein & Hoffman (1993) fournissent une analyse supplémentaire de la manière dont les experts peuvent voir l’invisible – les connaissances tacites constituant le noyau de la stratégie (d).
Cet avantage relatif, experts par rapport au reste d’entre nous, est une perspective différente de celle qui consiste à adopter un critère absolu indiquant à quel point les prétendus experts sont proches de la réponse réelle. Quand les gens démontrent qu’ils voient des choses importantes que je n’ai pas remarquées, c’est alors que je décide de me fier à leur expertise. Je ne m’attends pas à ce qu’ils soient parfaits. Mais j’apprécie qu’ils sont bien meilleurs que moi et mieux que les autres dans la salle.
Danny Kahneman (communication personnelle) a suggéré un ajout à Strategy (d): Dire des choses originales qui ne sont pas idiotes. C’est une autre façon pour les experts de se révéler à travers leurs commentaires et leurs observations.
Point mineur: je ne vois pas de définition précise ni d’étape pour devenir un expert. Je le vois comme un continuum, comme un avantage relatif par rapport aux autres.
Existe-t-il des experts dans tous les domaines de l’entreprise humaine? Je ne pense pas. Il y a des champs qui sont très procéduralisés. Les personnes sont considérées comme des experts si elles savent vers quelle page du manuel de procédure se tourner. Je ne les considère pas comme des experts et je ne crois pas qu’il y ait des experts dans tous les domaines. En fait, avec un roulement élevé, je vois beaucoup de domaines sans experts.
Qu’en est-il des astrologues? À l’époque pré-scientifique, les astrologues développaient des connaissances tacites, étaient très articulés et étaient considérés comme des experts. Dans un monde pré-scientifique, on ne tiendrait pas compte de la plupart des critères que j’ai énumérés au début de cet essai. Nous excluons (a) la performance et (d) la qualité des connaissances tacites et (e) la mesure de la fiabilité et (f) la certification professionnelle. Cela laisse (b) le respect des pairs et (c) une carrière. Donc, oui, dans un monde pré-scientifique, un astrologue très articulé réussit. Identique à un sélecteur d’actions ou à un expert politique de la télévision, encore aujourd’hui.
Enfin, examinons le critère (e) fiabilité. Ce critère est nécessaire mais non suffisant. Cela est nécessaire car la crédibilité des experts dépend de la formulation des mêmes recommandations avec les mêmes apports.
Certains voudraient élargir la notion de fiabilité pour couvrir la fiabilité entre experts, mais Jim Shanteau (2015), l’un des principaux experts en expertise, a souligné qu’il serait utile de laisser différents experts exprimer différentes perspectives. Nous faisons souvent appel à des experts, non pas en tant que pronostiqueurs, mais en tant que consultants et nous pouvons tirer profit de leurs points de vue divergents.
Nous recherchons donc vraiment une fiabilité interne. Shanteau a montré que la fiabilité au sein d’un expert varie selon les domaines. Pour les prévisionnistes effectuant des prévisions à court terme, la fiabilité par expert est de 0,98. Pour les autres domaines, il reste important, bien que considérablement réduit, mais je pense qu’il est toujours beaucoup plus élevé que pour les novices, par exemple, r = 0,62 pour les inspecteurs des grains et r = 0,40 pour les psychologues cliniciens.
Cependant, je ne pense pas que nous puissions nous contenter de regarder la fiabilité statistique. Je pense que nous devons également examiner la fiabilité des processus. Envisagez la fiabilité test-retest. Vous administrez un test de 10 éléments à l’heure 1, puis vous administrez le même test à l’heure 2. Si je marque 5/10 à l’heure 1 et 5/10 à l’heure 2, vous constaterez probablement que cela indique la fiabilité Test-Retest. J’ai eu le même score les deux fois.
Mais supposons que les 5 premiers éléments soient corrects à Time-1 et que les 5 derniers éléments soient corrects à Time-2. Même si j’ai obtenu le même score de 5/10 les deux fois, ma performance était complètement différente. Mon résultat montre un manque total de fiabilité, pas de fiabilité. C’est pourquoi je soutiens qu’il nous faut un deuxième critère, un critère de processus, en plus du critère statistique.
De plus, nous devons faire attention au critère de fiabilité, car nous ne voulons pas encourager les gens à rechercher une fiabilité trop élevée, ce qui encouragerait la rigidité plutôt que l’exploration continue, essentielle pour devenir un expert.
Donc, sept critères. Pour être considéré comme un expert, une personne doit répondre à au moins un de ces critères, et il est probablement judicieux de s’attendre à ce qu’elle respecte au moins deux ou trois des critères. Nous ne devrions pas essayer de cocher le nombre de critères remplis car la qualité est également importante, en particulier avec le critère (d) la qualité des idées d’une personne. Et nous devrions également nous méfier des critères qui pourraient nous tromper, tels que la confiance en soi de la personne.
Nous pourrions essayer de devenir plus habiles à identifier des experts, à formuler des jugements et à obtenir des commentaires, et à réfléchir à ce que nous aurions dû remarquer et ce que nous aurions dû ignorer. De cette manière, nous pourrions peut-être développer une expertise en matière d’identification d’experts.
Références
Crispen, P. & Hoffman, RR (2016). Combien d’experts? IEEE Intelligent Systems, novembre / décembre, 56-62.
Klein, GA, et Hoffman, RR (1993). Voir l’invisible: aspects perceptuels / cognitifs de l’expertise. Dans M. Rabinowitz (Ed.), Fondements pédagogiques des sciences cognitives (pp. 203-226). Mahwah, NJ: Lawrence Erlbaum Associates.
Shanteau, J. (2015). Pourquoi les domaines de tâches importent (encore) pour la compréhension des compétences. Journal de recherche appliquée en mémoire et cognition, 4, 169-175.
