Périls d'expertise

À l'école d'études supérieures, dans le cadre de mon effort de dissertation-écriture sans fin, j'ai mené une expérience simple dans le laboratoire. Mon but était de chercher des moyens d'augmenter la performance des tâches, donc je recrutais constamment des participants et leur donnais des devoirs et mesurant leur accomplissement ou performance en temps opportun (combien de fois ont-ils repéré une erreur grammaticale? question d'algèbre?)

Dans une étude particulière, j'ai émis l'hypothèse que les gens tergiverseraient moins dans les groupes. J'avais des gens qui travaillaient seuls; et j'avais des gens qui travaillaient sur des tâches similaires en groupes. Je leur ai donné des essais à relire, j'ai attendu, j'ai corrigé leurs essais et les ai payés à partir de mon très petit financement expérimental. En fin de compte, les gens ne travaillaient pas plus en groupe (les procrastinateurs le resteront peu importe le nombre de personnes qui les regardent) et mon précieux financement était à la porte. Bien sûr, cela m'a rendu fou, à la fois sur le plan professionnel et personnel. Personne ne publie un résultat négatif; les éditeurs sont intéressés à voir ce qui fonctionne plutôt que les choses qui ne fonctionnent pas. Plus important encore, sur le plan personnel, lorsqu'une expérience ne fonctionnait pas, cela retardait d'un an la date de mon diplôme.

Même si cette hypothèse particulière était sans mérite, j'ai vécu quelque chose de remarquable au cours de cette étude. J'avais environ 60 participants, et leur tâche consistait à relire des essais de 30 pages sur une période de trois semaines. Les essais ont été générés par ordinateur et ils étaient grammaticalement corrects mais intrinsèquement insignifiants et extrêmement ennuyeux. Voici un exemple de texte:

"Dans les œuvres de Joyce, un concept prédominant est la distinction entre le sol et la figure. Marx utilise le terme «féminisme» pour désigner non pas, en fait, le récit, mais postnarrative. Par conséquent, Scuglia [4] suggère que nous devons choisir entre le discours sous-textuel et le discours préculturel. Foucault suggère l'utilisation de l'existentialisme sartriste pour défier l'identité sexuelle. On pourrait dire que si le discours subtextuel tient, nous devons choisir entre l'existentialisme sartriste et le paradigme matérialiste du contexte. "

Je suis d'accord que c'est un peu difficile, car les phrases semblent vouloir dire quelque chose. La raison de donner aux sujets une tâche ennuyeuse et insignifiante était de mesurer le temps et l'effort qu'ils fournissaient pour chaque tâche. Chaque essai impliquait un certain nombre d'erreurs d'orthographe artificiellement insérées (tout ce qui concerne cette étude est artificielle, je le sais) et je payais les participants en fonction du nombre d'erreurs qu'ils avaient attrapées.

Le protocole expérimental exige que si des informations à la source sont nécessaires pendant l'étude, les participants doivent être informés une fois l'étude terminée. Leur consentement éclairé leur donne le droit de retenir les données collectées de leur comportement. Donc, si et quand un sujet apprend que la procédure impliquait des tâches insignifiantes et demande par conséquent à être retiré confidentiellement de la collecte de données, il doit se voir accorder le droit. La séance de débriefing donne également à l'expérimentateur l'opportunité de parler aux participants et de collecter des enquêtes de sortie si nécessaire.

À la fin de l'étude ci-dessus, j'ai rencontré personnellement les sujets, effectué leur paiement, expliqué la nature de l'étude et rappelé leurs droits. Je leur ai demandé ce qu'ils pensaient des essais. Est-ce que c'était intéressant? Combien de temps ont-ils passé à la tâche? Le feraient-ils encore?

Tous les sujets sauf un m'ont dit qu'ils s'ennuyaient avec ces essais, et qu'ils ne comprenaient rien (naturellement). Cependant, un de mes participants a dit qu'elle a beaucoup appris. J'ai été surpris, bien sûr. D'autant plus que les essais étaient absolument vides mêlés de mots. Cette participante était une étudiante diplômée et elle portait des livres lorsqu'elle est venue à la séance de débriefing. Je n'avais aucun doute qu'elle lisait beaucoup. Je lui ai demandé ce qu'elle étudiait. Elle a dit qu'elle était doctorante en littérature comparée.

Je sais qu'il n'est pas possible de tirer des conclusions avec un seul point de données, car la science a besoin de généralisations. Mais heureusement, les histoires et les anecdotes et les blogs ne le font pas. (Comme Philip Roth l'a dit, la politique généralise, l'art se particularise.) Alors, pourquoi cette étudiante en littérature ressent-elle le besoin de prétendre qu'elle a appris quelque chose?

Avant de délibérer, je voudrais dire que l'ordinateur n'a pas généré au hasard quelque chose qui avait du sens. Dans le cas où vous êtes un cynique, ce n'était pas le cas des singes tapant Shakespeare.

Ce qui se passait était une incapacité de l'étudiant à admettre toute ignorance dans son domaine d'expertise. Les experts, semble-t-il, sont parfois blessés par leur familiarité avec leur sujet parce qu'ils ont des illusions de connaissances. Deux chercheurs, Son et Kornell (2010) ont écrit sur les dangers de trop d'informations et comment l'expertise pourrait conduire à une confiance excessive.

Une de leurs études demande aux professeurs de mathématiques et d'histoire de classer les noms célèbres dans leurs domaines. Par exemple, un professeur de mathématiques reçoit la phrase suivante: «Mathématicien-Johannes de Groot». On demande au professeur d'évaluer si de Groot est un mathématicien. Ils pouvaient choisir parmi l'une des trois réponses: Oui, Non, Ne sait pas. Un professeur de mathématiques reçoit également les noms d'historiens et d'athlètes. Il y a des questions des trois catégories, mais le professeur est un expert dans une seule catégorie. Donc, le professeur de mathématiques fait aussi face à la question "Athlète-Lance Armstrong". Puis choisissez à nouveau l'une des réponses. Oui, non, je ne sais pas.

La capture dans l'étude est que certains des noms sont constitués. La question ressemble à ceci: "Mathématicien – Benoit Thoron." Comme il n'y a pas de telle personne dans le monde des mathématiques, la réponse correcte est "Non". La réponse prudente est "Ne sais pas". Je ne sais pas "moins de fois où la question était dans leur domaine d'expertise. Et au lieu d'admettre qu'ils ne savaient pas, ils répondaient plus souvent "Oui" à des noms inventés. Par exemple, les mathématiciens ont dit «oui» 19 fois aux mathématiciens maquillés et 7 fois aux historiens maquillés. Son et Kornell déclarent que "les experts ont été trompés en entérinant des mensonges parce qu'ils n'ont pas admis qu'ils ne savaient pas."

N'est-ce pas malheureux? Le nombre de docteurs et d'experts augmente chaque année. Nous entendons des affirmations affirmatives d'experts tout le temps, sous-estimant peut-être leur excès de confiance.

C'est malheureux à un autre niveau: Benoit Thoron aurait très bien pu être le nom d'un mathématicien. Ça a l'air sérieux, c'est français. Ça rime avec énumération.

Mais bon. Je ne peux rien écrire de plus car je ne suis pas un expert en noms de mathématiciens français.