Qu’est-ce qu’un «test de Turing minimal» sur les humains?

Quel mot diriez-vous pour convaincre quelqu’un que vous n’êtes pas un robot?

En 1950, l’informaticien Alan Turing posa la question suivante: “Les machines peuvent-elles penser?” Et propose un test: un ordinateur pourrait-il imiter de manière convaincante un humain lors d’une conversation écrite? Deux chercheurs en sciences cognitives ont proposé une version simplifiée du test, non pas pour contester l’intelligence artificielle, mais pour explorer ce que nous pensons être humain nous rend spécial.

Dans leur «test de Turing minimal», les personnes et les machines n’ont qu’un mot pour convaincre un juge humain qu’elles sont en vie. Que dirais-tu? Ils ont mené une enquête en ligne, décrite dans le numéro de novembre du Journal of Experimental Social Psychology , que j’ai également couvert pour Science . Environ un millier de participants ont proposé quatre cents mots différents, le plus commun étant l’ amour (14%), la compassion (3,5%), l’ humain (3,2%) et s’il vous plaît (2,7%). Les autres entraient dans les catégories de l’affect ( bonheur ), de la foi et du pardon ( Jésus ), de la nourriture ( banane ), des robots et des animaux ( chien ), de la vie et de la mort ( famille ) et des fonctions et profanités corporelles ( pénis ).

Voir ci-dessous pour un tableau des mots utilisés plus d’une fois, avec la taille du cercle indiquant la popularité. La couleur indique la catégorie. La position indique «l’incorporation» d’un mot, une mesure algorithmique de sa signification telle que des mots similaires soient proches les uns des autres.

Journal of Experimental Social Psychology

Source: Journal de psychologie sociale expérimentale

Quarante-sept pour cent des gens ont proposé un mot en rapport avec l’esprit. Parmi ceux-ci, 15% en ont cité un qui concernait la pensée et l’action (comme le jugement) et 85%, un qui portait sur la perception et le ressenti (comme le deuil ). Les gens semblent croire que les ordinateurs sont intelligents mais auraient peu d’utilité pour les mots décrivant une expérience subjective. (Des recherches antérieures sur la «vallée mystérieuse de l’esprit» montrent que, lorsque les ordinateurs parlent de sensation et de sentiments, cela fait peur.)

Quelle est l’efficacité de ces choix? Les chercheurs ont pris le premier mot de chaque catégorie: amour, s’il vous plaît, miséricorde, compassion, empathie, banane, vivant, humain, robot et caca. Deux mille participants en ligne ont chacun vu un couplage aléatoire et ont deviné qui était fourni par un humain (bien que tous les deux l’étaient). Mis à part l’ amour , il n’y avait pas de corrélation entre la popularité d’un mot dans la première tâche et son caractère convaincant dans la seconde, ce qui indique que les auteurs n’ont pas su prédire comment les mots seront reçus. Le mot le plus gagnant était caca . Dans la figure ci-dessous, les pourcentages indiquent la fréquence à laquelle un mot de la ligne bat un mot de la colonne.

Journal of Experimental Social Psychology

Source: Journal de psychologie sociale expérimentale

Les chercheurs – John McCoy, maintenant à l’Université de Pennsylvanie, et Tomer Ullman, au MIT – écrivent que s’ils avaient inclus plus de mots dans la deuxième tâche qui évoquent des émotions plutôt que de simplement les décrire, tels que des blasphèmes, été jugé humain aussi. Le silicium soupçonnerait-il le dégoût viscéral que certaines personnes ressentent au mot humide? (Ce sera après avoir lu cet article.)

Quelques mots amusants proposés par les participants solitaires dans la première tâche: Schtroumpf, Smegma, Ginormous, Yolo, Noob, Oups, Lol, Omg, Frienemie, coexistez, Hitler, Captcha, Terminator, hein? Certains ont vraiment saisi le moment. Quand on lui a demandé si ces derniers étaient vraiment un mot, McCoy a déclaré: «En tant que méta-juges de tout ce processus, nous avons décidé de le permettre, car cela semblait être une réaction appropriée.”

Les chercheurs pensent que leur test met en évidence les intuitions des gens sur ce qui sépare les humains des machines et qu’il pourrait être utilisé pour tester d’autres stéréotypes. Quel mot pense-t-on qu’une femme ou une personne âgée dirait? Mais l’interprétation est compliquée par le fait que les répondants doivent penser à la façon dont les autres penseront ce qu’ils pensent.

J’ai dit aux chercheurs que leur test semblait être une manière bruyante de demander quelles qualités sont supposées séparer les humains des machines, étant donné que les réponses sont filtrées à travers une modélisation mentale récursive et d’autres processus. Ne pourraient-ils pas simplement demander aux gens de nommer un attribut ou une préoccupation uniquement humaine? McCroy a déclaré que la meilleure façon de susciter de tels jugements n’est «pas vraiment évidente». Ils soupçonnent que «la pression concurrentielle de poser la question comme nous le ferons amènera certaines personnes à communiquer des attributs plus profonds et non évidents qui séparent les hommes et les machines», à l’instar de bootylicious , «puisque des attributs évidents peuvent conduire à la défaite par un robot intelligent».

En effet, certains ont ressenti la pression concurrentielle. Dans la deuxième tâche, Ullman m’a dit, un participant a commenté: «Mec, c’était vraiment difficile. J’avais l’impression d’être dans une courte histoire d’Asimov! »Les chercheurs ont examiné le mot appariement que cette personne avait vu: robot et humain .

Références

McCoy, JP et Ullman, TD (2018). Un test de Turing minimal. Journal of Experimental Social Psychology, 79, 1-8.