Les algorithmes sont extrêmement intelligents pour traiter avec précision d’énormes quantités d’informations. Mais un problème récent avec un prêt bancaire est un regard inquiétant derrière le rideau.
La semaine dernière, j’ai demandé un prêt personnel. Ma banque m’avait dit que je pouvais demander le prêt en ligne. Donc je l’ai fait via leur site web.
Je remplis les informations, lui donne mes détails personnels et appuie sur Soumettre.
Quand je me suis réveillé le lendemain matin, la banque avait approuvé le prêt et m’avait annoncé qu’elle allait maintenant transférer l’argent sur mon compte. Hourra.
Sauf que le taux était de 7,9%. Environ 5% plus élevé que ce à quoi je m’attendais. La banque avait indiqué que cela pourrait être aussi bas que 3% (comme annoncé sur leur site web). Ceci était bien sûr basé sur une vérification de crédit. À ma connaissance, mon crédit est bon. Alors pourquoi 7,9%?
Je soupçonnais que c’était un problème avec mon crédit. J’ai donc appelé la banque pour le savoir.
On m’a dit que l’application soumettait simplement le formulaire à un algorithme et qu’elle récupérerait un taux.
“Savez-vous pourquoi c’est ce taux?”
“Désolé monsieur, je ne le fais pas.”
“Est-ce mon crédit?”
“Nous ne recevons aucune information sur votre crédit.”
“Pouvez-vous regarder?”
«Non, nous n’avons pas accès à cette information. Tout est dans l’algorithme. ”
“Donc, vous soumettez simplement les informations à un algorithme et il dit quel taux je reçois?”
“Oui.”
Je leur ai demandé d’annuler le prêt.
Ensuite, je suis allé en ligne sur un autre site Web et j’ai soumis une autre demande. Le site Web a renvoyé mon approbation instantanément et a indiqué que le taux était de 10,9%. Beurk.
Je me suis résigné à retourner à ma banque d’origine et à accepter leur taux exceptionnellement élevé.
J’ai rappelé ma banque et leur ai demandé si je pouvais annuler l’annulation du prêt.
“Non, mais tu peux me réappliquer au téléphone.”
“Ok”, j’ai dit, “Faisons-le.”
Elle a repris mes informations. “Alors, quel est votre titre”, dit-elle. «Dans votre candidature en ligne, vous avez mis« Professeur ». Mais votre compte bancaire indique «Dr.». Notez que toutes les cartes bancaires de cette même banque portent des noms différents, ce qui n’est pas anodin.
“Ce n’est pas grave.”
“Bien, vous devez en choisir un.”
“Dr., je suppose, donc ça ne va rien confondre.”
Elle a pris le reste de mes informations, la même chose que je l’ai fait en ligne, et a soumis ma demande à l’algorithme. Une seconde plus tard, elle a déclaré: «Cela a été approuvé à 3%. Nous vous enverrons les documents par la poste. ”
Notez que l’erreur apparente ici était assez simple. L’algorithme de la banque ne m’a pas reconnu en tant que membre de la banque et je n’ai donc pas obtenu le tarif membre de la banque. Il ne m’a pas reconnu parce que j’ai utilisé un titre différent.
J’avais choisi «Professeur» en ligne parce que c’était ce que j’étais, mais mon compte bancaire indiquait «Docteur», et c’est aussi ce que j’étais. Plus précisément, Dr. est exactement ce que j’étais quand je me suis inscrit à la banque. Si vous êtes moi, la différence dans les titres est complètement hors de propos. Si la banque n’en demandait pas, je n’en mettrais pas.
Les algorithmes qui n’ont aucune sémantique dédiée à la compréhension de la signification des mots n’ont aucun moyen de savoir à quel point un titre est important. Je suppose que si l’algorithme comprenait de quelque manière que ce soit les informations qu’il traitait, il se serait dit: «99,9% de tout ce que le demandeur dit à propos de lui-même est identique à celui qui possède un compte chez nous. Plus important encore, cette personne prétend avoir un compte chez nous et prétendre avoir un numéro de compte. En effet, ils veulent que l’argent soit envoyé sur le compte bancaire de cet autre type. Peut-être qu’ils sont le même gars! ”
Mais l’algorithme n’a pas fait cela. Il a assimilé une différence de titre à une différence complète. Cela pourrait-il en être de même si le nombre de personnes à ma charge changeait? Ou si mon partenaire a changé? Qu’en est-il des personnes qui changent de nom de famille, de sexe ou qui incluent parfois des suffixes comme Junior? Que se passe-t-il si j’ai récemment déménagé ou si j’ai mal entré mon adresse? Quel est l’impact potentiel d’une faute de frappe? Dans ce cas, l’erreur valait environ 100 dollars par 1 000 dollars empruntés.
Notez que l’algorithme, en ne révélant pas son erreur à la personne à qui j’ai parlé au téléphone, l’a rendue stupide en la forçant à me demander un titre qui pourrait m’identifier mal, même si elle savait déjà qui j’étais.
Il est facile de dire que c’était mon erreur. Évidemment, c’était mon erreur. À première vue, je suis la seule personne qui aurait pu agir différemment pour changer le résultat.
On pourrait soutenir que ce sont les programmeurs de l’algorithme qui ont commis l’erreur en le rendant incapable de voir ce que tout être humain pourrait voir. Mais cela attend trop d’un algorithme. L’algorithme devrait-il pouvoir émettre un jugement subjectif sur la question de savoir si deux personnes potentiellement différentes sont identiques? Et s’ils ne le sont pas?
Peut-être que l’algorithme devrait pouvoir sentir que quelque chose est louche et poser d’autres questions. Clairement, nous n’en sommes pas encore là.
Le problème n’est pas vraiment de savoir qui est en faute. Le vrai problème est de savoir comment nous allons nous renseigner sur les défauts des algorithmes. Dans un article précédent, j’ai écrit sur la santé mentale des algorithmes. Les singeries de cet algorithme de prêt bancaire ajoutent une note humoristique à cet article.
Cela me rappelle l’homme appelé Shereshevsky dans le livre de Luria, «L’esprit d’un némoniste». Shereshevsky avait une mémoire presque parfaite. Il pouvait se souvenir de chiffres et de noms et de ce qui se passait certains jours de sa vie. Mais à cause de sa mémoire, il avait également du mal à identifier les gens. Il se souvenait de tout si bien que s’il rencontrait une personne qui avait une expression différente, elle devenait une nouvelle personne. Un simple changement d’expression fut suffisant pour rejeter Shereshevsky. Shereshevsky ne pouvait pas généraliser.
L’algorithme de banque ne peut pas non plus généraliser. C’était aveugle à quelque chose que la plupart des gens considéreraient comme une évidence. Pourtant, cet algorithme pourrait se généraliser dans un autre cas. L’algorithme est explicitement programmé pour prendre en compte mes informations et les généraliser aux remboursements de prêts d’autres personnes comme moi, afin de déterminer le niveau de risque en fonction des risques que la banque a pris pour des personnes comme moi.
Comme l’algorithme ne pouvait pas généraliser mon identité à d’autres instances de mon identité, il m’a effectivement traité comme deux personnes différentes. C’était un Shereshevsky informatisé, traitant un homme qui sourit et plus tard fronça les sourcils comme des individus différents.
Ma situation est plutôt bénigne, mais je doute que ce soit toujours le cas. Les algorithmes portent des jugements sur les assurances, les traitements médicaux et le fait de savoir si un panneau est un panneau d’arrêt ou un panneau 50 mph. Il est presque certain que les robots militaires vont mal identifier les alliés des cibles et ils l’ont probablement déjà fait. Les algorithmes sont placés dans des rôles de plus en plus importants, où non seulement l’argent, mais la vie et la santé sont en jeu.
Dans de nombreux cas, les algorithmes sont moins sujets aux erreurs que les humains. Mais les erreurs ne sont pas simplement moins, elles sont différentes. Et cela va probablement changer le type de dommage collatéral que nous devrions attendre de leur utilisation. Pire encore, il est extrêmement difficile de se disputer avec un algorithme car peu de gens savent exactement ce que fait cet algorithme. Peut-être moins que tout, l’algorithme lui-même! Dans certains cas, il peut ne pas y avoir une seule personne qui comprend le fonctionnement complet de l’algorithme. Il devient alors difficile de changer, d’améliorer et de détecter avec exactitude où cela ne va pas.
Thomas Hills sur Twitter