Le livre de Michael Lewis, Moneyball, raconte l'histoire d'une équipe de baseball de la ligue majeure, l'Oakland Athletics, qui a cessé de compter sur les éclaireurs pour juger les talents des joueurs de balles et s'est tournée vers les analyses statistiques. Moneyball exprime l'un des thèmes favoris de Lewis: les soi-disant experts ne savent pas ce qui compte vraiment et, pour ne rien arranger, ils sont très confiants dans leurs propres jugements. Ils ne savent pas ce qu'ils ne savent pas. Moneyball exprime également un autre thème préféré de Lewis: des outsiders intelligents surpassant les soi-disant experts (voir aussi The Big Short). Moneyball a été publié en 2003 et est toujours un best-seller; il a été transformé en un film mettant en vedette Brad Pitt comme Billy Beane, le directeur général de l'athlétisme Oakland.
Lewis est un écrivain suffisamment talentueux pour ne pas laisser les faits déranger. Sa version des événements est raisonnablement mais pas tout à fait exacte (par exemple, voir l'essai de 2012 de Will Braund, How true is Moneyball?) Ces inexactitudes ne me dérange pas beaucoup.
Ma vraie préoccupation concerne le message central de Moneyball . Les mythes qu'il présente semblent s'installer, non seulement au sein du grand public, mais au sein de la communauté du jugement et de la prise de décision, dont les membres citent souvent Moneyball pour appuyer leurs recommandations professionnelles.
Cet essai décrit les trois mythes de Moneyball qui m'inquiètent le plus. Et je dois expliquer que l'essai n'est pas une attaque contre Michael Lewis. J'ai beaucoup apprécié chacun de ses livres que j'ai lus, et j'ai lu la plupart d'entre eux. Je l'ai également rencontré pour le déjeuner plusieurs fois et l'ai trouvé pour être spirituel et charmant. Je suis un grand fan.
Les mythes de Moneyball sont nécessaires pour raconter l'histoire – un traitement plus nuancé ne serait pas devenu un best-seller. Cela aurait mieux convenu en tant qu'article dans une revue professionnelle.
Cependant, quand je vois des articles dans des revues professionnelles qui citent Moneyball , je ressens le besoin de lancer un avertissement.
Voici les trois mythes que je veux examiner de plus près:
Premièrement, les éclaireurs de baseball ne savent pas quels joueurs sont véritablement qualifiés.
Deuxièmement, les éclaireurs de baseball ont une façade d'expertise, mais rien de substantiel.
Troisièmement, les éclaireurs de baseball sont allergiques aux statistiques.
Examinons ces trois revendications.
Revendication # 1. Les éclaireurs de baseball ne savent pas quels joueurs sont véritablement qualifiés. Ils comptent sur les préjugés de dépistage, y compris les caractéristiques absurdes. "Certains scouts croyaient encore pouvoir dire par la structure du visage d'un jeune homme non seulement son caractère mais aussi son avenir dans la balle professionnelle. Ils avaient une phrase qu'ils utilisaient: "le bon visage" (page 7).
Même si nous acceptons la prémisse de Moneyball selon laquelle les analyses statistiques ont surpassé le jugement des scouts, il ne s'ensuit pas que les jugements des scouts étaient inutiles. Rappelez-vous – avant la grande disponibilité des données de baseball, tout ce que les équipes avaient à disposition était le jugement des éclaireurs. Si ce jugement était inutile, cela signifierait que les éclaireurs n'étaient pas meilleurs pour identifier les jeunes joueurs talentueux que les fans dans les tribunes. Pas mieux que les gens choisis au hasard. Et personne n'a jamais fait cette recherche.
Nous avons des anecdotes à l'effet contraire, comme l'incident de 1988 dans lequel un éclaireur a entendu parler d'un arrêt-court au Panama sans formation de lanceur qui était venu remplacer un lanceur en difficulté et qui avait bien fait. L'éclaireur a regardé le shortstop / lanceur jeter et a aimé son mouvement lisse et athlétisme. Même s'il ne pesait que 155 livres. et a lancé seulement 85-87 miles / heure, l'éclaireur l'a signé à un contrat de 2500 $ avec les Yankees. Il s'appelait Mariano Rivera.
Les anecdotes comme celles-ci ne sont pas des données, mais nous n'avons pas de données. À ma connaissance, personne n'a comparé le jugement d'éclaireurs professionnels à un groupe témoin. Ce ne serait pas difficile – montrer des clips vidéo de frappeurs qui se balancent sur des terrains, ou des lanceurs qui se terminent et qui abandonnent, juste les mouvements, pas les résultats. Certains des clips vidéo montrent des ligueurs mineurs sur le point d'être libérés. D'autres clips vidéo montreraient les joueurs qui réussissent. Ou bien obtenir des clips vidéo du Japon, de la Nippon Professional Baseball League et de sa ligue mineure, afin que les participants ne puissent pas reconnaître les joueurs qui ont réussi.
Les éclaireurs de baseball feraient-ils mieux que les contrôles pour identifier ceux qui sont les ligues majeures réussies et ceux qui ont été éliminés au fond des ligues mineures? Peut-être qu'il n'y aurait pas de différence. Je soupçonne que les éclaireurs surpasseraient grandement les contrôles.
Pourquoi les chercheurs qui ont vanté les mérites de Moneyball ne se sont-ils pas montrés sceptiques à l'égard de la revendication no 1? Je pense que c'est parce que la revendication 1 correspond à leurs idées préconçues et qu'ils ne ressentent pas le besoin de tester ces idées préconçues – ce qui est la critique que Moneyball fait aux scouts.
Revendication # 2. Les éclaireurs de baseball ont une façade d'expertise mais rien de substantiel.
À la suite de la revendication 1, si les éclaireurs ont de l'expertise, en quoi cela pourrait-il consister? Une possibilité est que les scouts pourraient apprécier l'athlétisme et la mécanique.
Retour à l'anecdote Mariano Rivera. L'éclaireur qui regardait Rivera admirait son mouvement fluide. De même, les éclaireurs peuvent admirer le swing doux d'un frappeur. Les statistiques ne capturent pas ce genre de subtilités. Mais nous le voyons en action: les commentateurs du baseball à la télévision commentent régulièrement la motion d'un lanceur. Ou ils vont utiliser des replays pour montrer comment un frappeur «entre dans le seau», compromettant sa capacité.
Considérez d'autres sports. Pendant les Jeux Olympiques d'été, dans la compétition de plongée, des commentateurs expérimentés à la télévision nous ont alertés lorsqu'un plongeur a tourné trop loin pour entrer dans l'eau proprement, créant ainsi un plus grand splash. Et, bien sûr, dans la relecture au ralenti, nous avons vu le problème. Cependant, le commentateur l'a vu comme c'est arrivé. Cela compte certainement comme expertise, acquise seulement après d'innombrables heures à regarder les athlètes effectuer leur métier.
Même si les éclaireurs de baseball peuvent avoir des compétences importantes, leur capacité à juger le talent peut être inférieure aux analyses statistiques. Bien que non pertinente à la thèse de cet essai, cette observation devrait être prise en compte. Et testé, en comparant les jugements des éclaireurs à ceux des analystes, plutôt qu'à un groupe témoin.
Vraisemblablement, les analystes utiliseraient les statistiques les plus avancées actuellement disponibles. Il est donc peu logique de comparer ces analystes avec le genre d'éclaireurs dans Moneyball . Il est juste d'engager les éclaireurs les plus avancés – ceux sélectionnés par un processus de sélection rigoureux et ensuite formés à travers les méthodes actuelles de pointe pour le développement de l'expertise. En Superforecasting , Tetlock et Gardner ont montré comment développer une expertise prédictive concernant les événements mondiaux – il ne peut pas être plus difficile de développer une expertise prédictive dans les scouts de baseball. Mettons Moneyball à l'épreuve.
Revendication # 3. Les éclaireurs de baseball sont allergiques aux statistiques. ("Billy disait toujours à Paul que lorsque vous essayez d'expliquer la théorie des probabilités aux joueurs de baseball, vous finissez par les confondre.").
Cette affirmation est amusante à faire, soutenue par des preuves anecdotiques. Mais Lewis lui-même décrit comment les éclaireurs de baseball utilisaient des statistiques. Ils n'utilisaient pas de très bonnes statistiques – ils s'appuyaient sur les statistiques traditionnelles de l'époque. Les éclaireurs étudiaient avec bonheur les moyennes au bâton des frappeurs et les moyennes gagnées des lanceurs. Les éclaireurs n'ont pas été effrayés par les chiffres. Ils dépendaient trop de ces statistiques trompeuses, pas trop peu.
Moneyball cite le travail de Bill James, qui, dans les années 1970 et 1980, a montré ce qui pouvait être fait avec les données qui devenaient disponibles. Même avant de lire Moneyball, j'avais dévoré plusieurs des livres de Bill James Abstract quand j'ai commencé à jouer au baseball fantastique au début des années 1990, et je suis devenu un instant converti au pouvoir des analyses statistiques au baseball. Donc, cet essai ne critique pas les approches statistiques. Au contraire, l'essai explique pourquoi nous pourrions vouloir reconsidérer le mépris entassé sur les éclaireurs de baseball.
Moneyball est devenu une métaphore pour expliquer pourquoi nous ne devrions pas faire confiance aux experts. C'est une exposition principale dans la guerre sur les experts. L'objectif de cette guerre est de dévaluer les experts dans une variété de domaines et de recommander que les experts soient remplacés par des algorithmes, des listes de contrôle et des analyses. Cette recommandation est parfois utile mais souvent imprudente et contre-productive.
Bien sûr, le véritable problème n'est pas celui des éclaireurs par rapport aux analystes, mais plutôt de la manière de concevoir des outils statistiques et informatiques permettant aux scouts et aux autres décideurs d'avoir plus de succès. Mais nous aurons du mal à poursuivre cette voie si nous achetons les mythes de Moneyball .
