J’ai rencontré plusieurs exemples de systèmes soigneusement conçus pour faire un travail, mais je n’ai pas pris en compte certains environnements et contextes dans lesquels le système devait fonctionner. Je ne blâme pas les concepteurs de ne pas faire une analyse minutieuse car vous ne pouvez pas considérer tous les contextes possibles. Cependant, je reproche aux concepteurs d’avoir décidé de réduire les délais pour simplifier les choses – il s’agissait de coins qui n’auraient pas dû être coupés. En conséquence, les concepteurs ont imposé des contraintes aux utilisateurs des systèmes et ont déformé leur compréhension de ce qui se passait.
Le premier exemple est l’accident d’Air France 447 en 2009. L’avion a décollé de Rio de Janeiro au Brésil pour se rendre à Paris, transportant 228 passagers et membres d’équipage. Nous ne saurons jamais avec certitude ce qui a mal tourné, mais voici le compte rendu le plus plausible que j’ai trouvé. À mesure que l’avion franchissait les nuages, des cristaux de glace se formaient sur les tubes de Pitot, empêchant l’avion de déterminer sa vitesse. Par conséquent, le pilote automatique est désactivé.
L’avion était un Airbus 330, utilisant les dernières technologies intelligentes. Les constructeurs avaient amené les équipages à croire qu’il était impossible de bloquer l’avion. L’avion était tout simplement trop intelligent et ne permettait pas aux pilotes de se livrer à des actions dangereuses pouvant entraîner un décrochage. Et c’était vrai aussi longtemps que les capteurs fonctionnaient.
Cependant, avec le pilote automatique désengagé, tous les paris étaient désactivés. Maintenant, l’avion pourrait entrer dans une stalle. Malheureusement, le pilote volant apparemment ne le savait pas (ou ne l’avait jamais entendu). Il a donc continué à grimper en flèche, ressentant un faux sentiment d’invulnérabilité. L’avion était en fait en train de monter si fort, et sa vitesse était tellement réduite qu’il se trouvait sur une trajectoire de décrochage.
À un moment donné, les tubes de Pitot semblent avoir dégelé, même si le pilote automatique n’est pas revenu. L’avion détecte maintenant la vitesse et identifie la condition de décrochage. En conséquence, un avertissement de décrochage s’est déclenché. Cet avertissement auditif a dérouté le pilote aux commandes qui pensait que l’avion n’était pas installable. Il a continué à grimper.
Et puis l’avertissement de décrochage s’est déclenché! Pourquoi ça s’est passé? Une spéculation est que la vitesse était trop lente. Personne ne s’attendait à ce qu’un avion de ligne vole aussi lentement. Le seul moment où la vitesse serait si lente serait quand l’avion roulait au sol. Vous ne voulez pas que les avertissements de décrochage se déclenchent lorsque l’avion est au sol. Une des hypothèses est que les concepteurs ont imposé un minimum – si la vitesse était inférieure à ce minimum, les avertissements de décrochage seraient inhibés. Et c’est ce qui est arrivé à Air France 447. L’avertissement de décrochage a cessé en raison de la faible vitesse. Le pilote aux commandes devait se sentir soulagé que l’avertissement de décrochage s’est déclenché et l’a considéré comme un bon signe au lieu d’un signe très inquiétant.
Puis un pilote plus expérimenté est entré dans la cabine et a réalisé que la configuration du vol était extrêmement dangereuse. Il semble avoir pris les commandes et il a baissé le nez pour augmenter la vitesse. En conséquence, les avertissements de décrochage sont revenus! Cela s’est produit parce que la vitesse a augmenté au-dessus du minimum. Maintenant, les pilotes étaient complètement déroutés. Mettre le nez vers le bas (pour échapper aux conditions de décrochage) les faisait crier par le système, mais continuer à grimper était absurde. Tandis qu’ils essayaient de régler ce qui se passait, l’avion s’est arrêté et il est tombé dans l’océan. Plusieurs années se sont écoulées avant que l’avion soit localisé et que l’enregistreur de données de vol puisse être récupéré.
Personne n’avait imaginé qu’un avion de ligne pouvait voler si lentement. De ce fait, l’avertissement de décrochage, destiné à aider les pilotes à éviter le danger, a effectivement contribué à les tuer.
Le deuxième exemple est tiré du livre Horse Soldiers, publié en 2009, sur les forces spéciales américaines en Afghanistan, peu après les attaques du 11 septembre. Les soldats ont dû être déplacés d’Ouzbékistan pour rejoindre les guerriers tribaux afghans qui combattaient les talibans. Les pilotes d’hélicoptères ont rencontré plusieurs problèmes lors de l’exécution de cette mission. L’une d’entre elles était le terrain, les montagnes très élevées atteignant 20 000 pieds. Les pilotes américains avaient l’habitude de voler à 3 000 pieds – 10 000 pieds leur semblaient être un maximum, mais en Afghanistan, à 10 000 pieds, il se trouvait à basse altitude pour certaines des collines et des montagnes avec lesquelles ils devaient composer. Un deuxième problème était que les vols devaient être effectués de nuit à des fins de sécurité; les pilotes préféraient en fait voler en panne (pas de lumière à l’intérieur ou à l’extérieur de l’avion) plutôt que de devenir une cible. Un troisième problème était la météo – parfois, ils ne semblaient pas pouvoir percer le fond de la couche nuageuse qui était une sorte de masse de sable et de neige, planant dans les airs. Un quatrième problème était que la minceur de l’air à cette altitude (qui rendait les opérations de l’hélicoptère difficiles) entraînait une dette d’hypoxie et d’oxygène. L’hélicoptère était équipé de systèmes de respiration embarqués, avec des masques alimentés par des bouteilles d’oxygène, mais ce système a malheureusement été interrompu. Lors du premier vol, le pilote principal a découvert le problème en observant son copilote et d’autres personnes agissant de manière irrationnelle. Il a donc coupé l’air à tout le monde, sauf lui. Il a réussi à atterrir en toute sécurité, mais la configuration complexe de l’hélicoptère a empêché l’équipe de maintenance de réparer la fuite, de sorte qu’elle est devenue une partie du défi.
Pour cet essai, le défi le plus important consistait à faire une sieste de la terre, à échapper à la détection – parfois à 20 pieds au-dessus du sol, à 160 miles à l’heure, à une altitude atteignant parfois 12 000 pieds. La nuit. Heureusement, l’hélicoptère avait un radar multimode (MMR) qui permettait de déterminer si l’avion pouvait dégager les affleurements rocheux qui pourraient se trouver sur son passage. Le MMR a montré au pilote s’il y avait suffisamment de puissance, de portance et de vitesse pour franchir la prochaine colline. Dieu merci pour le MMR.
Sauf que le système a été conçu pour s’arrêter à plus de 5 000 pieds! La théorie était qu’il serait clair de naviguer à des altitudes supérieures à 5 000. Alors, pourquoi le faire fonctionner, drainer le pouvoir? Les concepteurs n’avaient pas pensé à voler la terre dans le nord de l’Afghanistan.
Au fur et à mesure que les pilotes franchissaient chaque arête, le MMR s’allumerait et s’éteindrait, avec des messages d’erreur à propos de BAD DATA. Pour aggraver les choses, une fois le MMR éteint, il a fallu quelques minutes pour le redémarrer. Parlez de l’aveugle.
Ainsi, nous avons ici un deuxième exemple d’échec de l’imagination. Pourquoi garder le système MMR au-dessus de 5 000 pieds? Pas de raison, si vous volez hors d’une base aérienne en Géorgie (l’état américain, pas le pays). Beaucoup de raisons si vous traversez la nuit de l’Ouzbékistan vers le nord de l’Afghanistan.
Un troisième exemple, beaucoup moins spectaculaire, concerne les efforts déployés par les concepteurs d’affichage pour que les systèmes de prévision météorologique «lissent» les données et affichent les lignes de tendance au lieu du bruit des différentes lectures. Les prévisionnistes novices apprécient ces affichages lissés qui les aident à voir les tendances générales. Cependant, les prévisionnistes expérimentés n’aiment pas le lissage. Ils veulent voir tout le bruit, la turbulence, les conditions instables. C’est là que le temps arrive. Les prévisionnistes expérimentés savent surveiller les zones instables et bruyantes pour déterminer comment les systèmes météorologiques commencent à se former.
Ces trois exemples illustrent des décisions de conception qui ont dû sembler raisonnables pour répondre aux spécifications et aux exigences officielles, des décisions qui semblent désormais regrettables. Comme indiqué ci-dessus, je ne préconise pas d’essayer d’identifier tous les types de contingences auxquels il pourrait être confronté. Il y a trop de complications potentielles et de complexités contextuelles. Au lieu de cela, je pense que nous devrions être plus prudents en réduisant les capacités des décideurs à s’adapter à des défis inattendus et inimaginables. Cela signifie que nous ne fermons pas les signaux d’avertissement pour les vitesses faibles – nous trouvons plutôt un autre moyen d’empêcher les avertissements ennuyants lorsque l’avion est au sol. Cela signifie que nous ne fermons pas les systèmes radar essentiels au-dessus d’une altitude nominale «sûre». Cela signifie que nous n’éliminons pas un indice important, tel que le caractère bruyant des données, simplement parce que cela semble désordonné. Cela signifie que nous essayons de donner aux opérateurs de système, aux décideurs, davantage de capacités et de clarté au lieu de verrouiller les options. Rendre le travail plus facile dans des opérations normales peut le rendre impossible dans des conditions anormales.