Les faits se sont déroulés entre 2010 et 2015, en pleines retombées de la crise financière. Des millions d'américains se débattaient alors avec leur emprunt hypothécaire pour tenter de conserver leur logement. Or une erreur dans un module de calcul des frais légaux applicables aux renégociations de prêts a conduit Wells Fargo à refuser ou ne pas offrir à tort une solution à 625 clients, dont 400 ont fini par être expulsés de leur domicile.
Les logiciels qui, à l'origine, n'étaient qu'un moyen d'accélérer et de rendre plus fiable les traitements comptables élémentaires sont devenus progressivement le cœur de la banque, régissant toutes ses activités et, comme le démontre ce cas dramatique, disposant ainsi d'un pouvoir immense sur la vie de ses clients. Quand une erreur se produisait, autrefois, elle était rapidement repérée par les collaborateurs qui continuaient à assurer l'essentiel des tâches. Aujourd'hui, elle est détectée 5 ans plus tard.
Logiquement, les applications critiques devraient faire l'objet de procédures de qualité exceptionnelles, de niveau quasiment vital. Malheureusement, la culture informatique des institutions financières n'a pas évolué à la mesure de l'augmentation de responsabilité des logiciels mis en œuvre. Bien que de sérieux progrès aient été faits en quelques décennies, les DSI n'appréhendent pas toujours les conséquences de leurs choix et les implications concrètes que peut avoir une anomalie dans un système.
Une telle négligence augure mal de l'avènement promis de l'intelligence artificielle. Qu'il soit question d'erreurs de programmation pures et simples ou de biais cognitifs introduits malencontreusement dans les modèles d'apprentissage automatique, il n'est pas envisageable que les vies des consommateurs et des entreprises soient à la merci d'un aléas technique. Il serait donc grand temps que l'informatique bancaire passe à l'âge adulte et s'attelle à garantir l'absence de bogues dans les applications les plus sensibles, en s'inspirant, si nécessaire, des pratiques des industries pionnières en la matière.