Et qui contrôlera l'intelligence artificielle ?

Devant la montée du trading algorithmique et les risques d'instabilité qu'il génère, la CFTC – régulateur américain des marchés de futures et de swaps – veut se réserver un accès aux codes sources des intervenants afin d'assurer sa mission de surveillance. La décision soulève l'indignation. Pourtant, il s'agit d'une bataille d'arrière-garde…
Le débat est, malgré tout, intéressant. D'un côté, les autorités veulent à tout prix éviter les incidents de type « flash crash » causés par des emballements incontrôlés de logiciels de trading à haute vitesse comportant d'inévitables erreurs de programmation. De l'autre, les auteurs de ces mêmes systèmes automatiques désirent légitimement protéger leur propriété intellectuelle et ne pas laisser les yeux indiscrets des experts désignés par la CFTC explorer les secrets de ce qui constitue leur avantage concurrentiel.
Mais, immédiatement, on peut se demander à quoi la réglementation proposée pourrait bien servir. S'il s'agit de déterminer les causes et les responsabilités en cas de perturbation avérée, l'objectif initial de protection des marchés n'est pas rempli. S'il est question de sonder – plus ou moins aléatoirement – les algorithmes déployés en production, de manière à mesurer les risques qu'ils portent, l'ambition est démesurée, relevant de la proverbiale aiguille dans une botte de foin, qui, de plus, se déplacerait régulièrement (les algorithmes ne sont pas figés pour l'éternité) !
Plus embarrassant, les modèles mis en œuvre dans les outils les plus avancés deviennent extraordinairement complexes, et les personnes capables d'en comprendre le fonctionnement sont peu nombreuses (et employées, à prix d'or, par les banques et autres fonds d'investissement). Il semble donc imaginable que, dès aujourd'hui, l'inspection des logiciels qui régissent (en partie) les marchés financiers soit, en pratique, impossible. Regardons alors vers l'avenir : la situation va certainement empirer…
En effet, les premières applications concrètes de l'apprentissage automatique – sans même parler d'intelligence artificielle – arrivent déjà dans le trading. La conséquence ? Il n'existe plus vraiment d'algorithme à contrôler : à partir de l'information qu'il capte et analyse, le système engrange de l'expérience, de manière autonome, qu'il va ensuite exploiter pour réaliser, seul, les opérations qu'il considère devoir mener aux résultats demandés par ses concepteurs. Personne ne connaît le « raisonnement » appliqué !
Soulignons ici que le problème ne concerne pas uniquement le secteur financier. Partout où l'intelligence artificielle s'infiltre, comment va-t-on s'assurer que la loi et les principes moraux sont respectés ? La presse a évoqué, par exemple, le biais qu'introduisent les algorithmes de Google lorsqu'ils proposent des postes mieux rémunérés aux hommes, par rapport aux femmes. Qui saura prouver que le code est responsable de cette anomalie ? Le déséquilibre ne provient-il pas du contenu des annonces publiées ?
Pour l'instant, les seules solutions envisagées consisteraient à s'en remettre à d'autres algorithmes – spécialisés dans le contrôle réglementaire – pour détecter les éventuelles infractions commises. Cependant, outre la difficulté que représenterait cette approche et son absence de réponse à la question de la responsabilité (dont un effet collatéral pourrait être une uniformisation du monde), on voit bien la boucle dans laquelle elle nous entraîne : qui produirait ces logiciels et qui en garantirait l'intégrité et la qualité ?