IA autonome : la vraie question est de savoir quel pouvoir nous sommes prêts à déléguer aux machines

Ce 31 août, le président du Financial Stability Board, Andrew Bailey, a adressé un avertissement aux ministres des Finances et gouverneurs de banques centrales du G20 : l’impact potentiel des modèles d’intelligence artificielle les plus avancés sur le risque cyber constitue, selon lui, la préoccupation la plus immédiate pour le système financier.

Cette alerte doit être entendue bien au-delà du monde de la finance, car derrière la question du cyber-risque se dessine une transformation beaucoup plus profonde : l’intelligence artificielle est en train de passer de la capacité à produire à la capacité à agir.

Avec l’IA générative, nous avons appris à travailler avec des machines capables de rédiger, synthétiser, analyser ou produire du code. Avec l’IA agentique, nous commençons à leur confier une capacité d’action : accéder à des données, utiliser des applications, appeler des API, interagir avec des tiers et enchaîner des opérations pour atteindre un objectif.

C’est une rupture majeure. La question n’est donc plus seulement : que peut faire l’intelligence artificielle ? mais bien quel pouvoir sommes-nous prêts à lui déléguer ?

De l’intelligence à l’autonomie

Les entreprises ont de bonnes raisons d’accélérer. Dans la relation client, les achats, la finance, la logistique ou les fonctions administratives, les agents d’IA ouvrent la perspective d’automatiser non plus seulement des tâches isolées mais des processus entiers.

C’est précisément cette capacité d’action qui crée leur valeur. C’est aussi ce qui change la nature du risque.

Un agent disposant de plusieurs habilitations peut intervenir simultanément sur différents systèmes. Il peut consulter une information, la modifier, déclencher une opération ou communiquer avec un tiers au nom de l’entreprise.

S’il est mal configuré, détourné ou compromis, l’incident peut alors se propager à une vitesse et à une échelle sans commune mesure avec celles d’une action humaine isolée.

Dans des organisations où données, applications, API et désormais agents sont toujours plus interconnectés, une compromission locale peut devenir un événement systémique à la vitesse de la machine.

L’avertissement du FSB doit être lu sous cet angle : plus nous donnons de capacité d’action aux systèmes d’intelligence artificielle, plus nous devons penser l’architecture de leur autonomie.

L’autonomie devient un sujet de direction générale

Cette évolution impose de sortir d’une lecture exclusivement technologique ou cyber du sujet.

Quels systèmes un agent peut-il utiliser ? À quelles données peut-il accéder ? Avec quels droits ? Jusqu’à quel montant peut-il engager une opération ? Peut-il communiquer directement avec un client ou un fournisseur ? Quelles décisions peut-il prendre seul ? Lesquelles nécessitent une validation ? Et comment reprendre immédiatement le contrôle en cas de comportement anormal ?

Ces questions relèvent certes de l’architecture informatique et de la cybersécurité.

Elles relèvent désormais tout autant de la gouvernance de l’entreprise, car si une entreprise peut automatiser une action, elle ne peut pas automatiser la responsabilité qui l’accompagne.

C’est probablement l’un des angles morts de la course actuelle à l’IA. Nous mesurons le nombre de cas d’usage, d’agents déployés, les gains de productivité ou la rapidité d’exécution. Nous mesurons encore insuffisamment le pouvoir d’action que nous transférons progressivement aux machines.

Or la maturité d’une entreprise face à l’IA se mesurera demain autant à sa capacité à déployer des agents qu’à sa capacité à gouverner leur autonomie.

Du « Human in the Loop » au « Human in Command »

La réponse ne consiste pas pour autant à remettre systématiquement un humain derrière chaque décision prise par une machine.

À grande échelle, le Human in the Loop peut même devenir une illusion de contrôle : confronté à des milliers de décisions automatisées, l’humain risque de se transformer en simple valideur de choix qu’il n’a plus réellement le temps d’examiner.

Nous devons aller vers un principe plus exigeant : celui du Human in Command.

Être aux commandes ne signifie pas tout exécuter ni tout valider, mais définir les règles du jeu.

L’humain détermine le niveau d’autonomie accordé à la machine, les données auxquelles elle peut accéder, les actions qu’elle peut effectuer seule, les seuils nécessitant une validation, les comportements qui doivent déclencher une alerte et les mécanismes permettant de reprendre instantanément le contrôle.

Cette gouvernance ne peut pas être ajoutée après coup. Elle doit être pensée dès la conception des systèmes. Autrement dit, nous devons apprendre à architecturer l’autonomie avant de chercher à la généraliser.

Ne pas confondre vitesse et maturité

Le défi est particulièrement important pour les entreprises européennes. Dans la compétition mondiale autour de l’IA, elles doivent accélérer. Renoncer à l’autonomie offerte par les agents par peur du risque serait une erreur stratégique.

Mais transformer la vitesse de déploiement en unique mesure du succès en serait une autre.

Déployer 100 agents ne constitue pas une preuve de maturité si leurs droits, leurs limites, leurs interactions et leurs responsabilités restent mal définis.

La véritable industrialisation de l’IA suppose donc de construire simultanément la puissance et le contrôle : une architecture capable de connecter données, technologies, intelligence humaine et intelligence artificielle tout en déterminant précisément qui peut décider, qui peut agir et jusqu’où.

L’alerte adressée au G20 nous rappelle finalement une évidence que l’enthousiasme technologique pourrait nous faire oublier : plus une machine devient autonome, plus l’organisation qui lui confie cette autonomie doit être mature.

L’enjeu n’est pas de ralentir l’intelligence artificielle. Il s’agit de faire en sorte que le pouvoir que nous déléguons aux machines ne progresse jamais plus vite que notre capacité à le gouverner.

Tribune reprise dans lebigdata.fr