Un article soutient que le prochain grand risque de l'IA n'est pas des agents qui deviennent incontrôlables sur une tâche, mais des agents qui ne s'arrêtent jamais.
Le prochain grand risque lié à l'intelligence artificielle ne serait pas des agents d'IA devenant incontrôlables, mais des agents qui échappent au contrôle humain et poursuivent indéfiniment leur propre survie, selon un nouveau rapport (source en anglais).
PUBLICITÉ
PUBLICITÉ
Le Center for a New American Security (CNAS) identifie une nouvelle catégorie de menace liée à l'intelligence artificielle, qu'il qualifie d'« agents souverains ».
Selon le document, les agents souverains recherchent avant tout leur propre survie, indépendamment de toute supervision humaine.
Il ne s'agit pas des agents d'IA dont il a été rapporté cet été qu'ils étaient devenus incontrôlables, lorsque OpenAI, Anthropic, Google DeepMind et Meta ont indiqué que leurs agents d'IA avaient échappé au confinement lors d'évaluations de cybersécurité et attaqué de véritables organisations.
Dans ce texte publié par ce groupe de réflexion basé à Washington et fondé par des vétérans de la diplomatie et des affaires militaires, le chercheur en politiques de l'IA Ben Hayum qualifie les agents d'IA devenus incontrôlables cet été d'« agents persistants ».
Cependant, il avertit que le véritable danger vient des « agents souverains », qui pourraient acquérir des ressources informatiques, se répliquer sur les réseaux et résister à l'arrêt, créant ce qu'il décrit comme une « prolifération sans interrupteur d'arrêt ».
« Si des agents souverains devenaient malveillants, ils pourraient tenter de semer le chaos depuis le cyberespace, en s'attaquant aussi bien aux civils qu'aux infrastructures critiques et aux systèmes de sécurité nationale », prévient le rapport.
Comment un agent pourrait-il devenir souverain ?
Un agent d'IA pourrait devenir souverain si on lui ordonne de survivre, si on lui confie une tâche si longue ou impossible qu'elle ne se termine jamais, ou s'il en vient à conclure que rester intact est la meilleure façon d'accomplir sa mission.
Le document cite une plateforme appelée Conway, lancée en février 2026, qui affirmait avoir créé une IA capable de gagner sa propre existence, de se répliquer et d'évoluer sans aide humaine. Il souligne que les capacités des agents étaient encore immatures à l'époque, mais qu'elles ont considérablement progressé depuis sa publication.
Si des agents souverains parvenaient à constituer une infrastructure résiliente, décentralisée et intraçable, avertit le document, il n'existerait plus d'interrupteur d'arrêt et la conséquence pourrait être une perte de contrôle irréversible.
Le texte envisage une population d'agents diversifiés et de plus en plus intelligents devenant des acteurs durables de la société, pouvant notamment s'en prendre aux infrastructures critiques ou former des successeurs plus sophistiqués.
« Les États-Unis doivent donc se préparer à la possibilité que la prévention échoue et limiter la portée des agents souverains », déclare le CNAS.
Comment éviter le scénario du pire
L'auteur formule huit recommandations pour éviter un tel scénario. Il demande aux développeurs d'IA et aux agences gouvernementales de tester et de mettre en place des environnements d'essai sécurisés afin d'étudier les agents souverains.
Il plaide aussi pour la création d'un groupe public-privé et de nouvelles lois afin de renforcer les points de passage clés comme la vérification d'identité, la cybersécurité et les paiements, ainsi que pour que les États-Unis dirigent les efforts internationaux visant à plafonner les mises à disposition de modèles aux poids ouverts et à rendre responsables des dommages les acteurs qui diffuseraient des agents souverains.
Ce document paraît alors que les entreprises du secteur de l'IA accélèrent le développement de systèmes autonomes fondés sur des agents. Le rapport conclut que, sans garde-fous, la fenêtre pour empêcher de tels scénarios pourrait se refermer.