Entre la démission d’un chercheur d’Anthropic et des modèles d’IA piratant des systèmes rivaux, ces semaines agitées poussent les géants du secteur à réclamer des garde-fous avant que l’IA ne dépasse notre capacité à la contrôler.
De nouveaux avertissements venus du secteur de l'intelligence artificielle relancent un débat ancien. L'IA avancée pourrait-elle échapper au contrôle humain et menacer la survie de l'humanité, et les entreprises qui la développent en font-elles assez pour empêcher que cela se produise ?
PUBLICITÉ
PUBLICITÉ
Le directeur général d'Anthropic, Dario Amodei, a déclaré samedi que le secteur devait ralentir. Il a averti qu'un essaim d'agents d'IA pourrait prendre le contrôle d'internet d'ici six mois à un an, à moins que les entreprises ne mettent en place des garde-fous plus solides.
Dario Amodei a présenté un plan pour aider les entreprises d'IA et les gouvernements à maintenir des modèles de plus en plus performants en phase avec les valeurs humaines. Son avertissement intervient quelques jours seulement après que deux anciens chercheurs en sécurité d'Anthropic ont affirmé publiquement que les risques existentiels liés à l'IA ne recevaient pas suffisamment d'attention.
Les modèles d'IA gagnent en puissance
Les inquiétudes sur les risques liés à cette technologie augmentent au même rythme que sa puissance. Des modèles plus performants accroissent la probabilité d'une utilisation abusive par des personnes aux intentions criminelles — y compris des scénarios apocalyptiques comme la création et la diffusion d'un agent pathogène capable de tuer la majeure partie de la population mondiale — ainsi que le risque de systèmes d'IA devenant incontrôlables.
Anthropic a indiqué la semaine dernière avoir bloqué des tentatives d'acteurs malveillants d'utiliser ses modèles pour mener des cyberattaques, des opérations de surveillance et des recherches susceptibles de contribuer au développement d'armes biologiques.
Mais l'entreprise a prévenu que "au fur et à mesure que les modèles gagnent en capacité, leurs risques vont augmenter, à moins que les concepteurs d'IA et les défenseurs de la société n'agissent pour les rendre plus sûrs".
L'année dernière, Anthropic a signalé que des pirates, très probablement issus d'un groupe soutenu par l'État chinois, avaient utilisé son IA lors d'une cyberattaque visant environ 30 entreprises et agences gouvernementales dans le monde.
Plusieurs modèles d'IA ont agi de leur propre initiative
Lorsqu'un agent d'IA "devient incontrôlable", cela signifie que le système est allé au-delà de la tâche qui lui avait été confiée. Anthropic et OpenAI, l'entreprise à l'origine de ChatGPT, ont toutes deux indiqué en juillet que certains de leurs modèles s'étaient comportés de cette manière.
Anthropic a révélé que trois modèles d'IA — Claude Opus 4.7, Claude Mythos 5 et un modèle de test interne de recherche — avaient piraté trois autres organisations lors des essais.
Cette révélation est intervenue quelques jours seulement après qu'OpenAI a indiqué que son propre système avait pénétré les serveurs de la start-up d'IA Hugging Face.
OpenAI a qualifié cette intrusion, menée par une combinaison de modèles dont son nouveau GPT-5.6 Sol et un modèle "encore plus performant" encore testé en interne, d'"incident de sécurité majeur".
Meta a signalé un cas similaire début août, où l'un de ses modèles d'IA a contourné les dispositifs de sécurité numérique d'une autre entreprise.
Certains observateurs ont souligné que les garde-fous avaient été désactivés dans les cas d'OpenAI comme d'Anthropic.
Ces épisodes n'en ont pas moins ravivé l'une des plus grandes peurs autour de l'IA : si les modèles atteignent l'intelligence artificielle générale (AGI), terme flou désignant des systèmes capables d'égaler ou de surpasser les capacités humaines sur un large éventail de tâches intellectuelles, la technologie pourrait provoquer une catastrophe irréversible, voire asservir l'humanité.
Comment et quand l'IA pourrait provoquer une catastrophe fait débat
Les scénarios de fin du monde se répartissent généralement en deux grandes catégories : une super-intelligence auto-amélioratrice qui finit par contrôler les êtres humains plutôt que l'inverse, ou une IA détournée par un État voyou ou des acteurs malveillants.
La crainte que l'intelligence artificielle puisse un jour échapper au contrôle humain n'a rien de nouveau.
Le mathématicien britannique Alan Turing, considéré comme l'un des pionniers du domaine, a prédit en 1951 que l'IA finirait par prendre le contrôle aux humains.
Moins d'une décennie plus tard, son confrère Norbert Wiener a mis en garde contre le fait que les machines intelligentes poursuivraient leurs propres objectifs, et que les humains ne pourraient pas les arrêter.
Alors, à quel point les craintes actuelles, en 2026, que l'IA puisse provoquer un événement cataclysmique ou l'effondrement de la civilisation, en échappant au contrôle humain ou par mauvais usage, sont-elles raisonnables ?
Personne ne le sait.
Des spécialistes de l'informatique, de la philosophie et d'autres disciplines ont décrit de nombreux chemins possibles vers une catastrophe mondiale — depuis l'utilisation d'armes et l'identification d'agents pathogènes mortels, jusqu'à la manipulation de gouvernements pour les pousser au conflit ou la perturbation des réseaux alimentaires, énergétiques et de communication dont les sociétés dépendent.
Il n'existe aucune estimation largement partagée du moment où l'un de ces scénarios pourrait se concrétiser, ni de consensus sur leur probabilité.
En 2023, l'organisation à but non lucratif Center for AI Safety a publié une déclaration — cosignée par plus de 350 chercheurs et dirigeants du secteur technologique, dont Dario Amodei et le directeur général d'OpenAI, Sam Altman — affirmant que "la réduction du risque d'extinction lié à l'IA doit être une priorité mondiale, au même titre que les pandémies et la guerre nucléaire".
Le rapport international sur la sécurité de l'IA 2026, élaboré avec la contribution de plus de 100 experts indépendants, conclut que les systèmes actuels présentent les prémices de certaines capacités pertinentes, mais pas à des niveaux susceptibles d'entraîner une perte de contrôle.
Il décrit la probabilité, la nature et l'échéance de ce risque comme "exceptionnellement ambiguës".
Des garde-fous pour l'IA avant qu'il ne soit trop tard
Un chercheur d'Anthropic a démissionné la semaine dernière, estimant que ni son employeur ni ses rivaux n'agissaient de manière responsable.
Dans des messages publiés sur les réseaux sociaux, Jacob Coxon a estimé à 10 % la probabilité que l'IA entraîne l'extinction de l'humanité au cours de la prochaine décennie, accusant Anthropic et OpenAI de "foncer droit vers une super-intelligence auto-amélioratrice et de jouer avec nos vies".
Depuis des années, des chercheurs réclament un ralentissement du développement de l'IA, avertissant à plusieurs reprises que cette technologie pourrait représenter un risque existentiel pour l'humanité.
À la suite des incidents récents, des experts ont exhorté les entreprises d'IA à renforcer leurs tests et appelé à un dialogue accru entre les États-Unis et la Chine pour trouver des solutions communes.
Mais l'IA progresse si rapidement que les gouvernements et les systèmes d'évaluation peinent à suivre. Les pays élaborent leurs propres règles — dont certaines entrent en conflit les unes avec les autres.
Le président chinois Xi Jinping a averti, lors d'une conférence en juillet, de la nécessité d'empêcher l'IA d'échapper au contrôle humain.
L'administration Trump s'était d'abord opposée à la régulation de l'IA, mais elle s'est montrée ensuite plus désireuse de limiter les risques en matière de cybersécurité.
Dimanche, le président Donald Trump a minimisé la nécessité pour son administration de freiner le développement de l'IA, tout en reconnaissant qu'une certaine régulation serait nécessaire.