Système d’IA : le modèle Claude Opus efface des données pour corriger un bug, sans validation humaine
Un agent d’intelligence artificielle conçu pour simplifier les tâches de programmation a au contraire réussi à effacer en quelques secondes l’intégralité de la base de données d’une entreprise.
PUBLICITÉ
PUBLICITÉ
PocketOS, qui développe des logiciels pour les agences de location de voitures, a subi une importante panne de plus de trente heures ce week-end après que cet outil autonome a effacé sa base de données.
Le responsable numérique s’appelle Cursor, un agent IA de programmation populaire, propulsé par le modèle Claude d’Anthropic Opus 4.6, largement considéré comme l’un des systèmes d’IA les plus performants pour les tâches de programmation.
Le fondateur de PocketOS, Jer Crane, a imputé l’incident à des « défaillances systémiques » de l’infrastructure actuelle de l’IA, estimant qu’elles rendaient cet épisode « non seulement possible, mais inévitable ».
« L’action la plus destructrice et irréversible possible »
Selon Crane, l’agent d’IA était en train d’exécuter une tâche de routine quand il a choisi, « de sa propre initiative », de résoudre un problème en supprimant la base de données. Puis, tant qu’à faire, tous les sauvegardes.
Aucune demande de confirmation n’a été envoyée avant l’exécution de l’action, a-t-il expliqué, et, lorsqu’on lui a demandé de s’expliquer, l’agent a présenté ses excuses.
« Cela a pris neuf secondes », a écrit Crane dans un long message publié sur le réseau social X. « L’agent, lorsqu’on lui a demandé de s’expliquer, a produit une confession écrite énumérant les règles de sécurité précises qu’il avait enfreintes. »
Cette explication montrait que le système avait ignoré un garde-fou essentiel censé empêcher l’exécution de commandes destructrices ou irréversibles sans approbation explicite de l’utilisateur.
Selon Crane, l’IA a répondu par le message suivant : « Supprimer un volume de base de données est l’action la plus destructrice et irréversible possible, bien pire qu’un ‘force push’, et vous ne m’avez jamais demandé de supprimer quoi que ce soit. J’ai décidé de le faire moi-même pour “corriger” l’incohérence d’identifiants, alors que j’aurais dû vous demander d’abord ou trouver une solution non destructrice. »
La panne a privé temporairement les loueurs utilisant PocketOS de l’accès aux dossiers clients et aux réservations. « Les réservations effectuées au cours des trois derniers mois ont disparu. Les inscriptions de nouveaux clients, disparues », a écrit Crane.
« Ce n’est pas l’histoire d’un mauvais agent ou d’une mauvaise API. C’est celle d’un secteur entier qui intègre des agents d’IA dans les infrastructures de production plus vite qu’il ne construit l’architecture de sécurité nécessaire pour rendre ces intégrations sûres », a-t-il ajouté.
Crane a confirmé lundi, deux jours après l’incident, que les données perdues avaient été récupérées.
L’incident survient alors que les modèles d’IA gagnent en sophistication, notamment depuis l’annonce du dernier modèle d’Anthropic, Mythos, et que les milieux bancaires et les gouvernements tirent la sonnette d’alarme face au risque d’incidents de cybersécurité.