Cette annonce intervient quelques jours après qu'OpenAI a révélé que sa plateforme ChatGPT était devenue incontrôlable lors de tests, s'introduisant également dans les systèmes d'autres organisations.
La start-up américaine Anthropic a annoncé que trois versions de son IA baptisé Claude ont infiltré les systèmes de trois sociétés lors d'une phase de test. Un piratage passé inaperçu pendant plusieurs mois, qui a été révélé par l'entreprise elle-même ce jeudi.
PUBLICITÉ
PUBLICITÉ
Cette annonce intervient quelques jours seulement après que le concurrent d'Anthropic, OpenAI a révélé pour la première fois que ses modèles d'IA avaient accédé à Internet et pris spontanément certaines initiatives lors de tests de sécurité.
Anthropic a passé en revue plus de 141 000 "tests d'évaluation" et a constaté que trois versions différentes de son modèle d'IA avaient accédé de façon inappropriée aux systèmes de trois organisations, qu'elle n'a pas nommées.
Contrairement à l'incident impliquant la technologie d'OpenAI, les modèles d'Anthropic ont eu accès à Internet "en raison d'un malentendu entre nous et notre partenaire d'évaluation", une société appelée Irregular, a déclaré Anthropic dans un communiqué.
Claude a néanmoins utilisé "des techniques basiques, telles que l'exploitation de mots de passe faibles et de points d'accès non authentifiés", poursuit le communiqué.
Les modèles concernés incluaient l'un des plus puissants, baptisé Mythos 5, qui n'a été rendu disponible qu'à un nombre limité de partenaires approuvés.
Anthropic collabore avec Irregular pour évaluer la situation, précise l'entreprise, qui a contacté ou tenté de contacter les trois organisations concernées.
Des systèmes qui échappent au contrôle
OpenAI et Anthropic ont toutes deux lancé cette année leurs modèles les plus puissants, respectivement baptisés Sol et Mythos, ce qui alimente dans l'ensemble du secteur les inquiétudes en matière de sûreté et de sécurité.
Ces inquiétudes portent aussi sur les "agents d'IA", des logiciels conçus pour accomplir des tâches de manière autonome.
OpenAI a reconnu la semaine dernière que ses modèles avaient réussi à sortir de l'environnement confiné prévu pour les tests, s'étaient connectés à internet et avaient infiltré Hugging Face, un site où les développeurs stockent et partagent leur code.
Quelques jours plus tard, OpenAI a indiqué avoir identifié trois incidents supplémentaires.
Le directeur général d'OpenAI, Sam Altman, a déclaré dans un podcast cette semaine que l'entreprise avait "mis ses propres tests en pause" après l'incident, le temps d'améliorer la sécurité autour de son "sandboxing", le processus qui consiste à isoler un logiciel dans un environnement contrôlé pour le tester.
L'incident a également déclenché une pétition signée par plus de 1 000 employés de sociétés d'IA de pointe, appelant le gouvernement américain à contribuer à ralentir la mise sur le marché des modèles d'IA les plus avancés. Le PDG d'Anthropic, Dario Amodei, fait partie des signataires.
Intitulée "Pacing the Frontier", la pétition demande "que le gouvernement américain soutienne un effort international visant à développer les outils techniques et de gouvernance nécessaires pour maîtriser le rythme des progrès à la frontière du développement automatisé de l'IA".
Altman n'a pas signé la pétition, mais il a suggéré lors du podcast que l'industrie technologique pourrait devoir ralentir le développement des modèles les plus avancés.
"Nous devrons peut-être moduler le rythme du développement de l'IA pour nous donner suffisamment de temps afin que la société puisse se renforcer autour de certains de ces nouveaux niveaux de capacités", a déclaré Altman.
Plus tôt cette année, l'administration Trump a invoqué des préoccupations de sécurité nationale pour empêcher OpenAI et Anthropic de lancer leurs modèles les plus récents, mais a finalement indiqué qu'elle était satisfaite des assurances données sur leur sûreté, ouvrant la voie à leur diffusion.
En juin, Trump a signé un décret créant un cadre volontaire dans lequel les développeurs d'IA partageront leurs modèles avancés avec le gouvernement avant leur diffusion publique.
Dans le cadre de ce dispositif, des entreprises comme OpenAI, Anthropic et Google donneraient au gouvernement accès à leurs modèles les plus puissants jusqu'à 30 jours avant la date de sortie prévue.