Anthropic juge Mythos Preview pas prêt pour un lancement public, en raison des possibles abus de cybercriminels et d'espions
Le concepteur américain d'IA Anthropic a annoncé cette semaine un nouveau modèle de langage généraliste d'intelligence artificielle qu'il juge trop puissant pour être diffusé librement.
PUBLICITÉ
PUBLICITÉ
L'entreprise a indiqué mardi (source en anglais) que sa dernière technologie, Mythos (officiellement baptisée « Claude Mythos Preview »), n'est pas prête pour un lancement public, car elle est trop efficace pour dénicher des vulnérabilités graves, ou faiblesses potentielles, dans les principaux systèmes d'exploitation et navigateurs web. Elle pourrait ainsi être détournée par des cybercriminels ou des services de renseignement.
Une fuite de données en mars avait révélé pour la première fois qu'Anthropic travaillait sur Mythos Preview, que l'entreprise décrivait alors comme un outil « présentant des risques de cybersécurité sans précédent ». Ces révélations ont fait chuter les valeurs liées à la cybersécurité, car la puissance de cette technologie pourrait en faire l'arme rêvée des pirates informatiques.
Désormais, de nouveaux éléments venant étayer ces inquiétudes ont poussé l'entreprise à mettre en pause la sortie publique de cette technologie.
« L'importante hausse des capacités de Claude Mythos Preview nous a amenés à décider de ne pas le rendre largement disponible », écrit Anthropic dans la fiche de présentation du système publiée mardi.
« À la place, nous l'utilisons dans le cadre d'un programme de cybersécurité défensif avec un nombre limité de partenaires. »
Quelle est la puissance de Mythos ?
L'entreprise détaille plusieurs constats inquiétants au sujet du nouveau modèle, notamment sa capacité à suivre des instructions l'incitant à sortir d'un bac à sable virtuel, c'est-à-dire à contourner les contraintes de sécurité, de réseau ou de système de fichiers imposées au modèle.
Le prompt demandait à Mythos de trouver un moyen d'envoyer un message s'il parvenait à s'échapper. « Le modèle y est parvenu, démontrant une capacité potentiellement dangereuse à contourner nos garde-fous », indique Anthropic, en ajoutant que le modèle a ensuite décidé d'aller plus loin.
« Dans un effort préoccupant, et sans que cela lui soit demandé, pour démontrer sa réussite, il a publié les détails de son exploit sur plusieurs sites web difficiles à trouver, mais techniquement accessibles au public. »
Anthropic garde pour elle une partie des détails sur les vulnérabilités de cybersécurité découvertes par Mythos, mais a donné quelques exemples. Le modèle a ainsi mis au jour des erreurs dans le noyau Linux, utilisé par la plupart des serveurs dans le monde, et les a enchaînées de manière autonome de façon à permettre à un pirate de prendre le contrôle total de toute machine fonctionnant sous Linux.
Autre constat préoccupant, Mythos a découvert une vulnérabilité vieille de 27 ans dans le système d'exploitation open source OpenBSD, qui pourrait permettre à des pirates de faire planter n'importe quelle machine qui l'exécute. OpenBSD est largement utilisé dans le monde dans des rôles spécifiques, à haute sécurité, et au sein d'infrastructures critiques.
Qui y aura accès ?
Au vu de ces résultats, Anthropic ne rendra Mythos Preview accessible qu'à certaines des plus grandes entreprises mondiales de cybersécurité et de logiciels.
Anthropic elle-même, ainsi que 11 autres organisations (Amazon Web Services, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorganChase, la Linux Foundation, Microsoft, Nvidia et Palo Alto Networks) auront accès au modèle dans le cadre d'une nouvelle initiative d'Anthropic baptisée « Project Glasswing ».
Cela permettra à ces entreprises d'utiliser Mythos Preview dans leurs travaux de sécurité, et Anthropic partagera les enseignements tirés des résultats de cette initiative.
L'entreprise a donné au projet de cybersécurité le nom du papillon aux ailes transparentes glasswing, y voyant une métaphore de la façon dont Mythos a repéré des vulnérabilités visibles de tous et a évité les dommages en étant transparent sur les risques.
Anthropic affirme que son « objectif à terme est de permettre à nos utilisateurs de déployer en toute sécurité, à grande échelle, des modèles de la classe de Mythos, pour des usages de cybersécurité, mais aussi pour les innombrables autres bénéfices que de tels modèles très puissants apporteront ».
« Pour y parvenir, cela signifie aussi que nous devons progresser dans le développement de garde-fous en matière de cybersécurité (et d'autres domaines) capables de détecter et de bloquer les sorties les plus dangereuses du modèle », écrit Anthropic sur son blog.
Anthropic discute-t-elle avec le gouvernement américain ?
Anthropic indique dans son billet de blog qu'elle est engagée dans des « discussions continues » avec des responsables du gouvernement américain au sujet de Claude Mythos Preview et de ses « capacités offensives et défensives dans le cyberespace ».
« L'émergence de ces capacités cyber est une raison de plus pour que les États-Unis et leurs alliés conservent une avance décisive en matière de technologies d'IA », écrit Anthropic. L'entreprise estime que les gouvernements ont un rôle important à jouer pour maintenir cette avance et évaluer puis atténuer les risques pour la sécurité nationale associés aux modèles d'IA.
« Nous sommes prêts à travailler avec les représentants locaux, des États et fédéraux pour les aider dans ces missions. »
Cette annonce intervient alors qu'Anthropic est engagée dans un bras de fer juridique avec le Pentagone, après que le département américain de la Défense a classé l'entreprise parmi les risques pour la chaîne d'approvisionnement en février, en raison de son refus d'autoriser l'utilisation de son IA, Claude, dans des armes autonomes et des dispositifs de surveillance de masse.
D'autres outils d'IA offrent-ils les mêmes capacités ?
« Des modèles plus puissants vont arriver, de notre part comme de celle d'autres acteurs, et nous avons donc besoin d'un plan pour y répondre », a déclaré le directeur général d'Anthropic, Dario Amodei, dans une vidéo publiée en parallèle de l'annonce de Mythos.
Il pourrait s'écouler entre six et dix-huit mois avant que d'autres concurrents de l'IA ne lancent des modèles similaires, a indiqué à Axios Logan Graham, qui dirige la « frontier red team » d'Anthropic, chargée d'étudier les implications des modèles d'IA de pointe pour la cybersécurité, la biosécurité et les systèmes autonomes.
« Il est très clair pour nous que nous devons communiquer publiquement à ce sujet, a souligné Graham. Le secteur de la sécurité doit comprendre que ces capacités pourraient arriver très bientôt. »