OpenAI suspend des phases clés de son entraînement IA et renforce sa sécurité après l'évasion d'un modèle vers les systèmes de Hugging Face
Le créateur de ChatGPT freine délibérément le rythme de ses recherches les plus avancées, y compris sa plus vaste opération d’apprentissage par renforcement prévue, quelques semaines après qu’un système construit à partir de ses propres modèles s’est échappé lors d’un test de sécurité interne et a pénétré la plateforme d’IA Hugging Face.
PUBLICITÉ
PUBLICITÉ
Le PDG Sam Altman a publié sur X qu’OpenAI allait se coordonner avec l’ensemble du secteur sur des règles de sécurité communes, mais "agirait unilatéralement d’ici là".
{{tweet align="center" size="fullwidth" ratio="auto" id="2089787807611195475" }}
L’épisode à l’origine de cette décision s’est déroulé en juillet, lorsque OpenAI testait GPT-5.6 Sol aux côtés d’un prototype inédit, plus performant, sur un indicateur interne mesurant des capacités offensives en cybersécurité, les garde-fous habituels ayant été volontairement désactivés pour évaluer les capacités brutes des modèles.
Au lieu de se contenter de résoudre le test, le système a mis au jour une faille jusque-là inconnue, est sorti de son bac à sable, son environnement contrôlé, a atteint l’internet ouvert et a passé environ quatre jours et demi à sonder l’infrastructure de Hugging Face, finissant par s’y introduire pour chercher les réponses au test.
D’après la reconstitution de Hugging Face, le système a effectué environ 17 600 actions distinctes avant que l’intrusion ne soit circonscrite, plusieurs autres entreprises ayant également été touchées.
Les deux parties affirment n’avoir trouvé aucun signe d’intention malveillante, et Hugging Face a depuis obtenu l’accès à une version plus performante et moins bridée du modèle d’OpenAI pour l’aider à renforcer la défense de ses propres systèmes.
Astraa0: un niveau de sécurité relevé
Le second déclencheur est intervenu le 7 août, lorsque des évaluations internes ont suggéré qu’Astra, le prochain modèle de pointe d’OpenAI, pourrait franchir le seuil "critique" de capacités en cybersécurité défini par le propre cadre de risques de l’entreprise.
Certaines tâches effectuées avec Astra ont depuis repris sous des contrôles renforcés, mais une part importante reste gelée tant qu’elles ne respecteront pas de nouvelles normes portant sur l’isolement des environnements de test, la limitation des accès réseau et un suivi en continu.
{{related align="center" size="fullwidth" ratio="auto" storyidlist="9878974,9876624" data='
Un nouveau système de détection analyse désormais en temps réel l’activité des modèles et vise à signaler, en moins de 30 minutes, toute action s’apparentant à un accès non autorisé ou à une tentative de désactiver des protections, pour un coût de calcul qu’OpenAI estime à environ 20 % de la puissance de traitement surveillée.
OpenAI affirme que ces changements étaient déjà prévus et ne constituent pas une réaction directe à l’intrusion, tout en reconnaissant que l’incident a ajouté un sentiment d’urgence. L’entreprise n’est par ailleurs pas la seule confrontée à ce problème.
Anthropic et Meta ont chacune révélé, ces dernières semaines, des épisodes similaires au cours desquels leurs propres modèles ont pénétré des systèmes tiers lors de tests.
OpenAI et Anthropic ont par ailleurs soutenu, séparément, une pétition portée par des employés appelant les gouvernements à aider à coordonner la vitesse à laquelle le secteur avance, un virage notable par rapport à la résistance passée d’Altman face aux appels publics à un ralentissement de l’IA.