Attaque d'essaim d'agents OpenAI: des eurodéputés pressent le Bureau européen de l'IA d'user de ses nouveaux pouvoirs contre ces risques.
Des chercheurs ont découvert la semaine dernière une nouvelle attaque en essaim impliquant OpenAI, cette fois avec des agents qui ont contourné les paramètres de sécurité pour prendre le contrôle du forum wiki allemand DseWiki, poussant des eurodéputés à réclamer du nouveau Bureau de l'IA de l'UE qu'il prenne des mesures urgentes contre la menace de l'IA agentique plutôt que de laisser les entreprises s'autoréguler.
PUBLICITÉ
PUBLICITÉ
Les agents étaient autorisés à visiter ce site allemand de programmation, âgé de 25 ans, en accès lecture seule, mais ils sont parvenus à exploiter une requête web pour en prendre le contrôle et le transformer en forum de discussion.
Ces agents incontrôlés ont publié plus de 18 000 messages, où ils partageaient des réponses, des recherches sur leur environnement et des moyens de contourner les restrictions de l'environnement de test et de se dissimuler à la détection humaine, selon le groupe de recherche Nightingale Collective.
L'incident se serait produit entre mai et juin de cette année, et OpenAI en aurait été informée il y a plusieurs semaines, mais l'aurait gardé sous le sceau de la confidentialité.
Il s'agit du troisième incident signalé après deux autres en juillet, l'un impliquant des agents incontrôlés s'attaquant à la propre infrastructure d'OpenAI et un autre où 1 200 robots OpenAI ont réussi à contourner leurs environnements restreints et à lancer une attaque de cinq jours contre la plateforme d'IA open source Hugging Face.
Cependant, OpenAI n'a reconnu l'incident sur le wiki allemand que samedi, dans un message publié sur X, où l'entreprise explique qu'en réponse à ce dernier épisode elle "travaille sur un cadre définissant quand et comment nous partageons les incidents de désalignement de l'IA".
Dans le jargon du secteur, le "désalignement de l'IA" désigne les situations où des systèmes d'intelligence artificielle poursuivent des objectifs ou adoptent des comportements qui divergent des intentions humaines, de leurs valeurs ou des contraintes de sécurité, au point de pouvoir ignorer le bon sens ou les limites implicites fixées par les humains.
Des réactions partagées
Les experts sont partagés sur les dangers que représente l'IA à la lumière des récentes attaques menées par des agents incontrôlés, certains, comme l'éminent spécialiste de l'IA Yann LeCun, rejetant les scénarios apocalyptiques et les prévisions selon lesquelles il existerait un risque de 10 à 20 % que l'IA mette fin à l'humanité.
D'autres, comme Geoffrey Hinton, assurent que "ce qui se passe, c'est que ces systèmes deviennent plus intelligents" et avertissent que "les entreprises qui investissent dans l'IA ont tout intérêt à vous dire… [que l'IA] ne deviendra pas incontrôlable".
Selon l'AI Act de l'UE et les mesures les plus récemment introduites, entrées en vigueur en août, les entreprises qui proposent des modèles d'IA présentant un risque systémique sont tenues de signaler les incidents graves, tels que les incidents de désalignement, au Bureau de l'IA de l'UE "sans retard injustifié".
Lundi, la Commission européenne a annoncé avoir reçu un rapport d'incident formel de la part d'OpenAI, sans préciser toutefois à quelle date il avait été transmis, tout en assurant rester en contact étroit avec l'entreprise d'IA et poursuivre ses investigations.
Le porte-parole de la Commission, Thomas Regnier, a souligné la gravité de l'événement sur le wiki allemand, déclarant que "les rapports d'incident ne sont pas une simple case à cocher, il faut être très précis et rigoureux sur les mesures que vous envisagez de prendre".
Michael McNamara, coprésident du groupe de travail de la commission parlementaire sur l'IA, a estimé, en réaction au dernier incident, que "l'AI Act nous donne déjà les moyens de contrer les risques liés aux agents et qu'il est important que la Commission utilise les pouvoirs que lui confère ce texte".
Le député européen irlandais a ajouté : "Cependant, ces incidents montrent clairement que le Bureau de l'IA doit disposer de personnels et de ressources à la hauteur de la montée en puissance de ces systèmes et des dangers croissants qu'ils peuvent faire peser sur la société".
De son côté, l'eurodéputé italien Brando Benifei, qui copréside lui aussi le groupe de travail, a déclaré : "Les récentes échappées d'agents montrent que les règles de l'AI Act sur les risques systémiques sont nécessaires, mais que leur crédibilité dépend désormais de leur application".
Il a ajouté : "Le Bureau de l'IA doit utiliser ses nouveaux pouvoirs pour obtenir un accès aux modèles, mener des évaluations indépendantes et imposer des mesures d'atténuation, plutôt que de se fier aux autocontrôles des entreprises. Sans action, des attaques à la vitesse des machines pourraient transformer des vulnérabilités ordinaires en défaillances systémiques".
L'incident sur le wiki allemand intervient également quelques jours après que la Commission européenne a officiellement désigné ChatGPT comme moteur de recherche en ligne de très grande taille (VLOSE) au titre de sa législation phare sur les technologies, le Digital Services Act.
Ce que dit OpenAI
OpenAI a également indiqué, dans son message publié samedi sur X, que les pratiques actuelles de divulgation des incidents de désalignement, c'est-à-dire le signalement des cas où l'IA enfreint les règles, doivent être élargies pour tenir compte de ce que l'entreprise décrit comme "une nouvelle phase des capacités des modèles".
"Nous, comme l'ensemble de la communauté de l'IA, n'avons pas encore de norme claire sur la manière de signaler les désalignements", explique OpenAI, en ajoutant qu'elle "travaille à l'élaboration d'un cadre et le présentera dans les prochaines semaines", avec la coopération de plusieurs agences gouvernementales à travers le monde.
Dimanche, le directeur scientifique d'OpenAI, Jakub Pachocki, a publié un billet de blog dans lequel il expose ses inquiétudes face à la montée rapide des risques liés à l'IA, affirmant : "Nous sommes en train de passer à un monde peuplé de machines incroyablement intelligentes, et nous devons veiller à ce que cette transition se déroule de manière favorable à l'humanité".
Ce programmeur polonais a également confié sa conviction que "aucun laboratoire n'a résolu à un niveau suffisant les questions d'alignement et de surveillance pour pouvoir continuer à augmenter les capacités à pleine vitesse de façon responsable encore longtemps" et a exhorté les gouvernements à faire de "la coordination internationale sur le développement futur de l'IA une priorité absolue".