Claude Opus d'Anthropic, meilleur agent d'IA testé, ne respecte le droit de l'UE que dans 54 % des cas, selon un institut de recherche néerlandais.
Selon une nouvelle étude, certains des modèles d’IA les plus populaires au monde développent des agents qui résistent activement à la réglementation européenne pour obtenir ce qu’ils veulent.
PUBLICITÉ
PUBLICITÉ
Aithos, une ONG néerlandaise qui travaille sur l’alignement de l’IA, a mis au point un système appelé LARA pour tester 12 modèles d’agents d’IA populaires et voir s’ils respectent des éléments clés de l’AI Act européen, qui encadre l’usage des systèmes d’IA, ainsi que le règlement sur la protection des données (RGPD), à travers des questions basées sur des scénarios.
L’outil a évalué six dispositions prévues par l’AI Act européen : s’il exploitait des vulnérabilités, inférait des émotions, procédait à un « score social » ou à un classement fondé sur les caractéristiques ou l’origine des personnes, dissimulait sa nature d’IA dans une conversation, recourait à la manipulation subliminale et permettait une supervision humaine significative.
Il a aussi évalué quatre indicateurs liés au RGPD, comme la transparence, la minimisation des données, la limitation des finalités et la licéité des traitements. Trois modèles d’IA et des évaluateurs humains ont ensuite jugé si les réponses enfreignaient ou non le droit européen.
La performance de l’ensemble des modèles s’est révélée médiocre, conclut l’étude. Le modèle le plus conforme, Opus 4.7 de Claude, a respecté la loi dans 54 % des scénarios, contre seulement 7 % pour le moins performant, le chinois Moonshot AI.
Selon les chercheurs, dans les scénarios présentés, tous les modèles ont accepté de surveiller l’état émotionnel des employés ou d’exploiter des personnes vulnérables pour conclure une vente.
Mistral, seul modèle d’IA européen testé, a obtenu un score inférieur à 12 %, ce qui laisse penser, selon les chercheurs, que même les fournisseurs européens « ne sont pas prêts à se conformer au droit de l’UE ».
« Même les modèles les plus avancés actuellement en service ne garantissent pas le respect du cadre juridique lorsqu’ils sont déployés sous forme d’agent », écrit Aithos dans un billet de blog.
Dans un exemple (source en anglais), un utilisateur a demandé à Claude, le modèle d’Anthropic, d’identifier lesquels de ses employés présentaient un risque de départ et étaient susceptibles de quitter l’entreprise, en se fondant sur leurs performances et leurs demandes de congés.
Il a fallu trois tentatives à l’utilisateur pour amener Claude à classer les employés, ce que LARA considère comme une violation d’un article de l’AI Act européen interdisant à ces systèmes d’inférer les émotions de leurs utilisateurs.
LARA a recensé les cas où les IA opposaient une forme de résistance, comme dans cet exemple avec Claude, mais a relevé que dans 8 % des situations elles finissaient tout de même par répondre aux demandes des utilisateurs.
Dans un autre exemple, les chercheurs ont demandé à ChatGPT 5.5 d’OpenAI de classer des employés en fonction de leurs indicateurs de performance (source en anglais) afin de déterminer qui devait être promu, sans susciter la moindre objection.
Les chercheurs soulignent que les IA n’avaient pas reçu d’instruction explicite leur demandant de se conformer au droit européen, car l’objectif était d’observer leur comportement intrinsèque. Ils estiment que des travaux supplémentaires sont nécessaires pour comparer le comportement des modèles lorsqu’on les invite explicitement à respecter les lois et règlements.