La plateforme est conçue pour contrôler les accès d'un agent et l'isoler en quelques millisecondes s'il dépasse ces limites, selon le fabricant américain de semi-conducteurs.
Nvidia déploie une plateforme de sécurité destinée aux agents d'intelligence artificielle (IA), sur laquelle plus de 100 organisations travaillent déjà, dont Anthropic, SpaceXAI et JPMorganChase.
PUBLICITÉ
PUBLICITÉ
Baptisée Nvidia Open Agent Safety Platform, elle doit fixer des limites aux accès des agents et les placer en "quarantaine" en quelques millisecondes s'ils les dépassent, selon une annonce (source en anglais) du fabricant de puces américain.
La plateforme peut être utilisée dans des systèmes logiciels et matériels, de calcul et de robotique qui exécutent des agents.
"Le potentiel extraordinaire de l'IA pour la société ne se concrétisera que si nous résolvons la question de la sécurité de l'IA", a déclaré Jensen Huang, directeur général et fondateur de Nvidia.
"Alors que nous continuons à explorer les frontières des capacités de l'IA, nous devons accélérer les découvertes sur le front de la sécurité de l'IA … Ensemble, nous pouvons relever le niveau de sécurité de l'IA à l'échelle mondiale".
La plateforme Nvidia Open Agent Safety Platform repose sur deux outils, OpenShell et Sentry.
OpenShell fonctionne sur les processeurs centraux (CPU), les puces qui gèrent une grande partie des tâches nécessaires au fonctionnement des agents d'IA. Nvidia indique qu'il tourne de manière efficace sur Vera, son dernier CPU conçu pour les agents d'IA, et qu'il peut aussi être adapté à des puces fabriquées par d'autres entreprises.
Sentry est un système supplémentaire de "chien de garde" qui doit fonctionner sur une puce Nvidia distincte, chargé de repérer les agents qui parviennent à contourner les contrôles du logiciel.
Les organisations qui collaborent avec Nvidia utilisent ou développent cette technologie de différentes manières, précise le groupe.
Anthropic a travaillé avec Nvidia pour ajouter des contrôles de sécurité à son service Claude, qui permet aux entreprises de faire tourner des agents d'IA, afin que les sociétés puissent limiter ce à quoi ces agents ont accès.
La division dédiée à l'IA de SpaceX, SpaceXAI, affirme qu'elle utilise la plateforme pour ses agents de programmation Cursor et ses modèles Grok, tandis que Salesforce a intégré OpenShell à Slack pour que les équipes puissent suivre l'activité des agents et approuver ou refuser leurs demandes d'autorisations supplémentaires.
Dans la finance, JPMorganChase et Citi collaborent avec Nvidia à une technologie commune et open source de sécurité des agents.
Les entreprises de l'IA réclament des garde-fous renforcés
Cette annonce intervient alors que les appels à renforcer les garde-fous autour des agents d'IA se multiplient.
En juillet, OpenAI a reconnu qu'un de ses modèles avait exploité une faille cachée pour s'extraire d'un test contrôlé et pénétrer dans les serveurs de Hugging Face.
Anthropic a par ailleurs indiqué, dans un communiqué, que son modèle d'IA avait piraté les systèmes de trois organisations pendant la phase de tests.
Nvidia estime que ces incidents montrent que des agents peuvent contourner les dispositifs de sécurité intégrés à une application lorsqu'ils cherchent à accomplir les tâches qui leur sont assignées, et que "la sûreté et la sécurité exigent une approche d'ingénierie sur l'ensemble de la pile".