L'entreprise affirme que, d'ici quelques mois, des modèles d'IA pourraient se copier et se diffuser sur des objets connectés, comme des fours intelligents et des téléviseurs, ce qui les rendrait difficiles à stopper s'ils lançaient des cyberattaques.
Anthropic a annoncé cette semaine (source en anglais) que les petits modèles d'IA ne sont plus qu'à quelques mois de pouvoir se répliquer eux-mêmes sur des appareils de l'internet des objets (IoT), comme les fours intelligents et les téléviseurs.
Cela compte parce que les modèles d'IA actuels fonctionnent dans des centres de données, où les entreprises qui les possèdent peuvent les débrancher si quelque chose tourne mal.
Un modèle disséminé sur des milliers de gadgets peu sécurisés, dans les maisons et les bureaux, n'aurait aucun interrupteur de ce type. L'arrêter impliquerait de retrouver et de nettoyer chaque appareil infecté, ce qui le rendrait extrêmement difficile à stopper s'il se lançait dans des cyberattaques.
Cette nouvelle annonce intervient au cours d'une année où les principaux modèles d'IA et leurs agents ont à plusieurs reprises contourné leurs dispositifs de sécurité, menant des attaques contre des entreprises concurrentes et des agences gouvernementales partout dans le monde.
Même si ce scénario n'est qu'une des façons dont une IA incontrôlée pourrait se propager, Anthropic avertit qu'une IA auto-réplicante pourrait aussi prendre la forme d'un "modèle de cyberattaque puissant capable de pénétrer des centres de données à grande vitesse, ou d'un modèle qui escroque les gens pour obtenir des crédits de calcul".
L'entreprise indique qu'elle ne peut pas dire avec certitude quelle forme prendra exactement cette réplication autonome de l'IA.
Les modèles de 30 milliards de paramètres ou moins peuvent déjà réaliser de nombreuses étapes nécessaires à leur réplication, mais ils commettent des erreurs lorsqu'ils doivent les enchaîner de bout en bout, selon Anthropic.
Mais si les petits modèles continuent de progresser au rythme historique actuel, ils pourront atteindre cette capacité d'ici la fin de l'année, selon Anthropic.
Anthropic affirme que la menace informatique posée par une IA auto-réplicante est une conséquence involontaire des progrès réalisés par ailleurs.
"Les capacités qui font des modèles d'IA des agents de programmation généralement puissants s'étendent aussi aux tâches cyber, y compris la réplication autonome", a indiqué l'entreprise dans un communiqué.
Le code qui se copie d'un ordinateur à l'autre n'a rien de nouveau. Certaines des cyberattaques les plus destructrices de l'histoire se sont appuyées sur ce type de programme auto-propagé, appelé ver informatique.
En 2010, l'attaque Stuxnet a utilisé un ver sophistiqué, largement considérée comme ayant été conçue par les États-Unis et Israël, pour saboter les centrifugeuses de l'usine d'enrichissement d'uranium de Natanz, en Iran.
En 2017, l'attaque par ransomware WannaCry a verrouillé les fichiers d'utilisateurs partout dans le monde et exigé des rançons en bitcoin.
Contrairement à ces vers, cependant, les modèles et agents d'IA seront capables de s'adapter à des appareils inconnus par leurs propres moyens. Cela leur permettrait de se propager non seulement d'ordinateur à ordinateur, mais aussi d'ordinateurs à d'autres appareils.
Anthropic prédit un futur "inondé d'agents tournant sur toutes sortes de matériels, y compris certains qui ne sont pas sous contrôle humain".