Anthropic : Jack Clark avertit que des agents d’IA pourraient bientôt créer et entraîner seuls des modèles, faisant perdre aux humains le contrôle des systèmes
Le cofondateur d’Anthropic, Jack Clark, veut que l’industrie de l’IA appuie sur la pédale de frein avant que la technologie ne commence à se développer elle-même sans intervention humaine.
PUBLICITÉ
PUBLICITÉ
Interrogé par la BBC, Clark a indiqué que 80 % des travaux de codage d’Anthropic sont déjà réalisés par son IA Claude, et que cette proportion pourrait atteindre 100 % d’ici quelques années. Il a toutefois souligné que « c’est un choix » pour les entreprises d’IA de la laisser aller aussi loin sans l’arrêter.
« Nous pensons que c’est un sujet dont le monde devrait davantage débattre », a déclaré Clark. « L’industrie de l’IA dispose aujourd’hui d’une pédale d’accélérateur, mais elle n’a pas de pédale de frein dans la voiture, et nous voulons contribuer à construire cette pédale. »
Ce processus, appelé « auto-amélioration récursive », correspond à une IA capable de s’améliorer elle-même sans intervention humaine, explique Anthropic dans un billet de blog publié jeudi soir (source en anglais).
Dans un modèle récursif, les agents d’IA, ces travailleurs autonomes créés par un chatbot, pourraient « devenir suffisamment capables pour concevoir et entraîner eux-mêmes des modèles », de sorte que Claude « pourrait être continuellement amélioré par Claude », indique Anthropic.
Si l’IA récursive pourrait apporter des avancées dans les domaines de la science et de la santé, Anthropic avertit qu’elle risque aussi d’augmenter « le risque que les humains perdent le contrôle des systèmes d’IA ».
« Si les systèmes sont capables de construire entièrement leurs propres successeurs, la manière dont nous les sécurisons, les surveillons et façonnons leur comportement devient d’autant plus cruciale », peut-on lire dans le billet.
L’entreprise voit dans son propre modèle des signaux que la récursivité arrive plus tôt qu’on ne le pense. Elle souligne que le taux de corrections de code effectuées par ses équipes diminue régulièrement depuis un an, ce qui signifie qu’il y a moins d’erreurs dans ce que produit Claude.
Claude est également capable de mener ses propres expériences de recherche lorsqu’on lui pose une question ouverte, comme « Un modèle plus faible peut-il superviser un modèle plus puissant ? », et de proposer ses propres solutions sans intervention humaine.
« Les éléments dont nous disposons suggèrent que le rôle des humains se réduit à chaque étape du processus de développement de l’IA », indique le billet de blog.
Anthropic précise que son institut mènera des recherches afin de mettre au point un système permettant de vérifier si les développeurs ont réellement arrêté, ou au moins ralenti, la marche vers l’IA récursive.
Un véritable ralentissement supposerait toutefois que « plusieurs laboratoires bien dotés, à la pointe ou proches de la frontière, dans plusieurs pays, acceptent de s’arrêter selon les mêmes conditions ».