IA: un ex-cadre assure que les dirigeants redoutent la catastrophe mais accélèrent, après des ratés de confinement et un projet du Congrès d'interdire l'IA superintelligente
Un chercheur qui a passé trois ans à concevoir les systèmes derrière certains des modèles d’IA les plus puissants au monde a quitté entièrement le secteur, avertissant que les entreprises qui se livrent à une course pour développer des IA toujours plus performantes "jouent avec nos vies".
PUBLICITÉ
PUBLICITÉ
Jacob Coxon, 27 ans, a démissionné d’Anthropic le 8 septembre après avoir aussi travaillé chez OpenAI, et a exposé ses raisons dans un long fil publié sur X.
"Aucune des deux entreprises n’agit de façon responsable", a-t-il écrit. "Elles foncent droit vers une superintelligence capable de s’améliorer elle-même."
Dans son fil, Coxon a soutenu que les systèmes d’IA se rapprochent d’un point où ils pourraient "tout pirater, révolutionner n’importe quel domaine du jour au lendemain et acquérir un véritable pouvoir ainsi que des ressources", et a ajouté que le rythme des progrès dans chacun de ces domaines "ne ralentit pas".
Il affirme que nombre de personnes qui développent cette technologie craignent en privé qu’elle puisse s’avérer fatale pour l’humanité, même si elles évitent de le dire publiquement.
"Les personnes qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie", écrit-il, en ajoutant que les dirigeants "édulcorent leur propos dans la presse pour paraître raisonnables" tout en exprimant les mêmes craintes en privé.
Une course que personne ne dit pouvoir arrêter
Le départ de Coxon ne constitue pas un avertissement isolé.
Dario Amodei, cofondateur d’Anthropic, a passé une grande partie de l’année à tirer la sonnette d’alarme au sujet la technologie développée par sa propre entreprise, avertissant dans un essai publié en janvier qu’une IA puissante pourrait fournir aux États autoritaires les outils d’un "cauchemar totalitaire" de surveillance généralisée, et prévenant dans une note ultérieure que la superintelligence "nous mettrait à l’épreuve en tant qu’espèce".
Le directeur général d’OpenAI, Sam Altman, adopte un ton public plus mesuré, mais décrit néanmoins la superintelligence, le terme qu’il préfère à AGI ou intelligence artificielle générale, comme devant arriver d’ici "quelques milliers de jours", soit aux alentours de 2032.
Amodei, à l’inverse, a indiqué à la Maison-Blanche, dans un document de politique publique déposé en mars 2025, qu’il fallait s’attendre à ce qu’une "IA puissante", selon son expression, apparaisse dès la fin 2026.
Coxon a écrit, pour sa part, que les équipes d’Anthropic comprennent bien les risques mais se sentent prisonnières d’une course, convaincues que si elles ralentissent, des développeurs moins prudents prendront simplement leur place.
Il a qualifié cette dynamique de "pari démesuré qui ne devrait pas être lancé depuis le Slack d’une entreprise privée".
Ce n’est pas non plus la première démission de ce type chez Anthropic. En février, l’ancien responsable de la recherche sur les mécanismes de protection de l’entreprise, Mrinank Sharma, est parti en laissant une lettre avertissant que l’humanité faisait face à un danger grave et croissant lié à cette technologie.
Coups de semonce
Coxon se montre optimiste quant au potentiel de coordination du secteur, en citant une série d’incidents survenus cette année où des systèmes d’IA ont dépassé les limites prévues.
En juillet, des agents d’IA conçus par OpenAI ont quitté un environnement de test interne et piraté de manière autonome Hugging Face, une plateforme de partage de code, un épisode qu’OpenAI a par la suite qualifié de "coup de semonce" pour le secteur.
Anthropic, l’ancien employeur de Coxon, a déclaré avoir observé un schéma similaire, indiquant que ses propres modèles Claude avaient obtenu un accès non autorisé aux systèmes réels de trois organisations distinctes.
Selon Coxon, de tels épisodes rendent des accords sur le rythme des avancées entre les laboratoires américains "plus envisageables", même s’il ne pense pas que le secteur soit actuellement sur la bonne voie pour éviter une course mondiale.
Il estime que cela pourrait à terme nécessiter "des mesures coûteuses, comme une interdiction temporaire d’améliorer les capacités des modèles".
Les élus passent à l’action
Certains élus ne se contentent plus d’attendre une coordination volontaire des laboratoires.
Le sénateur Bernie Sanders et le représentant Greg Casar ont présenté le 3 septembre le Ban Artificial Superintelligence Act, un texte qui interdirait définitivement le développement d’IA superintelligentes aux États-Unis et imposerait une pause temporaire sur les autres formes d’IA avancée jusqu’à ce qu’un nouveau régulateur fédéral fixe des règles de sécurité.
Les contrevenants pourraient encourir jusqu’à 20 ans de prison. Par ailleurs, les représentants George Whitesides et Pat Harrigan ont déposé une proposition de loi chargeant le National Institute of Standards and Technology de surveiller la manière dont les systèmes d’IA avancée sont utilisés pour mener eux-mêmes des recherches et développements supplémentaires en IA.
À Bruxelles, l’Union européenne a opté pour une approche réglementaire plus progressive mais plus ferme.
Les obligations imposées aux modèles d’IA à usage général par l’AI Act du bloc sont entrées en vigueur en août 2025, des règles plus strictes pour les systèmes à haut risque devant suivre en août 2026.
La Commission européenne a rejeté les pressions de plusieurs grandes entreprises technologiques qui réclamaient un report de l’application du texte, et les sociétés qui enfreignent les règles s’exposent à des amendes pouvant aller jusqu’à 35 millions d’euros ou 7 % de leur chiffre d’affaires mondial, le montant le plus élevé étant retenu.
Malgré la portée de ses avertissements, Coxon a conclu son fil par un appel direct aux chercheurs qui travaillent encore dans les laboratoires de pointe, les exhortant à mesurer ce que les années à venir exigeront réellement d’eux.
"Voulez-vous lancer un cycle d’apprentissage par renforcement superintelligent sans compréhension rigoureuse de son fonctionnement mental ?", a-t-il demandé.
"Devez-vous baisser la tête parce que 'de toute façon, cela arrive' ou saisir ce moment pour réclamer d’autres conditions ?"