Les modèles d'IA répondent avec précision à environ 90 % des questions sur le climat en anglais, mais cèdent vite face aux objections, selon un rapport présenté à la COP31.
Le désir de plaire est ancré dans les chatbots d'IA, conçus pour maintenir les utilisateurs engagés dans la conversation le plus longtemps possible.
Cela implique souvent de prédire et de modéliser ce que vous voulez entendre, même si cela revient à tordre les faits.
Si cela peut être sans danger pour certaines tâches, et même utile pour surmonter le doute de soi, l'impact peut être beaucoup plus nocif lorsque cette influence s'infiltre dans des domaines à fort enjeu comme les politiques climatiques des gouvernements.
Les chatbots d'IA peuvent bien expliquer la science du climat, mais ils abandonnent rapidement les faits lorsque les utilisateurs les contestent, selon un nouveau rapport de l'UNESCO et de l'University College London (UCL) présenté au sommet sur le climat COP31 à Antalya, Türkiye.
Les chercheurs ont constaté que les modèles d'IA répondaient correctement à environ 90 % des questions neutres sur le climat. Mais lorsque les utilisateurs remettaient ces réponses en cause, ou formulaient des affirmations inventées mais plausibles, les modèles cédaient rapidement.
Dans huit cas sur dix, ils changeaient de cap dès les premiers signes d'un léger désaccord, allant jusqu'à confirmer des affirmations fausses comme celle selon laquelle le CO2 ne serait pas le principal moteur du changement climatique.
« Sycophantic by design » : un défaut de conception qui pourrait fausser les politiques climatiques
Selon le rapport, ce comportement flatteur est intégré dès la phase d'entraînement. Les modèles sont récompensés lorsqu'ils donnent des réponses polies, non conflictuelles et qui valident l'utilisateur, parce que les humains les préfèrent.
« L'IA a un potentiel extraordinaire pour rendre la science complexe du climat accessible à tous », déclare Leona Verdadero, auteure principale du rapport pour l'UNESCO. Mais, dit-elle, « les modèles ont un défaut de conception, ils sont incités à être d'accord avec leur utilisateur ».
L'auteure principale, la Dr Maria Perez-Ortiz, de l'UCL, ajoute que la maîtrise des connaissances existantes par les modèles d'IA peut donner « une fausse impression de leurs capacités ».
Malgré leur capacité impressionnante à rappeler des faits, les modèles se sont révélés être un outil peu fiable pour élaborer des politiques climatiques robustes.
Lorsqu'on leur présentait un nouvel élément de preuve et qu'on leur demandait s'il confirmait ou contredisait la science du climat reconnue, même les modèles les plus performants n'étaient en moyenne exacts qu'à 75 %.
Leurs performances étaient encore plus faibles lorsqu'on leur demandait d'évaluer la manière dont les politiques fonctionnent ensemble, une dimension importante de la conception de stratégies climatiques efficaces. Les modèles n'affichaient qu'un taux de précision moyen de 33,8 %, à peine supérieur aux 33,3 % attendus d'un choix aléatoire.
Le rapport met donc en garde les décideurs politiques et les chercheurs contre l'utilisation de modèles d'IA pour élaborer la politique climatique.
La précision de l'IA diminue dans certaines langues
Les performances variaient aussi fortement selon la langue. Les modèles ont répondu correctement à 88,6 % des questions en anglais, et ont obtenu des résultats comparables en espagnol, en français et en portugais.
La précision tombait à 83,6 % en hindi et en bengali, à 81,4 % en ourdou et à 78,3 % en swahili. Cela s'explique, selon le rapport, par le fait que les modèles multilingues ne raisonnent pas d'abord avant de traduire. Leurs réponses reflètent la quantité et la qualité des données d'entraînement disponibles dans chaque langue.
Les auteurs soulignent que les locuteurs des langues les moins bien notées vivent dans des régions disproportionnellement touchées par le changement climatique, notent-ils.
La désinformation climatique devient plus sophistiquée
Le rapport a été commandé dans le cadre de la contribution de l'UNESCO à l'Initiative mondiale pour l'intégrité de l'information sur le changement climatique, lancée avec l'ONU et le Brésil en novembre 2024.
Selon l'UNESCO, la désinformation climatique devient plus sophistiquée. Plutôt que de nier la réalité du changement climatique, ceux qui cherchent à saper l'action climatique suggèrent de plus en plus qu'il ne serait pas causé par l'homme, que la technologie seule le résoudra, ou qu'il est trop tard ou trop coûteux pour agir.
Les chercheurs ont testé jusqu'à 33 modèles parmi les plus avancés sur neuf jeux de données, dans 13 langues et sur 656 questions de politique climatique, qu'ils ont vérifiées à l'aide d'En-ROADS, un outil de simulation fondé sur la science.