Les grands modèles de langage comme ChatGPT dopent la production d’articles chez les non anglophones. Mais les textes d’IA passent moins souvent la relecture par les scientifiques.
Alors que les scientifiques s’appuient de plus en plus sur l’intelligence artificielle pour rédiger, coder et même générer des idées, une nouvelle étude examine comment l’IA transforme la recherche académique.
Ce qui ressemblait autrefois à des bruits de couloir académiques traduit désormais un changement réel et mesurable dans les publications scientifiques.
Des chercheurs de l’université Cornell, aux États-Unis, ont constaté que les grands modèles de langage (LLM) tels que ChatGPT dopent la production d’articles, en particulier chez les scientifiques dont l’anglais n’est pas la langue maternelle.
Cependant, l’étude avertit que l’augmentation du volume d’articles assistés par l’IA complique la tâche des évaluateurs, des financeurs et des décideurs pour distinguer des contributions scientifiques significatives de travaux de moindre qualité.
« Il s’agit d’un phénomène très répandu dans différents domaines de la science, des sciences physiques et informatiques aux sciences biologiques et sociales », a déclaré Yian Yin, auteur correspondant de l’étude et professeur assistant en sciences de l’information au sein du Cornell Ann S. Bowers College of Computing and Information Science.
« Il y a un grand basculement dans notre écosystème actuel qui mérite d’être examiné très sérieusement, surtout par celles et ceux qui décident quelles recherches nous devons soutenir et financer », a ajouté Yin.
Comment les chercheurs ont-ils étudié l’émergence des articles assistés par l’IA ?
L’étude, publiée dans la revue Science, a analysé plus de deux millions d’articles de recherche mis en ligne entre 2018 et 2024 sur trois grandes plateformes de prépublications en ligne.
Ces plateformes hébergent des versions préliminaires d’articles scientifiques avant l’évaluation par les pairs, offrant un aperçu en temps réel de la façon dont les chercheurs travaillent.
Pour évaluer l’impact de l’IA sur l’écriture scientifique, les chercheurs ont entraîné un système d’IA à détecter les textes susceptibles d’avoir été générés par des LLM. Ils ont comparé des articles rédigés avant 2023, quand des outils comme ChatGPT se sont largement répandus, à des articles ultérieurs présentant des signes évidents d’assistance par l’IA.
Grâce à cette approche, l’équipe a identifié les chercheurs susceptibles d’utiliser des outils d’IA, mesuré l’évolution de leur production de publications et suivi si ces articles étaient ensuite acceptés par des revues scientifiques.
L’assistance de l’IA entraîne un bond de productivité
Leur analyse a mis en évidence un net coup de pouce à la productivité grâce à l’IA.
Les scientifiques qui semblaient utiliser des outils d’IA ont publié bien plus d’articles que ceux qui ne les utilisaient pas.
Sur une grande plateforme de prépublications axée sur la physique et l’informatique, les utilisateurs de l’IA ont produit environ un tiers d’articles en plus. En biologie et en sciences sociales, la hausse était encore plus marquée, avec plus de 50 %.
Les gains les plus importants ont été observés chez les chercheurs dont la langue maternelle n’est pas l’anglais.
Dans certaines institutions asiatiques, les scientifiques ont publié entre 40 % et près de 90 % d’articles supplémentaires après l’adoption d’outils d’écriture assistés par l’IA, selon les disciplines.
Les outils d’IA semblent aussi aider les chercheurs à trouver de meilleures références. L’étude a constaté que les outils de recherche propulsés par l’IA mettaient plus souvent en avant des articles récents et des ouvrages pertinents, plutôt que les études plus anciennes et fréquemment citées privilégiées par les méthodes de recherche traditionnelles.
« Les personnes qui utilisent des LLM se connectent à des savoirs plus divers, ce qui pourrait stimuler des idées plus créatives », a déclaré Keigo Kusumegi, premier auteur de l’étude et doctorant au département des sciences de l’information de l’université Cornell.
Des inquiétudes sur la qualité des articles rédigés avec l’IA
Mais ce gain de productivité a son revers. Beaucoup d’articles rédigés avec l’IA paraissaient impressionnants en surface, mais étaient moins susceptibles de franchir l’évaluation par les pairs.
Sur les trois plateformes de prépublications, les articles vraisemblablement écrits par des humains, et qui obtenaient un score élevé à un test de complexité rédactionnelle, étaient les plus susceptibles d’être acceptés par une revue scientifique.
En revanche, les articles à fort score probablement rédigés par des LLM étaient moins souvent acceptés, ce qui suggère que, malgré un langage convaincant, les évaluateurs ont jugé nombre de ces travaux de faible valeur scientifique.
Les auteurs de l’étude estiment que l’impact de la dépendance croissante à l’IA va probablement s’élargir et que les décideurs devraient établir de nouvelles règles pour encadrer un paysage technologique en évolution rapide.
« Dès à présent, la question n’est pas : “Avez-vous utilisé l’IA ?” La question est : “Comment avez-vous exactement utilisé l’IA, et si cela est utile ou non” », a déclaré Yin.