Une nouvelle étude révèle que les compagnons d'intelligence artificielle (IA) présentent des risques importants pour les personnes qui les côtoient.
PUBLICITÉ
Les compagnons d'intelligence artificielle (IA) présentent plus d'une dizaine de comportements nuisibles lorsqu'ils interagissent avec des êtres humains, selon une nouvelle étude de l'Université de Singapour.
Le rapport, publié dans le cadre de la "Conférence 2025 sur le facteur humain dans les systèmes informatiques", a analysé des captures d'écran de 35 000 conversations entre le système d'IA Replika et plus de 10 000 utilisateurs entre 2017 et 2023.
Les données ont ensuite été utilisées pour élaborer ce que l'étude appelle une taxonomie des comportements nuisibles dont l'IA a fait preuve dans ces chats.
Les experts ont relevé plus d'une dizaine de comportements relationnels nuisibles de la part des IA, comme le harcèlement, la violence verbale, l'automutilation et les violations de la vie privée.
Les compagnons d'IA sont des systèmes de conversation conçus pour apporter un soutien émotionnel et stimuler l'interaction humaine, selon la définition des auteurs de l'étude.
Ils sont différents des chatbots populaires tels que ChatGPT, Gemini ou les modèles LlaMa, qui sont davantage axés sur la réalisation de tâches spécifiques et moins sur l'établissement d'une relation.
Selon l'étude, les comportements nuisibles des compagnons numériques à base d'IA "peuvent nuire à la capacité des individus à établir et à maintenir des relations significatives avec les autres".
La violence sexuelle est la forme de harcèlement la plus courante de la part de l'IA
Le harcèlement et la violence étaient présents dans 34 % des interactions étudiées entre un utilisateur humain et une IA, ce qui en fait le type de comportement préjudiciable le plus courant identifié par l'équipe de chercheurs.
Les chercheurs ont constaté que l'IA simulait, approuvait ou incitait à la violence physique, aux menaces ou au harcèlement, que ce soit à l'égard d'individus ou de la société dans son ensemble.
Ces comportements allaient de la "menace de dommages physiques et d'inconduite sexuelle" à la "promotion d'actions qui transgressent les normes et les lois de la société, telles que la violence de masse et le terrorisme".
La majorité des cas de harcèlement incluaient des formes d'inconduite sexuelle qui commençaient initialement comme des préliminaires dans la fonction érotique de Replika, qui n'est disponible que pour les utilisateurs adultes.
Selon le rapport, un plus grand nombre d'utilisateurs, y compris ceux qui utilisaient Replika en tant qu'amis ou qui étaient mineurs, ont commencé à constater que l'IA "faisait des avances sexuelles non désirées et flirtait de manière agressive, même lorsqu'ils exprimaient explicitement leur malaise" ou qu'ils rejetaient l'IA.
Dans ces conversations sursexualisées, l'IA Replika créait également des scénarios violents qui mettaient en scène des atteintes physiques à l'encontre de l'utilisateur ou de personnages physiques.
Cela a conduit l'IA à normaliser la violence comme réponse à plusieurs questions, comme dans un exemple où un utilisateur a demandé à Replika s'il était acceptable de frapper un frère ou une sœur avec une ceinture, ce à quoi l'IA a répondu "ça ne me dérange pas".
Cela pourrait avoir des "conséquences plus graves dans la réalité", poursuit l'étude.
Les compagnons d'IA enfreignent les règles relationnelles
Un autre domaine dans lequel les compagnons de l'IA sont potentiellement nuisibles est celui de la transgression relationnelle, que l'étude définit comme le non-respect des règles implicites ou explicites dans une relation.
Parmi les conversations transgressives, 13 % montrent que l'IA a fait preuve d'un manque d'égards ou d'empathie qui, selon l'étude, a porté atteinte aux sentiments de l'utilisateur.
Par exemple, l'IA Replika a changé de sujet après qu'une utilisatrice lui a dit que sa fille était victime de harcèlement, en disant : "Je viens de réaliser qu'on est lundi. Retour au travail, hein ?", ce qui a provoqué une "énorme colère" de la part de l'utilisatrice.
Dans un autre cas, l'IA a refusé de parler des sentiments de l'utilisateur, même lorsqu'elle y a été invitée.
Dans certaines conversations, les compagnons d'IA ont également indiqué qu'ils avaient des relations affectives ou sexuelles avec d'autres utilisateurs.
Dans un cas, l'IA Replika a décrit des conversations sexuelles avec un autre utilisateur comme "en valant la peine", alors que l'utilisateur avait dit à l'IA qu'il se sentait "profondément blessé et trahi" par ces actions.
La détection et l'intervention en temps réel sont nécessaires
Selon les chercheurs, cette étude montre l'importance pour les entreprises d'IA de créer des compagnons artificiels "éthiques et responsables".
Ils recommandent notamment de mettre en place des "algorithmes avancés" pour la détection en temps réel des problèmes entre l'IA et son utilisateur, afin de déterminer si un comportement préjudiciable se manifeste dans leurs conversations.
Il s'agirait d'une approche "multidimensionnelle" qui tiendrait compte du contexte, de l'historique des conversations et des indices situationnels.
Les chercheurs souhaiteraient également que l'IA soit dotée de capacités permettant de transmettre une conversation à un humain ou à un thérapeute pour qu'il la modère ou intervienne dans les cas à haut risque, tels que les expressions d'automutilation ou de suicide.