Étude: sur TikTok et YouTube, des contenus IA répétitifs et violents pour enfants pourraient nuire au développement cognitif et encourager l'agressivité
Selon de nouvelles recherches, le "slop" de l'IA, en particulier les vidéos de fruits animés générées par l'IA, pourrait contribuer à un déclin cognitif important et à des tendances violentes chez les enfants.
PUBLICITÉ
PUBLICITÉ
Cette analyse, menée par le Global Network on Extremism and Technology (GNET), conclut que les vidéos de fruits animés générées par l'IA, qui pullulent actuellement dans les fils des enfants partout dans le monde, pourraient servir à diffuser en secret du contenu "violent et extrémiste".
Le "slop" de l'IA désigne spécifiquement des contenus générés par l'IA produits en masse, très répétitifs et de faible qualité, qui comportent généralement très peu, voire aucune intervention humaine. Ce type de contenus ne vise en général que les vues, les clics, l'engagement et les revenus publicitaires, et est produit à très bas coût.
Un seul créateur peut ainsi produire des centaines de ces vidéos courtes, inondant plusieurs plateformes de quantités massives de contenus. Comme de nombreux réseaux sociaux récompensent l'activité et les publications constantes, cette stratégie peut s'avérer très efficace pour toucher des millions d'enfants à travers le monde.
Ce phénomène pourrait contribuer à un déclin cognitif, ou à ce que certains appellent le "brain rot", terme qui renvoie aux effets culturels et psychologiques d'une consommation excessive de contenus rapides, surstimuliants et volontairement dépourvus de sens, souvent absurdes et qui exploitent des habitudes comme le défilement sans fin et la quête de doses immédiates de dopamine.
La montée en puissance d'applications bon marché, faciles à prendre en main et très pratiques, comme PixVerse, VeoE.ai, Media.io ou Sora, a également contribué à l'explosion de ce type de contenus générés par l'IA ces dernières années.
Comment le "slop" de l'IA contribue à la radicalisation en ligne
Le "slop" de l'IA peut diffuser subrepticement des contenus de radicalisation en ligne au travers de vidéos qui paraissent d'abord inoffensives, absurdes voire drôles, comme ces vidéos de fruits et légumes animés.
Ce type de contenus met souvent en scène des récits très dramatiques mêlant romance, conflits domestiques, trahisons et infidélité, entre autres intrigues portées par des fruits animés en apparence innocents. Ils peuvent exhiber une forte agressivité et une grande violence émotionnelle et se révéler extrêmement surstimulants pour des esprits impressionnables par leurs schémas narratifs.
Dans de nombreux cas, ces vidéos servent aussi à glorifier, célébrer et diffuser l'extrémisme violent et des attaques terroristes, au moyen de clips accrocheurs qui se greffent sur des tendances et sujets viraux en ligne.
Les vidéos gores de fruits et légumes générées par l'IA peuvent souvent montrer des scènes de torture, de mutilation extrême et de violence hyperréaliste, qui peuvent considérablement désensibiliser les publics en se dissimulant derrière la familiarité de ces personnages animés.
Elles peuvent également représenter des assassinats, des événements à nombreuses victimes et des meurtres brutaux, par exemple un fruit qui en assassine un autre avec une arme.
Dans bien des cas, ces vidéos partagent aussi des caractéristiques communes avec des organisations extrémistes qui promeuvent des idéologies d'extrême droite, nihilistes ou violentes, ainsi qu'avec des cartels criminels.
Par exemple, un personnage populaire, Carrot Khalifah, est souvent montré en train de dire à une armée dans une vidéo que "l'État carotte renaîtra", ce qui fait écho à l'idéologie et à la propagande bien connues de l'organisation État islamique (EI).
Même si des plateformes comme TikTok disposent de politiques visant à empêcher la diffusion de contenus aussi violents, celles-ci sont loin d'être infaillibles, car des générateurs d'IA peuvent les contourner et se dissimuler sous des contenus en apparence innocents.