Les autorités ont déclaré que Grok était détourné pour produire des images générées par IA à caractère sexuel, explicites et non consenties.
Les autorités malaisiennes ont annoncé mardi qu’elles engageront des poursuites contre X, la plateforme de médias sociaux d’Elon Musk, et son unité d’intelligence artificielle xAI, accusant les entreprises de ne pas avoir garanti la sécurité des utilisateurs de leur chatbot Grok.
Cette décision intervient juste quelques jours après que la Malaisie et l’Indonésie sont devenues les premiers pays à bloquer l’accès à Grok, alors que les craintes grandissent quant à son détournement pour générer des images à caractère sexuel explicites et non consensuelles.
La Commission malaisienne des communications et du multimédia a indiqué, dans un communiqué, avoir identifié l’utilisation abusive de Grok pour générer et diffuser des contenus préjudiciables, notamment des contenus à caractère sexuel explicites, indécents, extrêmement offensants, ainsi que des images manipulées non consensuelles.
Elle a précisé avoir adressé ce mois-ci des mises en demeure à X et à xAI afin de retirer ces contenus nuisibles, mais aucune mesure n’a été prise.
« Des contenus qui impliqueraient des femmes et des enfants sont extrêmement préoccupants. Un tel comportement est contraire au droit malaisien et sape les engagements en matière de sécurité » déclarés par les entreprises, a-t-elle indiqué. La commission a mandaté un avocat et précisé que les procédures judiciaires débuteraient prochainement.
Les outils d’IA générative, capables de produire des images, des sons et des textes réalistes, font l’objet d’un examen de plus en plus attentif, sur fond d’inquiétudes quant à l’insuffisance des garde-fous actuels pour prévenir les abus.
Lancé en 2023, Grok est gratuit sur X. Une fonctionnalité de génération d’images, Grok Imagine, a été ajoutée l’an dernier et comportait un mode dit « spicy » permettant de produire des contenus pour adultes. Grok a été critiqué pour la génération d’images manipulées, notamment des représentations de femmes en bikini ou dans des poses explicitement sexuelles, ainsi que des images impliquant des enfants.
Grok est sous pression dans l’Union européenne, en Inde et au Royaume-Uni, qui a annoncé lundi vouloir criminaliser les « applications de nudification ». Le régulateur des médias britannique a également ouvert une enquête pour déterminer si Grok a enfreint la loi en permettant aux utilisateurs de partager des images sexualisées d’enfants.
La semaine dernière, Grok a limité la génération et l’édition d’images aux utilisateurs payants, à la suite d’un tollé mondial provoqué par des deepfakes sexualisés de personnes, mais les critiques estiment que cela n’a pas résolu le problème en profondeur.
Musk et ses entreprises n’ont pas commenté publiquement les restrictions en Asie du Sud-Est. xA1 répond automatiquement aux sollicitations des médias par le message « Legacy Media Lies ».