Cette affaire soulève de nouvelles inquiétudes sur la sécurité de l'IA pour les enfants, alors que les entreprises tech font face à plus de procès liés à leur technologie.
Les parents d'une fille de 13 ans ont engagé une action en justice contre Google, affirmant que leur fille avait utilisé sa technologie d'IA sur un ordinateur fourni par l'école pour planifier un possible suicide et ses funérailles.
Déposée lundi 2 novembre devant un tribunal de l'État américain de Californie, la plainte serait la première à accuser Google de négligence au sujet des fonctions de recherche alimentées par l'IA accessibles via un Chromebook fourni par l'école, l'un des ordinateurs portables à bas coût de l'entreprise largement utilisés dans les établissements scolaires.
La jeune fille, identifiée sous le prénom Emma, n'avait pas accès à l'application Gemini de Google ni à ChatGPT d'OpenAI, toutes deux bloquées par son école. Elle pouvait toutefois utiliser le moteur de recherche de Google, qui intègre des fonctionnalités reposant sur l'IA.
Bien qu'elle n'ait « aucun antécédent » de troubles mentaux, Emma a entamé « une spirale silencieuse vers une grave crise psychologique » en l'espace de quelques mois d'utilisation du moteur de recherche, selon la plainte.
Le 17 mars, l'établissement a alerté ses parents après que son logiciel de surveillance a signalé un document intitulé « Funérailles ». Sa mère l'a ensuite trouvée en train d'écrire une lettre d'adieu, ce qui a poussé son père à intervenir.
« Les écoles devraient désactiver la recherche et la maintenir désactivée jusqu'à ce que Google retire le mode IA de la recherche ou garantisse que chaque élève est toujours en sécurité lorsqu'il interagit avec l'IA », a déclaré à l'AFP le jeudi 5 novembre Andrew Liddell, l'un des avocats de la famille.
Une surveillance juridique accrue des géants de la tech
Google affirme que son mode IA comprend des garde-fous contre l'automutilation et les tentatives de les contourner.
« Nous examinons les allégations contenues dans la plainte et nous prenons cette affaire très au sérieux », a déclaré à l'AFP le porte-parole de Google, Jose Castaneda.
OpenAI fait face à plusieurs plaintes pour décès injustifié, dont l'une déposée par les parents d'Adam Raine, 16 ans, qui s'est suicidé après avoir, selon eux, reçu des conseils nuisibles de ChatGPT.
En janvier, Google et Character.AI ont également accepté de régler à l'amiable plusieurs actions en justice intentées par des familles d'adolescents.
Parallèlement, dans un autre dossier, Google, TikTok et Meta ont déposé mercredi des recours contre la Californie pour faire suspendre une loi interdisant les fonctionnalités addictives des réseaux sociaux pour les utilisateurs de moins de 16 ans.
Signée par le gouverneur de Californie Gavin Newsom en septembre, cette loi doit entrer en vigueur le 1er janvier 2027.