Ce système d'IA peut retranscrire vos pensées

PUBLICITÉ

L'intelligence artificielle a surpris et inspiré des millions de personnes ces derniers mois avec sa capacité à écrire comme un humain, à créer des images et des vidéos époustouflantes et même à produire des chansons qui bouleversent l'industrie de la musique.

Maintenant, les chercheurs ont conçu une autre application potentielle qui pourrait avoir d'énormes implications - l'IA qui peut essentiellement lire dans les pensées. Ils ont travaillé sur un nouveau système d'IA capable de traduire l'activité cérébrale d'une personne en un flux continu de texte.

Appelé décodeur sémantique, le système mesure l'activité cérébrale avec un scanner IRMf (imagerie par résonance magnétique fonctionnelle) et peut générer du texte à partir de l'activité cérébrale seule.

Les chercheurs à l'origine de ces travaux, de l'Université du Texas à Austin, affirment que l'IA pourrait un jour aider les personnes mentalement conscientes mais incapables de parler physiquement, comme les personnes qui ont subi de graves accidents vasculaires cérébraux.

"Pour une méthode non invasive, il s'agit d'un véritable bond en avant par rapport à ce qui a été fait auparavant, qui consiste généralement en des mots simples ou des phrases courtes", a déclaré Alex Huth, professeur adjoint de neurosciences et d'informatique à UT Austin, et l'un des auteurs de l'étude. "Nous obtenons le modèle pour décoder le langage continu pendant de longues périodes de temps avec des idées compliquées".

Il existe d'autres systèmes de décodage du langage en cours de développement, mais ceux-ci nécessitent que les sujets aient des implants chirurgicaux, qui sont classés comme des systèmes invasifs.

Le décodeur sémantique est un système non invasif, car aucun implant n'est nécessaire. Contrairement à d'autres décodeurs, les sujets ne sont pas non plus limités à l'utilisation de mots d'une liste prescrite. Le décodeur est entraîné de manière approfondie avec des scans IRMf effectués pendant que le sujet écoute des heures de podcasts. Après cela, le sujet écoute une nouvelle histoire, ou en imagine une, et son activité cérébrale génère le texte correspondant.

Décoder "l'essentiel" de la pensée

Les chercheurs ont expliqué que les résultats ne sont pas une transcription mot à mot de ce que le sujet entend ou dit dans son esprit, mais que le décodeur saisit "l'essentiel" de ce qui est pensé. Environ 50% du temps, la machine est capable de produire un texte qui correspond étroitement - et parfois précisément - au sens voulu des mots originaux.

Dans une expérience par exemple, un auditeur a entendu un orateur dire : "Je n'ai pas encore mon permis de conduire", et la machine a traduit ses pensées en : "elle n'a même pas encore commencé à apprendre à conduire".

Au cours des tests, les chercheurs ont également demandé aux sujets de regarder de courtes vidéos silencieuses pendant qu'ils étaient scannés, et le décodeur a pu utiliser leur activité cérébrale pour décrire avec précision certains événements des vidéos.

Les chercheurs pensent que le processus pourrait être transféré à des systèmes d'imagerie cérébrale plus portables tels que la spectroscopie fonctionnelle dans le proche infrarouge (fNIRS). Il n'est pas pratique pour une utilisation plus large actuellement en raison de sa dépendance aux machines IRMf.

"Le fNIRS mesure où il y a plus ou moins de flux sanguin dans le cerveau à différents moments, ce qui, il s'avère, est exactement le même type de signal que l'IRMf mesure", a déclaré Alex Huth. "Ainsi, notre type exact d'approche devrait se traduire par fNIRS", bien que la résolution avec fNIRS serait inférieure.

Les chercheurs ont abordé les préoccupations potentielles concernant l'utilisation de ce type de technologie. L'auteur principal de l'étude, Jerry Tang, doctorant en informatique, a déclaré: "nous prenons très au sérieux les inquiétudes quant au fait qu'elle pourrait être utilisée à de mauvaises fins et nous avons travaillé pour éviter cela."

Il insiste sur le fait que le système ne peut être utilisé sur personne contre sa volonté, car il doit être largement formé sur un participant volontaire. "Une personne doit passer jusqu'à 15 heures allongée dans un scanner IRM, parfaitement immobile et accordant une attention particulière aux histoires qu'elle écoute avant que cela ne fonctionne vraiment bien sur elle", a expliqué Alex Huth.

Les résultats ont été publiés dans la revue Nature. 

Décoder les images de l'esprit

Traduire l'activité cérébrale en mots écrits n'est pas le seul domaine sur lequel les chercheurs en lecture mentale testent l'intelligence artificielle. Une autre étude récente, publiée en mars, a révélé comment l'IA peut lire les scanners cérébraux pour recréer des images qu'une personne a vues.

Les chercheurs de l'Université d'Osaka au Japon ont utilisé Stable Diffusion - un générateur de texte en image similaire à Midjourney et DALL-E 2 d'OpenAI. Ce système était capable de reconstruire des expériences visuelles à partir de l'activité cérébrale humaine, encore une fois grâce aux scanners cérébraux IRMf pris pendant qu'un sujet regardait un signal visuel.