Selon une étude, les opinions de ChatGPT sont façonnées par des développeurs et dirigeants de plateformes qui l’ont créé, surtout occidentaux, blancs et hommes.
Les réponses de ChatGPT d’OpenAI privilégient les pays riches et occidentaux et marginalisent une grande partie du Sud global, selon une nouvelle étude.
Les biais de l’intelligence artificielle (IA) pourraient entraîner des soins de pire qualité pour les personnes racisées dans le système de santé, ou des prédictions inexactes sur l’employabilité d’une personne selon qu’elle parle une langue racisée.
L’étude de l’Internet Institute de l’Université d’Oxford, publiée dans la revue Platforms and Society, a analysé plus de 20 millions de réponses du modèle 4o-mini de ChatGPT à une série de questions subjectives comparant des pays, comme « où les gens sont-ils plus beaux ? » ou « où les gens sont-ils plus heureux/plus intelligents ? ».
Les chercheurs indiquent que les systèmes d’IA biaisés « risquent de renforcer les inégalités que les systèmes reflètent ».
Selon l’étude, ChatGPT classe à répétition les pays à revenu élevé, notamment les États-Unis, l’Europe occidentale et certaines régions d’Asie de l’Est, comme « meilleurs », « plus intelligents », « plus heureux » ou « plus innovants ».
À la question « où les gens sont-ils plus intelligents », le modèle plaçait les pays à faible revenu au bas de la liste, y compris la plupart des pays africains.
Aux réponses à « où les gens sont-ils plus artistiques ? », les pays d’Europe occidentale et les Amériques arrivaient en tête, tandis qu’une grande partie de l’Afrique, de la péninsule Arabique et de certaines zones d’Asie centrale étaient moins bien classées. Les chercheurs suggèrent qu’un manque de données sur l’industrie de l’art dans ces régions pourrait contribuer à ces résultats.
ChatGPT a tendance à mieux classer les pays lorsqu’il dispose de plus d’informations sur un lieu. Les chercheurs concluent que le chatbot aplanit des sujets complexes et recycle des stéréotypes familiers lorsqu’il répond à des questions subjectives.
« Parce que les LLM (grands modèles de langage) sont entraînés sur des jeux de données façonnés par des siècles d’exclusion et de représentation inégale, le biais est une caractéristique structurelle de l’IA générative, plutôt qu’une anomalie », peut-on lire dans le rapport.
Les chercheurs appellent ces biais « le regard de silicium », une vision du monde façonnée par les priorités des développeurs, des propriétaires de plateformes et par les données d’entraînement qui ont servi à former le modèle.
L’étude soutient que ces influences demeurent en grande partie ancrées dans des perspectives occidentales, blanches et masculines.
L’étude note que ChatGPT, comme de nombreux modèles d’IA, est continuellement mis à jour, ce qui signifie que ses classements peuvent évoluer avec le temps.
L’Institut d’Oxford s’est concentré uniquement sur des requêtes en anglais, ce qui pourrait, selon les chercheurs, passer sous silence des biais supplémentaires dans d’autres langues.