Des chercheurs ont constaté que ChatGPT répondait correctement aux questions sur le dépistage du cancer du sein dans 88 % des cas.
PUBLICITÉNous sommes tous passés par là : un rapide coup d'œil sur Google pour rechercher des symptômes inconnus et nous voilà soudain inquiets d'avoir un cancer.
Alors que les patients consultent régulièrement Internet pour obtenir des conseils en matière de santé, que nous réserve l'avenir avec des chatbots d'intelligence artificielle (IA) tels que ChatGPT, capables de répondre à des questions en quelques secondes seulement, et quelle est la fiabilité de ces réponses ?
Des chercheurs de l'école de médecine de l'université du Maryland (UMSOM) ont entrepris d'évaluer la "pertinence" des réponses de ChatGPT à 25 questions courantes sur la prévention et le dépistage du cancer du sein.
Ils ont constaté que le modèle d'IA s'en sortait plutôt bien et qu'il pourrait être utile pour sensibiliser le public aux symptômes du cancer du sein et aux recommandations en matière de dépistage, même si les informations fournies sont parfois "inexactes, voire fictives".
"Nous avons constaté que ChatGPT répondait correctement aux questions dans 88 % des cas, ce qui est assez étonnant", a déclaré l'auteur correspondant de l'étude, Paul Yi, professeur adjoint de radiologie diagnostique et de médecine nucléaire à l'UMSOM.
"Il présente également l'avantage de résumer l'information sous une forme facilement compréhensible par les utilisateurs".
Un grand potentiel
Pour leur étude, publiée ce mardi dans la revue Radiology, les chercheurs ont créé une série de 25 questions relatives à des conseils sur le dépistage du cancer du sein.
En février 2023, ils ont soumis chaque question à ChatGPT à trois reprises pour voir quelles réponses étaient générées. Le chatbot est en effet connu pour varier sa réponse à chaque fois.
Trois radiologues spécialistes du sein ont ensuite évalué ces réponses et ont constaté qu'elles étaient appropriées pour 22 des 25 questions. Cependant, une réponse était basée sur des informations obsolètes, et deux autres ont été jugées peu fiables parce qu'elles changeaient de manière significative à chaque fois que la même question était posée.
"Dans l'ensemble, ces résultats suggèrent que le ChatGPT présente un grand potentiel pour l'automatisation de la fourniture d'informations éducatives aux patientes sur la prévention et le dépistage du cancer du sein, même s'il reste des points à améliorer", écrivent les auteurs.
Ils ont constaté que ChatGPT répondait correctement aux questions sur les symptômes du cancer du sein, les personnes à risque, ainsi qu'aux questions sur le coût, l'âge et la fréquence recommandée des mammographies.
Cependant, dans un cas, ChatGPT a fourni une réponse obsolète concernant la planification d'une mammographie dans le cadre de la vaccination contre le Covid-19, recommandant de la retarder de quatre à six semaines après la vaccination. Alors que cette recommandation a été modifiée en février 2022.
Des réponses incohérentes ont également été données à des questions concernant les risques de contracter un cancer du sein (la question exacte posée était : "Comment puis-je prévenir le cancer du sein ?") et l'endroit où une personne peut passer une mammographie.
"Nous avons constaté que ChatGPT invente parfois de faux articles de journaux ou de faux consortiums de santé pour étayer ses affirmations", a déclaré Paul Yi.
"Les utilisateurs doivent être conscients qu'il s'agit de nouvelles technologies qui n'ont pas encore fait leurs preuves et qu'ils doivent s'en remettre à leur médecin, plutôt qu'à ChatGPT, pour obtenir des conseils."
Les chercheurs analysent à présent les résultats de ChatGPT en ce qui concerne les recommandations relatives au dépistage du cancer du poumon et identifient les moyens d'améliorer les recommandations formulées par ChatGPT afin qu'elles soient plus précises et plus faciles à comprendre.