DÉPISTAGE du CANCER du SEIN : Quelle pertinence de ChatGPT ?

ChatGPT est jugé comme globalement utile et majoritairement pertinent pour ses conseils concernant le dépistage du cancer du sein, par ces experts en imagerie diagnostique de l'Université du Maryland (UM). Ces auteurs qui publient leur avis dans la revue Radiology avertissent cependant les patients : mieux vaut tout de même confirmer ces informations auprès de son médecin.

Alors que de plus en plus d’usagers de santé se tournent vers ChatGPT pour obtenir des conseils de santé, les chercheurs souhaitaient effectuer une première évaluation de la fiabilité et de l’exactitude des informations fournies par le chatbot. L’analyse conclut que les réponses générées fournissent des informations correctes la grande majorité du temps mais parfois cependant, ces informations sont inexactes ou même fictives.

L’étude a consisté à poser 25 questions portant sur le dépistage du cancer du sein à ChatGPT. Chaque question a été posée à ChatGPT 3 fois afin de vérifier aussi la concordance des réponses générées, car le chatbot est connu pour faire varier sa réponse à chaque fois qu'une question est posée. L’équipe constituée de 3 radiologues formés en mammographie a évalué les réponses. Cette analyse conclut que :

• les réponses sont « appropriées » pour 22 des 25 questions ;

• une des réponses apportées était basée sur des données obsolètes : ainsi le Chatbot a donné le conseil de retarder une mammographie de 3 à 6 semaines après un vaccin COVID-19, ce qui n’est pas en ligne avec les directives actuelles, qui ne recommandent pas d'attendre ;
• 2 questions ont reçu des réponses incohérentes et pour ces questions, les réponses du chatbot variaient considérablement (chaque fois que la même question était posée).

Dans cette étude et sur ce sujet,

• ChatGPT répond correctement aux questions environ 88 % du temps
• ChatGPT a répondu correctement aux questions sur les symptômes du cancer du sein, sur qui est à risque et aux questions portant sur le coût, la plage d’âge et la fréquence des mammographies.

« Ce qui est assez étonnant », commente l’un des auteurs, le Dr Paul Yi, professeur de radiologie diagnostique et de médecine nucléaire et directeur du centre d'imagerie médicale intelligente de l'UM.  « Le chatbot a également l'avantage de résumer les informations sous une forme facilement assimilable pour que les utilisateurs les comprennent facilement ».

Moins complet que Google ? Les chercheurs concluent en effet que ChatGPT est moins complet dans ses réponses qu’une recherche Google : « ChatGPT n'a fourni qu'un seul ensemble de recommandations sur le dépistage du cancer du sein, émises par l'American Cancer Society, mais n'a pas mentionné les autres recommandations émises par les Centers for Disease Control and Prevention (CDC) ou le US Preventative Services Task Force (USPSTF) », précise ainsi l'auteur principal, le Dr Hana Haver, radiologue à l’UM.

Des réponses parfois « fictives » : ChatGPT invente parfois de faux articles de journaux ou de faux consortiums de santé pour étayer ses affirmations. Ce qui engage les usagers de santé à bien vérifier ces données avec leur médecin traitant.

L’analyse se poursuit sur la thématique du dépistage du cancer du poumon avec pour objectif à terme de participer à l’amélioration des recommandations apportées par ChatGPT afin qu'elles soient plus précises et plus complètes et toujours compréhensibles pour les personnes ayant un plus faible niveau d’études.

Source: Radiology 4 April, 2023 DOI: 10.1148/radiol.230424 Appropriateness of breast cancer prevention and screening recommendations provided by ChatGPT

Équipe de rédaction SantélogAvr 6, 2023Rédaction Santé log