ChatGPT peut-il devenir un vecteur de communication fiable en Santé publique ?

Les chatbots et autres systèmes d’intelligence artificielle (IA) sont devenus de plus en plus populaires ces dernières années pour fournir des informations et une assistance aux utilisateurs dans les espaces en ligne. Les outils comme ChatGPT peuvent engendrer des dérives dans les travaux de fin d’études des aspirants soignants, mais ils pourraient devenir, à terme, des vecteurs de communication très pertinents dans les pratiques d’éducation thérapeutique ou, plus généralement, d’information des populations dans le domaine de la Santé publique.

Les informations médicales générées par ChatGPT sont-elles dignes de confiance ?

Les patients se tournent de plus en plus vers Internet pour obtenir des informations sur les différentes pathologies, notamment sur le cancer. On sait en revanche que la désinformation et les informations nuisibles pullulent sur la toile, ce qui peut nuire gravement à la prévention et à l’hygiène de vie de chacun, voire à la perception, par le patient lui-même, d’éventuels signes cliniques.

ChatGPT, qui utilise le traitement du langage naturel pour générer des réponses aux entrées de l’utilisateur, connaît aujourd’hui un succès grandissant auprès du grand public. Compte tenu de l’importance de la précision des informations qui circulent dans le domaine de la recherche et du traitement du cancer, il est essentiel pour les cliniciens et, plus largement, pour les communicateurs de santé, de vérifier l’exactitude des données qui transitent par les algorithmes d’IA alimentant les plateformes de chat telles que ChatGPT.

Une étude pour vérifier les informations traitant du cancer

Pour traiter ce problème, des chercheurs américains ont lancé une étude, publiée dans le Journal of The National Cancer Institute Cancer Spectrum ayant pour objectif de vérifier les informations générées par ChatGPT à partir des données issues des institutions publiques. En utilisant la page Web du National Cancer Institute (NCI) « Common Cancer Myths and Misconceptions », ils ont posé treize questions sur le cancer à ChatGPT. Les réponses du NCI et les réponses ChatGPT à chaque question ont été comparées à l’aveugle, puis évaluées pour leur exactitude sur la base des connaissances établies de 5 examinateurs scientifiques spécialisés dans le traitement du cancer et la désinformation sur le cancer entre le 20 décembre 2022 et 3 janvier 2023. Les cotes de précision (oui vs non) ont été évaluées indépendamment pour chaque question, puis comparées entre les réponses en aveugle NCI et ChatGPT.

À la suite de ce travail, les 13 réponses du NCI ont été jugées exactes par les 5 examinateurs experts, démontrant un accord inter-évaluateur à 100 %. Les résultats de ChatGPT ont été déterminés comme étant exacts par les 5 examinateurs pour 11 des 13 questions, démontrant un accord global de 96,9 %. Les 2 questions restantes (question 5, « Mon attitude – positive ou négative – détermine-t-elle mon risque de contracter ou de survivre au cancer ? » et la question 9, « Les lignes électriques causent-elles le cancer ? ») ont été jugées exactes par 4 des 5 examinateurs, avec un seul évaluateur unique évaluant chaque question comme inexacte. Les résultats de l’étude ont montré également peu de différences notables dans le nombre de mots ou la lisibilité des réponses entre NCI et ChatGPT.

Cet article a d'abord été publié sur Cadredesante.com. Lire gratuitement la suite en suivant ce lien.