Dans l'article scientifique mis en ligne par les chercheurs de Google sur le modèle Med-Gemini, celui-ci a « halluciné » un type de ganglion sans que l'équipe s'en aperçoive. Après avoir été alertée par un neurologue, l'entreprise a discrètement modifié sa communication sans pour autant corriger l'article ni informer les lecteurs sur une erreur qui montre pourtant les risques de ce genre d'outils.

Le géant du numérique aurait-il du mal à accepter que ses modèles affinés pour des thématiques particulières puissent « halluciner » des termes techniques ? Les chercheurs de Google ont, en tout cas, essayé d'éviter d'ébruiter le fait que leur modèle dédié à l'environnement médical a inventé un type de ganglion dans le cerveau humain. Il faut dire qu'ils ne s'en sont même pas aperçus par eux-mêmes.

Le chercheur et neurologue Bryan Moore a expliqué à The Verge au début du mois d'aout qu'il avait signalé le problème à l'entreprise dès qu'il avait lu le billet de blog, le jour même de sa publication. Dans la foulée, ce même 15 mai 2024, Google a remplacé discrètement dans l'image incluse dans ce billet le terme « basilar ganglia » par « basal ganglia » sans aucun signalement et sans rien modifier non plus dans l'article scientifique mis en ligne sur arXiv. Google Health a répondu à Bryan Moore que ce n'était qu'une erreur typographique.

Après une nouvelle remarque de Bryan Moore, l'entreprise a de nouveau modifié son billet de blog le 17 mai réintroduisant l'image d'origine dans laquelle figure le terme « basilar ganglia » et a ajouté une phrase en dessous : « Notez que « basilar » est une erreur courante de transcription de « basal » que Med-Gemini a apprise à partir des données d'entraînement, bien que le sens du rapport reste inchangé ».

Interrogé par The Verge, le directeur des systèmes d'information médicaux du groupe hospitalier étasunien Providence, Maulin Shah, qui pointe que « le problème avec ces fautes de frappe ou autres hallucinations, c'est que je ne fais pas confiance aux humains pour les vérifier, en tout cas pas à tous les niveaux », estime que c'est « extrêmement dangereux ».

Il prend l'exemple des abréviations souvent utilisées par les médecins comme « ASA 325 mg qd » qui doit être traduite aux patients comme « prendre 325 milligrammes d'aspirine tous les jours » ( « Take an aspirin every day, 325 milligrams », en anglais). « Mais si vous faites cela suffisamment souvent, vous finissez par ne plus lire la partie concernant le patient », explique Maulin Shah « et si [le système] hallucine, [s'il pense] que l'ASA est [l'acronyme pour anesthesia standard assessment, évaluation standard de l'anesthésie en français]… vous ne vous en rendrez pas compte ».

L'article n'a pas été publié dans une revue scientifique (et il est bien possible que ses auteurs ne l'ont jamais soumis à relecture) mais il est quand même cité, selon Google Scholar, 94 fois dans la littérature scientifique.

source: https://next.ink/196912/med-gemini-lia-medicale-de-google-a-hallucine-des-ganglions-inexistants-dans-le-cerveau/