En ces temps de désinformation galopante, sur X ou TikTok, les contenus problématiques sont désormais plus nombreux que les contenus fiables. Peut-on compter sur ChatGPT ses amis pour nous aider à faire le tri, en évaluant la crédibilité des sources d’information ? Pour le savoir, un groupe de chercheurs italiens a comparé les jugements de six LLM avec ceux d’experts en fact-checking.

À première vue, les LLM font le job : ils signalent plus de 90% des sites "suspects". Là où ça se gâte, c’est quand on leur demande de justifier leur classification. En gros, ils favorisent les sites qui ressemblent superficiellement aux sites "fiables" sur lesquels ils sont entraînés. Preuve par l’absurde : quand les LLM n’ont accès qu’à l’URL du site, et pas à son contenu, leur classification est presque identique. Imaginez un critique littéraire dont le jugement serait le même quand il se contente de regarder les couvertures…

La leçon se généralise à tous les sujets : quand on délègue un jugement aux LLM, on abandonne tout raisonnement au profit d’approximations fondées sur la proximité statistique. On accepte de juger sur les apparences, pas sur le contenu. Pour ChatGPT, l’habit fera toujours le moine…

Sources:

• https://ttso.paris/2025-10-29

• https://science.feedback.org/wp-content/uploads/2025/09/SIMODS-Report-1.pdf