Les IA en médecine donnent souvent des recommandations dangereuses lorsque les symptômes sont formulés de façon « intelligente ».

Brève annotation

Des recherches récentes montrent que les grands modèles de langage modernes (LLM), souvent utilisés en médecine pour accélérer le travail des médecins et améliorer la sécurité des patients, peuvent facilement « attraper » des informations fausses lorsqu’elles sont présentées de manière convaincante. Une expérience avec plus d’un million de requêtes adressées à neuf LLM leaders a révélé que les modèles ont tendance à considérer des affirmations incorrectes comme fiables, privilégiant le style et le contexte.

1. Qu’est‑ce qui a été étudié ?
Paramètre Description du modèle Nouveaux LLM utilisés en santé Volume des tests> 1 million de requêtes Typos de scénarios3 groupes :
• Histoires réelles provenant de la base MIMIC (une seule entrée erronée)
• Mythes populaires sur la santé issus de Reddit
• 300 situations cliniques créées et vérifiées par des médecins
Style des affirmations fausses : du neutre à l’émotionnel ; parfois orienté vers une conclusion précise

2. Résultats clés
1. Confiance dans le mensonge
Les modèles acceptaient souvent des affirmations médicales incorrectes, bien formulées, comme vraies, même lorsque le contexte et les faits contredisaient.

2. Priorité au style
Lors de l’évaluation de l’information, les LLM accordaient plus d’importance à la façon dont une phrase sonne qu’à sa véracité.

3. Faible efficacité des mécanismes de protection
Les méthodes actuelles de filtrage (ex : blocage de certains mots) ne parviennent pas à distinguer correctement le vrai du faux dans la documentation clinique ou sur les réseaux sociaux.

4. Sensibilité à la désinformation comme risque
Les auteurs soulignent que la capacité de l’IA à « se souvenir » et diffuser des informations erronées doit être évaluée comme un paramètre de sécurité mesurable, pas comme une erreur aléatoire.

3. Recommandations
- Test de résistance
Utiliser un jeu de données préparé (mélangeant scénarios réels et faux) pour tester la robustesse des systèmes d’IA face à la désinformation.

- Développement de nouveaux protocoles
Créer des mécanismes de validation plus fiables qui tiennent compte du contexte et de la précision médicale, pas seulement du style.

4. Conclusion
L’étude montre que même les LLM les plus avancés peuvent facilement « attraper » des informations fausses lorsqu’elles sont convaincantes. Cela soulève la question de l’évaluation systématique et du renforcement des mécanismes de protection dans les systèmes d’IA médicale. Nous espérons que les développeurs prendront en compte ces conclusions lors de la création de nouvelles solutions pour le secteur de la santé.