Les robots IA perdent en efficacité lors de longues conversations avec les gens – une grande étude de Microsoft l’a confirmé.

Recherche Microsoft Research et Salesforce : comment les grands modèles d’IA perdent la cohérence dans les dialogues

Ce qui a été étudié Modèles 200 000+ conversations multi‑tour avec des LLM leaders GPT‑4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet, OpenAI o3, DeepSeek R1, Llama 4

Principales conclusions
Indicateur Résultat Précision sur requêtes simples 90 % de réponses correctes (GPT‑4.1, Gemini 2.5 Pro) Précision dans les longs dialogues ~65 % – l’efficacité chute d’environ un tiers Comportement du modèle Souvent « réutilise » sa première réponse incorrecte comme base pour les répliques suivantes Longueur des réponses Augmente de 20‑300 % dans les conversations multi‑tour, ce qui entraîne une hausse des hallucinations et suppositions Fiabilité Diminue à 112 % (les modèles génèrent prématurément une réponse sans terminer la requête)

Pourquoi cela se produit-il ?
1. Réutilisation d’une base incorrecte

Le modèle s’appuie sur sa première conclusion et construit les réponses suivantes dessus, même si elle est erronée.

2. Expansion du contexte

À chaque nouvelle question, plus de texte est ajouté – ce qui augmente le nombre de « faits inventés » que le modèle considère comme réels.

3. Problème des tokens de pensée

Même les modèles avec des “tokens” supplémentaires (o3, DeepSeek R1) n’ont pas pu surmonter ce piège – ils génèrent toujours des réponses trop tôt et sans analyse suffisante.

Que signifie cela pour les utilisateurs ?
- Faible fiabilité dans les conversations réelles

L’IA peut « perdre » le fil du sujet en commençant à parler de choses inexistantes.

- Risque d’informations incorrectes

Le passage aux outils génératifs au lieu des moteurs de recherche traditionnels (par ex. Google‑AI Reviews) augmente la probabilité d’obtenir des données non fiables.

- Importance des invites de qualité

Microsoft avait déjà souligné le faible niveau d’ingénierie dans la création d’invites. Des questions mal formulées et de « mauvaises » invites peuvent empêcher l’IA d’exploiter son potentiel.

Conclusion
La technologie des grands modèles linguistiques est encore en développement. Bien qu’elle montre une haute précision sur les requêtes simples, sa fiabilité dans les dialogues multi‑tour reste problématique. Pour un usage sûr et efficace de l’IA, il est important :

1. Rédiger des questions claires et précises.
2. Être prêt à corriger les réponses du modèle.
3. Ne pas se fier entièrement au contenu génératif sans vérification des faits.

En fin de compte, améliorer les modèles et renforcer leur robustesse dans les longues conversations est la clé pour faire de l’IA un partenaire fiable pour les utilisateurs.