Cisco a identifié les raisons pour lesquelles même les rapports d’IA sur les incidents cybernétiques apparemment parfaits ne devraient pas être considérés comme une vérité.

Cisco Talos étudie la précision des grands modèles de langage dans la création de rapports cyber

L’équipe Cisco Talos Incident Response a mené un test pour déterminer dans quelle mesure les LLM modernes (ChatGPT, Claude et Gemini) peuvent générer des rapports techniques sur des incidents cyber. Les résultats ont montré que même les documents « qui semblent professionnels » contiennent des erreurs factuelles, des contradictions et des incohérences.

Comment l’étude a été menée
* Préparation – les chercheurs ont fourni à chaque modèle des notes brutes sur un incident avec la demande de rédiger un rapport.

* Résultat – les trois LLM ont produit des documents visuellement soignés, mais une analyse détaillée a révélé des imprécisions et des conclusions inattendues.

Nate Pors, directeur principal du domaine Incident Response chez Cisco Talos, a décrit en détail les résultats dans le blog d’entreprise.

Pourquoi les LLM « se trompent »
Cisco explique que les problèmes découlent de la nature probabiliste des modèles : ils prédisent le mot suivant à partir de poids statistiques plutôt que de comprendre le sens. Selon Pors, les biais se manifestent dans quatre directions :

1. Différents fragments de données
À chaque requête, le modèle s’appuie sur différentes parties d’entrée, rendant impossible l’obtention de résultats reproductibles et standardisés.

2. Conclusions incohérentes
Les mêmes données peuvent conduire à des recommandations divergentes : un rapport pourrait proposer un changement obligatoire de mots‑de‑passe dans toute l’organisation, tandis qu’un autre ne suggérerait que des modifications ponctuelles. Le modèle se fixe souvent sur la première recommandation générée, même si elle n’est pas adaptée.

3. Structure non standard
Comme les LLM construisent le texte token par token, les documents finaux peuvent avoir une structure et un format différents, ce qui est critique dans un environnement où des modèles de contrôle qualité sont requis.

4. Problèmes de fenêtre contextuelle
Lorsque la quantité d’entrée dépasse la limite de contexte, le modèle peut « oublier » des informations importantes du début de la session et produire des résultats imprévisibles ou mélangés.

Que cela signifie pour la cybersécurité
Cisco reconnaît qu’il est théoriquement possible de limiter la tâche à un fragment spécifique du rapport, mais cette approche prive les utilisateurs d’économies de temps. Dans le domaine de la cyber‑défense, même une petite erreur peut coûter cher. Les auteurs des documents finaux doivent donc vérifier chaque mot minutieusement et ne pas se fier entièrement aux recommandations des LLM.

Conclusion : les grands modèles de langage peuvent générer rapidement des rapports, mais leurs conclusions nécessitent une vérification obligatoire par des spécialistes pour éviter erreurs et incohérences dans le contexte critique des incidents cyber.