L'IA a démontré des progrès dans l'étude des langues rares et peu répandues

Les grands modèles linguistiques réduisent le fossé linguistique

Les nouvelles versions de l'intelligence artificielle (IA) montrent des progrès notables dans la prise en charge des langues rares et peu connues, ce qui réduit considérablement le «fossé linguistique» mondial. Cela est confirmé par une étude de RWS publiée sur TechRadar.

1. Ce que les recherches ont montré
- Google Gemini Pro a obtenu un score de qualité supérieur à 4,5 sur 5 pour la connaissance de la langue kinyarwanda – parlée par environ 12 millions de personnes au Rwanda, en Ouganda et en République démocratique du Congo.
- Les auteurs expliquent le succès par le fait que les modèles modernes s'appuient non seulement sur d'énormes jeux de données spécifiques à une langue, mais utilisent également des régularités statistiques communes à toutes les langues (mécanisme de transfert interlingual).
- Les améliorations des tokeniseurs – systèmes de découpage du texte en «tokens» – contribuent également à un traitement plus précis des langues rares.

2. L'effet «drift de benchmark»
Les experts ont constaté que lors de la transition d'une version de modèle à la suivante, ses capacités peuvent changer de façon inattendue :
- La dernière version d'OpenAI GPT est moins performante que les modèles plus anciens dans certaines tâches de génération de contenu, alors que son prédécesseur était plus efficace.
- L'efficacité du tokeniseur peut varier jusqu'à 3,5 fois entre les générations ; cela signifie que les résultats des tests précédents ne sont pas toujours applicables aux nouvelles versions.

3. Ce qui change dans les priorités des développeurs
- Auparavant, les laboratoires d'IA mettaient l'accent sur la performance en anglais et dans quelques langues clés.
- Les modèles modernes gèrent déjà ces tâches avec succès, ce qui fait que l'attention se déplace vers une audience plus large : le support des langues rares devient de plus en plus important.
- Cependant, un score de 4,5/5 ne garantit pas un niveau réel de maîtrise linguistique ; la prise en charge multilingue n'est pas encore considérée comme critique.

4. Conclusion
L'IA continue à briser les barrières entre cultures et langues. Bien que la «couverture» des langues rares ne soit pas encore une exigence obligatoire, la tendance vers une couverture plus large de l'audience est déjà visible et, selon les experts, devrait s'intensifier dans les années à venir.