Xiaomi a lancé OmniVoice — un modèle d’IA ouvert capable de vocaliser des textes dans pratiquement toutes les langues et de copier des voix.

Xiaomi a présenté le module IA ouvert OmniVoice

L’entreprise a annoncé le lancement du modèle d’intelligence artificielle OmniVoice, qui transforme le texte en parole. En plus de la synthèse vocale dans des centaines de langues, le modèle peut cloner une voix et générer une prononciation avec des paramètres personnalisés.

Quoi de neuf avec OmniVoice ?
Indicateur | Description | Langues
Support de plus de 200 langues, y compris les rares et peu entraînables. Même avec moins de 10 heures de données, le modèle produit une parole « presque dans n’importe quelle langue ».
Dans des tests sur 102 langues, la clarté de la voix était comparable à celle d’un humain, voire supérieure dans certains cas. Sur 24 langues, le modèle a surpassé plusieurs systèmes commerciaux en termes de similarité et de clarté.
Architecture : réseau transformeur bidirectionnel simplifié sans modules intermédiaires de prévision de jetons. Cela réduit la durée d’entraînement à un jour pour 100 000 heures de données et augmente la vitesse d’inférence (jusqu’à 40× temps réel en PyTorch).
Technologies :
- « Masquage aléatoire des codes acoustiques » – accélère l’apprentissage.
- Intégration d’un grand modèle linguistique lors du pré-entraînement améliore la prononciation et la clarté.

Fonctionnalités pratiques
1. Clonage de voix
- Génération de parole selon les caractéristiques décrites (âge, sexe, ton, accent, dialecte).
- Possibilité de créer un murmure et d’autres variantes stylistiques sans audio de référence.

2. Traitement des enregistrements sources
- Suppression du bruit et extraction de caractéristiques vocales propres même à partir de fichiers imparfaits.

3. Gestion de l’intonation
- Ajout de soupirs, rires et autres nuances pour un son plus naturel.

4. Correction précise de la prononciation
- Réglage manuel des sons complexes, par exemple les caractères chinois polyphoniques ou les noms propres anglophones.

Résultats
OmniVoice constitue une alternative compétitive aux systèmes commerciaux existants de synthèse vocale. Grâce à son design simple, sa vitesse d’entraînement et d’inférence élevée, ainsi qu’à ses nombreuses possibilités de personnalisation, le modèle est prêt à être intégré dans des applications et services grand public.