Les chercheurs ont utilisé l’IA pour transformer des montres intelligentes ordinaires en un dispositif de mesure précise des mouvements du bras.

De nouvelles montres‑assistantes de l’Université Cornell et du KAIST

Des chercheurs de l’Université Cornell (États-Unis) et du Korea Advanced Institute of Science and Technology (KAIST) ont créé le système WatchHand, qui transforme une montre intelligente ordinaire en un traqueur complet des mouvements de la main. Le système utilise uniquement le haut-parleur intégré et le microphone de la montre, sans nécessiter de capteurs externes.

Comment fonctionne WatchHand
1. Signal acoustique – la montre émet des ondes sonores inaudibles.
2. Réception d’écho – le microphone capture les signaux réfléchis et forme un profil d’écho.
3. Traitement sur l’appareil – un algorithme d’apprentissage automatique fonctionnant localement convertit le profil en coordonnées de la main sur trois axes.

Ainsi, le système traite les données directement sur la montre, assurant confidentialité et latence minimale.

Avantages
| Indicateur WatchHand | Solutions traditionnelles |
|----------------------|---------------------------|
| Ne nécessite pas de capteurs externes (caméras, capteurs IMU) | ✔ ❌ |
| Convient à un usage quotidien | ✔ ❌ |
| Scalabilité à des millions d’appareils | ✔ ❌ |
| Traitement local des données | ✔ ❌ |

Tests
- Participants – 40 personnes.
- Données – environ 36 heures de gestes, collectées lors de quatre expériences indépendantes.
- Plateformes – plusieurs modèles de montres intelligentes.
- Scénarios – différentes positions de la main et conditions bruyantes.

Les résultats ont montré un suivi fiable des mouvements des doigts et du rotation du poignet même dans des conditions difficiles.

Perspectives d’application
* Contrôle d’un ordinateur et d’applications par gestes.
* Interaction avec les systèmes AR/VR.
* Assistance aux personnes à mobilité réduite ou ayant des troubles de la parole.

Le doctorant KAIST, Jivan Kim, souligne : « Si l’appareil possède un haut-parleur et un microphone, notre approche est applicable ».

Limitations et avenir
* À ce jour, fonctionne uniquement sur les appareils Android.
* La précision diminue lors du mouvement de l’utilisateur (par exemple en marchant).

L’équipe travaille activement à des améliorations pour les scénarios mobiles.

Les résultats de la recherche seront présentés à la conférence ACM CHI 2026 sur le facteur humain dans les systèmes informatiques.

Idée clé

Le professeur adjoint de l’Université Cornell, Cheng Zhang, a conclu : « WatchHand démontre comment une simple mise à jour logicielle peut transformer des millions de montres existantes en plateformes intelligentes pour le suivi du comportement. Cela ouvre la voie à de nouvelles façons d’interagir avec les dispositifs numériques sans claviers ni souris. »