Google a chargé Gemini de gérer les applications et d’effectuer des achats sur Android, à partir du Pixel 10 et du Galaxy S26.

Google lance l’automatisation de Gemini sur le Pixel 10 et le Samsung Galaxy S26

Google a annoncé une nouvelle fonction « agentielle » pour son modèle d’IA Gemini, qui fonctionne désormais directement sur les smartphones Pixel 10 et Samsung Galaxy S26. Le système permet à l’IA d'ouvrir des applications, de passer des commandes dans les magasins et d'effectuer d'autres actions qui nécessiteraient normalement une intervention de l'utilisateur.

Comment ça marche
1. Le réseau neuronal exécute des étapes concrètes

Contrairement à une simple recherche d'information, Gemini peut interagir avec des applications externes. Par exemple, si vous demandez un taxi, l'IA ouvrira Uber ou DoorDash dans une fenêtre distincte et lancera le processus de commande.

2. Observation et contrôle utilisateur

L'utilisateur voit l'agent déplacer les éléments du menu. À tout moment, il peut interrompre l'action ou réduire la fenêtre – l'opération se poursuit en arrière-plan.

3. Confirmation des décisions finales

La commande finale et le paiement restent à la charge de l'utilisateur : Gemini envoie une notification demandant de vérifier les détails et de confirmer le paiement. Si quelque chose ne va pas (produit épuisé, configuration différente), l'IA informe immédiatement du problème.

Base technique
- Modèle – version « raisonnante » de Gemini 3, capable de reconnaître visuellement l'interface.

- Protocoles pour développeurs – Google propose MCP et Android App Functions, mais le système fonctionne également sans eux, en analysant l'image de l'écran et en simulant les clics comme un utilisateur ordinaire.

Réactions de la direction
Samira Samat, présidente de l'écosystème Android, a souligné : « Ce qui compte pour l'utilisateur, c’est le résultat, pas les technologies utilisées. » Cependant, l'apparition de l'automatisation soulève la question de son impact sur les possibilités publicitaires des applications. Google considère ce développement comme inévitable et encourage les développeurs à chercher de nouvelles façons d'interagir avec l'IA.

Avenir
Les fonctions agentielles de Gemini sont prévues pour une intégration profonde dans les futures versions d'Android, à partir d'Android 17, ouvrant ainsi de nouveaux horizons pour la commodité des utilisateurs.