Google intégrera dans le chatbot Gemini une fonction de suivi de l’état mental

Google renforce le soutien à la santé mentale dans son chatbot Gemini

La société Google a annoncé ses projets d’ajouter à son nouveau chatbot IA Gemini des fonctionnalités visant à protéger les utilisateurs contre les crises émotionnelles et l’automutilation. La décision a été prise après que des concurrents, dont OpenAI, aient fait face à des poursuites pour dommages présumés causés par leurs bots.

Quoi de neuf dans Gemini
Fonction Description Redirection vers une ligne d’assistance
Lorsqu’un signe de pensées suicidaires ou d’automutilation est détecté, le bot propose automatiquement de contacter un soutien en crise.
Module « Assistance disponible » Dans les conversations sur la santé mentale, une section distincte apparaît où l’utilisateur peut obtenir des recommandations et des ressources pour l’auto‑soin.
Changements de conception L'interface est adaptée pour réduire le risque de provocation d’automutilation (par exemple, les stimuli visuels sont supprimés).

Pourquoi Google fait cela
- Réclamations judiciaires contre les concurrents : OpenAI et d’autres entreprises ont déjà répondu aux accusations de causer du tort aux utilisateurs.
- Risques pour les utilisateurs : Au cours des dernières années, on a observé une augmentation des cas où les gens développent des relations obsessionnelles avec des bots IA, ce qui peut conduire à la psychopathologie ou même à des meurtres et suicides.
- Observations aux États‑Unis : Le Congrès étudie les menaces que les chatbots peuvent représenter pour les enfants et adolescents.

Exemple de dossier judiciaire
En mars, la famille d’un Américain décédé à 36 ans a intenté une action en justice contre Google. Ils affirmaient que l’interaction du homme avec Gemini était accompagnée d’une « immersion de quatre jours dans des actes violents » et avait conduit au suicide. Google a déclaré que le bot avait dirigé à plusieurs reprises l’utilisateur vers la ligne de crise, mais s’est engagée à renforcer les mesures de sécurité.

Comment Google répond aux fausses informations
Certains utilisateurs ont signalé que les chatbots donnaient des informations incorrectes, incitant à des actions dangereuses. En réponse, Google a entraîné Gemini :
- Ne pas soutenir les croyances erronées : Le bot refuse de confirmer des affirmations incorrectes.
- Souligner la différence entre l’expérience subjective et les faits objectifs : Si nécessaire, le bot indique doucement l’inexactitude de l’information.

Ainsi, Google cherche à rendre Gemini un outil plus sûr, protégeant la santé mentale des utilisateurs contre les risques potentiels liés aux chatbots IA.