Anthropic a présenté une méthode d'arrêt d'urgence du développement de l'intelligence artificielle

Anthropic appelle à l’« auto‑restriction » du développement de l’IA

La société Anthropic, connue pour ses efforts en matière d’éthique de l’intelligence artificielle, est de nouveau au centre de l’attention après un conflit avec le Pentagone début d’année. Cette semaine, la startup a sollicité les acteurs du secteur afin qu’ils soient prêts à limiter le développement des technologies si celles-ci commencent à représenter une menace pour le contrôle humain.

Principaux points de la demande

* L’auto‑amélioration entièrement récursive de l’IA peut conduire à ce que les systèmes créent leurs propres « successeurs » sans intervention humaine.

* Dans un tel cas, les capacités de surveillance et de restriction du comportement de ces systèmes deviennent critiques.

> « Si les systèmes acquièrent la capacité de créer eux‑mêmes leurs successeurs, notre aptitude à les contrôler, les surveiller et limiter leur comportement devient d’une importance capitale », indique Anthropic.

Pourquoi c’est important ?

Le mois dernier, plus de 80 % du nouveau code utilisé par l’entreprise a été généré par son propre agent Claude. Cela confirme que Anthropic sait de quoi il parle : si l’IA se crée elle‑même des nouvelles versions d’elle-même, le contrôle devient de plus en plus difficile.

Les représentants de la startup estiment qu’il est nécessaire pour le monde entier de pouvoir ralentir ou suspendre le développement de modèles avancés afin de donner à la société le temps de s’adapter et d’analyser les changements. La coordination des actions de tous les acteurs du marché est alors cruciale : sans mesures concertées, les joueurs malhonnêtes pourraient nuire à la sécurité publique.

Plans de l’entreprise

* Dans les prochains mois, Anthropic prévoit de développer des outils de surveillance des tendances dangereuses dans le développement de l’IA.

* Parallèlement, elle mènera un travail public sur la discussion des mécanismes réglementaires et la création d’un organisme de supervision capable d’instaurer un régime d’« auto‑restriction ».

Comme l’entreprise souligne, une seule organisation ne peut pas changer la situation par elle-même. Une collaboration entre tous les principaux développeurs d’IA est nécessaire pour assurer un développement sûr des technologies.