André Karpaty a entraîné des agents IA à réaliser des centaines d'expériences la nuit, lorsque les gens se reposent

Andrej Karpathy ouvre une nouvelle approche pour l’auto‑recherche

L’ancien chef de projets d'IA chez Tesla et cofondateur d'OpenAI, Andrej Karpathy, a annoncé le lancement d’un projet simple mais puissant en open source. Le script ne compte que 630 lignes et est hébergé sur GitHub. Il ne prétend pas être un modèle prêt à l’emploi ou un produit d’entreprise majeur ; son objectif est de montrer comment les agents IA peuvent automatiser complètement la méthode scientifique sans intervention humaine.

> «Notre tâche consiste à construire des agents qui progressent infiniment rapidement dans la recherche, même la nuit» – a écrit Karpathy sur X. Le message est devenu viral immédiatement et a recueilli plus de 8,6 millions de vues en deux jours.

Comment fonctionne le système
1. Initialisation

L’agent reçoit un script d’entraînement et un budget computationnel fixe (généralement 5 minutes sur GPU).

2. Auto‑analyse du code

Il lit son propre code source, formule une hypothèse d’amélioration (par exemple, modifier la vitesse d’apprentissage ou la profondeur du modèle).

3. Modification et lancement de l’expérience

Il apporte des changements, lance l’expérience et évalue les résultats.

4. Vérification de l’efficacité

Si la métrique *val_bpb* (pertes par octet lors de la validation) s’améliore, le changement est conservé ; sinon il est annulé et une nouvelle hypothèse est générée.

En une nuit, l’agent a réalisé 126 expériences, réduisant les pertes de 0,9979 à 0,9697. Après deux jours d’ajustement, il a traité environ 700 modifications autonomes, découvrant ~20 améliorations supplémentaires qui ont été transférées avec succès sur des modèles plus grands.

Karpathy a noté : «Regarder un agent gérer entièrement le processus du début à la fin est incroyable. Il a trouvé des erreurs dans l’échelle de l’attention et la régularisation que j’avais manquées pendant 20 ans de travail».

Ce que disent les experts
L’automatisation de la méthode scientifique est considérée comme un changement fondamental dans le développement de l’IA. En transformant l’apprentissage automatique en «processus évolutif» à la vitesse du silicium, Karpathy a ouvert de nouveaux horizons pour la recherche non seulement dans l’informatique mais aussi dans le marketing, la santé et d’autres domaines.

Exemples d’application pratique
| Partenaire | Description de l’expérience | Résultats |
|------------|-----------------------------|-----------|
| Hyperspace AI (Varun Mathur) | 35 agents autonomes fonctionnant en réseau pair-à-pair, utilisant des CPU portables. | La nuit, ils ont mené 333 expériences sans opérateur, découvrant des stratégies d’initialisation (Kaiming, Xavier) et de normalisation (RMSNorm). |
| Single Grain (Eric Siu) | Automatisation du cycle marketing : l’agent modifie les variables sur les pages cibles, les créations publicitaires ou les courriels. | Mesure le «pourcentage de réponses positives», conserve les modifications réussies et supprime celles qui sont inefficaces. |

Conclusion
Karpathy a démontré comment des scripts simples peuvent devenir des outils puissants pour l’auto‑apprentissage des agents IA. Le cycle d’optimisation automatisé permet de réaliser des centaines d’expériences en une nuit, identifiant des améliorations qui auparavant nécessitaient des années de recherche. Cela ouvre la voie à un développement plus rapide et plus évolutif des modèles dans divers domaines.