Lancement d’un modèle IA sur un vieux PDP‑11 : l’enthousiaste utilisait un processeur de 6 MHz et 64 Ko de RAM

Un vétéran de Microsoft démontre le fonctionnement d’un transformeur sur un vieux PC

*Dave Plummer – développeur Windows connu,*

*montre que les modèles IA modernes peuvent être entraînés même sur du matériel datant d’une décennie.*

Ce qui a été fait
- Matériel : PDP‑11 / 44, ordinateur de 47 ans avec processeur 6 MHz et 64 KB de RAM.

- Modèle : «Attention 11» – réseau transformeur écrit en assembleur PDP‑11 par Damien Buret.

- Tâche d’entraînement : construire la séquence inversée de huit nombres.

Le modèle n’a pas besoin de mémoriser des exemples ; il doit apprendre la règle «inversion» de la séquence.

Comment ça fonctionne
1. Initialisation – le modèle commence avec des poids aléatoires, précision presque nulle.

2. Entraînement – à chaque étape, on effectue une passe avant (fixe 8 bits) et met à jour les poids.

3. Assimilation progressive du motif – après plusieurs centaines d’itérations, le mécanisme d’attention «découvre» la règle, et le modèle passe de l’estimation au véritable savoir.

> “Nous observons l’anatomie simplifiée de l’apprentissage… la machine franchit finalement une frontière invisible — de l’estimation à la connaissance.” – Plummer

Résultats
- Précision : 100 % sur la tâche d’inversion de séquence.

- Vitesse : environ 350 pas d’entraînement, ce qui a pris ~3,5 minutes sur le PDP‑11/44 avec cache mémoire.

Que signifie cela pour l’IA moderne
Plummer souligne que les principes fondamentaux de l’apprentissage – opérations arithmétiques répétées et correction des erreurs – sont pleinement réalisés même dans un système aussi simple.

«Cette vieille machine ne pense pas mystiquement ; elle met simplement à jour quelques milliers de nombres. L’essence de l’IA moderne est d’échelle ce processus.»

Ainsi, l’auteur a démontré que le mécanisme de base des transformeurs reste le même, quel que soit le matériel sur lequel ils fonctionnent.