Micron a présenté la première mémoire LPDDR‑SOCAMM2 au monde d’une capacité de 256 Go, idéale pour l’IA.

Micron lance un nouveau type de mémoire pour les centres de données

La société Micron a présenté au monde le premier module de mémoire vive LPDRAM SOCAMM2 d’une capacité de 256 Go, spécialement conçu pour les centres de traitement haute performance et les tâches d’intelligence artificielle.

Quoi de neuf ?
Paramètre | Mémoire traditionnelle | LPDRAM SOCAMM2
---|---|---
Consommation énergétique | - | trois fois moins
Taille du module | - | compacte, construit à partir de cristaux monolithiques de 32 Gb/s
Débit | - | augmenté pour l’inférence IA
Latence | - | significativement réduite

En fonctionnement sur un processeur à huit canaux et avec 2 To de mémoire totale, la vitesse de démarrage des modèles d’IA (temps jusqu’au premier jeton) augmente de plus de deux fois et demie.

Qui en a besoin ?
Le module est destiné à :

- le déploiement de grands modèles linguistiques ;
- toute charge de travail où la capacité mémoire, le débit et la latence sont critiques ;
- les scénarios où une partie du cache KV peut être transférée de la mémoire vidéo vers une mémoire système plus économique sans perte de performance.

Format et collaboration
SOCAMM2 est une variante compacte du format RDIMM, mais avec une consommation énergétique moindre. Le développement de la mémoire a été réalisé en collaboration avec Nvidia, soulignant ainsi son aptitude à l’accélération GPU pour l’IA.

Ainsi, Micron propose une solution efficace pour les centres de données, permettant de réduire les coûts d’énergie et d’espace tout en améliorant les performances des charges IA.