NVIDIA a dévoilé NVHBM, une nouvelle architecture de mémoire à haut débit qui repense la gestion de la mémoire en déplaçant le contrôleur depuis l’accélérateur vers le socle de la pile HBM. Selon la société, cette innovation peut offrir jusqu’à 30 % de bande passante supplémentaire, réduire la consommation mémoire de 15 % et permettre de libérer jusqu’à 25 % de l’espace sur le XPU comparé à une implémentation classique avec HBM4E. Cette technologie sera intégrée dans NVLink Fusion et Amazon Web Services (AWS), via Annapurna Labs, qui sera le premier partenaire à l’utiliser.
Les points clés de NVIDIA NVHBM en 20 secondes
- NVHBM intègre le contrôleur mémoire de NVIDIA directement dans le socle de la pile HBM tridimensionnelle.
- NVIDIA affirme qu’il offre jusqu’à un 30 % de bande passante supplémentaire tout en réduisant la consommation de 15 %.
- Ce design peut libérer jusqu’à 25 % de l’espace sur le XPU par rapport à une architecture HBM4E conventionnelle.
- Plusieurs fabricants pourront fournir NVHBM suivant une norme commune.
- Annapurna Labs collaborera avec NVIDIA sur NVHBM et NVLink Fusion pour les futures infrastructures AWS.
Cette annonce intervient à un moment où la mémoire devient l’un des facteurs essentiels influençant la performance des accélérateurs d’intelligence artificielle. Les modèles comptant des centaines de milliards ou même des plusieurs trillions de paramètres nécessitent le déplacement massif de données entre mémoire et unités de calcul, si bien que augmenter les FLOPS disponibles est insuffisant lorsque le processeur attend simplement l’arrivée des données pour exécuter des calculs.
NVHBM cherche précisément à modifier cette relation entre calcul et mémoire.
Le contrôleur quitte le XPU pour rejoindre la pile HBM
Dans une architecture HBM traditionnelle, le contrôleur chargé de la gestion de la communication mémoire se trouve dans l’accélérateur lui-même. Cela signifie qu’une partie du silicium disponible sur le XPU doit être réservée pour gérer la mémoire, au lieu d’être consacrée aux unités de calcul.
NVIDIA propose de déplacer ce composant.
NVHBM intègre le contrôleur personnalisé de NVIDIA dans le socle de la pile HBM tridimensionnelle, le retirant du die principal du XPU.
Selon les données publiées par la société, la comparaison avec une implémentation standard de HBM4E donne le tableau suivant :
| Caractéristique | HBM4E conventionnel | NVHBM de NVIDIA |
|---|---|---|
| Contrôleur mémoire | Dans le XPU | Dans le socle de HBM |
| Bande passante | Référence | Jusqu’à +30 % |
| Consommation HBM | Référence | -15 % |
| Surface occupée par le contrôleur sur le XPU | Intégrée dans la puce | Déplacée dans la pile HBM |
| Surface disponible en plus sur le XPU | — | Jusqu’à +25 % |
| Approche | Intégration conventionnelle | Infrastructure semi-personnalisée |
Les chiffres fournis par NVIDIA sont des estimations préliminaires. Leur validité devra être confirmée sur des produits concrets une fois qu’NVHBM sera commercialisé. De plus, cela ne garantit pas que tout accélérateur tirera automatiquement 25 % de performance en plus : NVIDIA parle d’optimisation de la surface silicium, pas de rendement supplémentaire direct en calcul.
L’intérêt pour les concepteurs réside justement dans la possibilité de décider comment exploiter cet espace :
Un fabricant pourra l’utiliser pour intégrer plus d’unités de calcul, augmenter certains caches, ajouter des accélérateurs spécialisés ou encore concevoir un XPU plus efficace.
NVIDIA veut également entrer dans la conception de puces personnalisées pour ses clients
NVHBM devient encore plus stratégique lorsqu’on le considère comme partie intégrante de NVLink Fusion, la plateforme de NVIDIA visant à embarquer une partie de sa technologie dans des processeurs conçus par des tiers.
Les grands fournisseurs de cloud développent depuis plusieurs années leurs propres accélérateurs pour réduire leurs coûts et mieux adapter le matériel à leurs charges de travail. Google possède ses TPU, AWS développe Trainium et Inferentia, Microsoft a Maia, et Meta travaille aussi sur ses accélérateurs MTIA.
Ce mouvement peut être perçu comme une menace pour NVIDIA : chaque accélérateur sur mesure déployé par un hyperscaler pourrait réduire la dépendance à ses GPU.
Mais NVLink Fusion propose une autre vision.
Plutôt que d’obliger ses clients à choisir entre un accélérateur NVIDIA ou un ASIC personnalisé, NVIDIA souhaite que ces processeurs spécifiques peuvent utiliser ses composants, y compris NVLink, NVLink-C2C, NVLink Switch, MGX et maintenant NVHBM.
Le résultat est une vision de NVIDIA qui cherche à participer économiquement à l’écosystème IA, même si le processeur principal porte la marque d’un autre constructeur.
La société décrit cette stratégie comme une architecture « verticalement intégrée et horizontalement ouverte ». La nuance est essentielle : l’ouverture consiste à permettre à des processeurs tiers d’intégrer son infrastructure, tout en utilisant des technologies développées par NVIDIA.
AWS sera le premier partenaire de NVHBM
L’exemple annoncé en premier lieu est particulièrement significatif.
Annapurna Labs, la division d’Amazon responsable d’une grande partie des circuits intégrés personnalisés pour AWS, collaborera avec NVIDIA sur NVHBM et sur la plateforme NVLink pour le déploiement dans les racks.
Ce partenariat élargit l’accord préalable autour de NVLink Fusion. AWS prévoit d’intégrer cette technologie dans ses futures générations de GPU Trainium, à commencer par Trainium4.
L’objectif est de permettre à la fois aux puces Amazon et aux GPU NVIDIA de fonctionner dans une architecture commune à l’échelle du rack.
Ce scénario représente une évolution notable par rapport à il y a quelques années. Bien qu’AWS développe ses propres accélérateurs, il peut aussi exploiter la technologie d’interconnexion et de gestion mémoire de NVIDIA pour créer des systèmes hétérogènes.
L’infrastructure ainsi constituée pourra assembler différents types de processeurs en fonction des besoins spécifiques à chaque charge de travail.
L’évolution de la course à l’IA se tourne vers la mémoire
Cet annonce illustre également la transformation dans la conception des accélérateurs.
Au début de l’essor de l’IA, la performance se mesurait principalement en TFLOPS ou PFLOPS. Avec la croissance des modèles, la capacité et la largeur de la mémoire deviennent tout aussi critiques.
Le HBM empile plusieurs couches de DRAM verticalement, reliées par des interfaces ultrarapides. Après HBM2, HBM2E, HBM3 et HBM3E, les générations HBM4 et suivantes repoussent encore cette intégration à un niveau supérieur.
Déplacer le contrôleur vers le socle de la pile constitue une étape supplémentaire : la mémoire cesse d’être uniquement une composante connectée au processeur pour commencer à remplir des fonctions autrefois dévolues au CPU.
Par ailleurs, NVIDIA souhaite généraliser une implémentation standardisée de NVHBM, proposée par plusieurs fabricants de mémoire.
Pour les concepteurs d’ASIC, cela peut réduire partie du travail d’intégration et de validation des différentes mémoires. NVIDIA peut aussi étendre son architecture à cette composante stratégique sans être nécessairement fabricant de DRAM.
De CUDA et GPU à la gestion de toute l’infrastructure du rack
NVHBM s’inscrit dans la logique récente de NVIDIA.
La société a récemment indiqué que le centre de données représente environ 92,5 % de ses revenus trimestriels. Son offre ne se limite plus à la simple vente d’accélérateurs.
Elle comprend GPU, CPU, réseaux, NVLink, systèmes rack-scale, logiciels et architectures complètes pour l’IA en data center. NVLink Fusion projette d’étendre cette stratégie à la conception de processeurs personnalisés.
| Couche d’infrastructure | Technologies NVIDIA |
|---|---|
| Calcul | GPU, Grace et plateformes à l’échelle rack |
| Mémoire | NVHBM et contrôleurs |
| Scale-up | NVLink et NVLink Switch |
| Communication chip à chip | NVLink-C2C |
| Réseau | Spectrum-X et InfiniBand |
| Systèmes | MGX et racks NVIDIA |
| Logiciels | CUDA et bibliothèques IA |
| Puces personnalisées | NVLink Fusion |
Cela montre que NVIDIA n’a plus besoin de fabriquer obligatoirement tous les composants d’un système pour que sa technologie fasse partie intégrante de celui-ci.
Un hyperscaler peut concevoir sa propre XPU en utilisant NVLink pour la connectivité, NVHBM pour la mémoire, et exploiter les autres technologies NVIDIA pour l’intégrer dans une infrastructure à l’échelle rack.
Une telle démarche permet d’évoluer avec le marché des siliciums personnalisés, sans pour autant devoir tout redévelopper dans chaque nouvelle charge.
Reste à voir combien de ce 30 % de bande passante supplémentaire et 15 % d’économie d’énergie sera maintenu lorsqu’NVHBM sera commercialisé, et quels fabricants de mémoire participeront à cette norme.
Mais cette tendance indique clairement la direction de l’infrastructure IA. La compétition ne consiste plus uniquement à fabriquer la GPU la plus rapide. désormais, ce qui compte c’est qui contrôle la communication entre calcul, mémoire et centaines d’accélérateurs dans un même système.
Questions fréquentes
Qu’est-ce que NVIDIA NVHBM ?
NVHBM est une technologie de mémoire à haut débit qui intègre le contrôleur personnalisé de NVIDIA directement dans le socle de la pile HBM, plutôt que dans le XPU lui-même.
Quels avantages NVHBM offre-t-il face à HBM4E ?
NVIDIA promet jusqu’à 30 % de bande passante supplémentaire, une réduction de 15 % de la consommation mémoire, et jusqu’à 25 % de surface libérée sur le XPU comparé à une architecture HBM4E classique.
NVHBM sera-t-il réservé aux GPU NVIDIA ?
Ce n’est pas forcément le cas. La communication dans NVLink Fusion et l’intégration dans des processeurs tiers sont le cœur de l’annonce. NVIDIA indique qu’une norme commune sera proposée par plusieurs fournisseurs de mémoire.
Quel lien avec AWS ?
Annapurna Labs, division d’Amazon, sera le premier partenaire à collaborer sur NVHBM. Leur partenariat fait partie d’une stratégie plus large autour de NVLink Fusion et des futures générations de GPU Trainium d’AWS.
source : blogs.nvidia