NVIDIA repense l’optimisation des centres de données dédiés à l’intelligence artificielle en passant d’une gestion de composants isolés à une approche intégrée de la puissance, du refroidissement, du réseau et des charges de travail. Sa plateforme NVIDIA DSX vise à augmenter la capacité de traitement de l’IA d’une infrastructure avec un budget électrique fixe, comme en témoigne la validation par Lambda, avec une augmentation de 24 % du nombre de tokens par seconde sous la même limite de puissance.
Les points clés de NVIDIA DSX en 30 secondes
- Lambda a exécuté 19 nœuds dans le cadre d’un budget électrique destiné à 16 nœuds en fonctionnement maximal.
- Le rendement du cluster est passé de 4 à 5 millions de tokens par seconde, soit une augmentation de 24 %.
- Le rapport performance/watt s’est amélioré de 23 % lors de cette validation.
- Emerald AI a automatiquement réduit une charge de 4 à 3 mégawatts suite à une demande de Silicon Valley Power.
- NVIDIA prévoit jusqu’à 40 % de capacité GPU supplémentaire dans certains déploiements Vera Rubin avec le même budget électrique.
L’expansion de l’intelligence artificielle rend la disponibilité électrique une contrainte majeure pour la croissance des infrastructures de calcul accéléré. NVIDIA propose qu’augmenter le nombre de mégawatts n’est pas la seule solution : il est aussi possible d’optimiser l’utilisation de l’électricité déjà disponible.
C’est le principe de NVIDIA DSX, une plateforme combinant outils de conception, de simulation, logiciels de gestion dynamique de puissance et architectures de référence. Présentée lors du GTC Taipei, cette plateforme s’appuie sur des validations préliminaires pour démontrer comment maximiser la production par unitée d’énergie.
L’indicateur central de cette stratégie est la quantité de travail utile qu’une usine d’IA peut fournir par mégawatt. En systèmes dédiés à l’inférence, cela se mesure en tokens par seconde, bien que le résultat final dépende des charges, de la configuration et des conditions spécifiques à chaque site.
Lambda augmente de 24 % ses tokens avec le même budget
Une validation concrète provient de Lambda, fournisseur d’infrastructure GPU. La société a testé NVIDIA DSX MaxLPS sur un cluster de cinq racks et 19 nœuds basés sur des serveurs NVIDIA HGX B200.
Ce système utilise un logiciel de gestion dynamique de puissance pour surveiller la consommation des GPU et des racks, et redistribuer le potentiel disponible selon les besoins des charges. L’objectif est d’éviter la réservation statique de puissance qui pourrait rester inutilisée à certains moments.
Lors du test, Lambda a réussi à faire tourner 19 nœuds dans le même cadre électrique utilisé auparavant pour 16 nœuds à pleine capacité. Résultat : une augmentation d’environ 24 % du rendement total en tokens, de 4,04 millions à environ 5 millions de tokens par seconde.
De plus, le rendement par watt a augmenté de 23 %. NVIDIA et Lambda soulignent que cet aspect est crucial lorsque l’entraînement et l’inférence cohabitent, car leurs profils de consommation diffèrent et peuvent laisser des marges que des configurations statiques ne permettent pas de tirer parti.
La documentation NVIDIA présente MaxLPS comme un modèle d’allocation dynamique visant à exploiter cette capacité résiduelle sous un plafond électrique défini. Pour les futurs centres, comme Vera Rubin NVL72, NVIDIA estime qu’il est possible d’atteindre jusqu’à 40 % de GPU supplémentaires dans le même cadre électrique. Toutefois, ces chiffres sont des projections, et leur applicabilité dépend de la conception spécifique de chaque centre.
Un scénario d’inférence avec un budget d’un mégawatt illustre que MaxLPS peut atteindre 400 GPU, avec un rendement en tokens équivalent à 1,35 fois la configuration MaxP. NVIDIA précise que la réalisation de ce potentiel demande de concevoir le système en intégrant refroidissement, réseau et autres éléments d’infrastructure.
Une usine d’IA peut aussi réagir à la gestion du réseau électrique
Une autre facette de la démarche concerne la relation entre les centres de données et le réseau électrique. NVIDIA a présenté une démonstration avec Emerald AI et Silicon Valley Power, le fournisseur d’énergie de Santa Clara.
Dans cette expérience, Silicon Valley Power a envoyé une demande pour réduire la consommation d’une usine d’IA. Emerald AI Conductor a automatiquement ajusté les charges flexibles : les tâches de moindre priorité ont été ralenties ou reprogrammées, laissant les priorités continue à fonctionner.
La consommation est passée de 4 à 3 mégawatts sans intervention manuelle. NVIDIA indique que Silicon Valley Power a envoyé plus de 200 signaux de demande, auxquels l’installation a répondu favorablement en chaque occasion.
Ce test utilise Emerald AI Conductor et n’est pas encore une installation DSX Flex complète. NVIDIA la présente comme une étape préparatoire pour la plateforme DSX Flex, conçue pour recevoir des signaux variés (réduction de charge, réponse à la demande, signalisation tarifaire) et ajuster en conséquence la priorisation des charges d’IA.
Une première implantation commerciale de DSX Flex est prévue pour une installation de 96 mégawatts à Manassas, en Virginie, dans le cadre du AI Factory Research Center. La plateforme intégrera progressivement Emerald AI Conductor à mesure que DSX Flex mûrit.
Ce concept modifie la conception d’une usine d’IA : l’infrastructure ne consomme pas uniquement l’électricité, elle peut aussi ajuster temporairement sa demande lorsque le contexte réseau l’exige. Les tâches prioritaires continuent tandis que d’autres peuvent être décalées à un moment où la charge est moindre.
Une architecture en 800 VDC pour une vision globale de l’infrastructure
NVIDIA travaille également sur une architecture électrique en 800 VDC, courant continu à haute tension. Son objectif est de réduire les conversions d’énergie, d’accroître l’efficacité de la transmission et de faciliter l’alimentation de racks de haute densité.
Intégrée aux références de DSX, cette architecture vise une amélioration de 3 à 5 % de l’efficacité globale par rapport à une distribution en 54 V dans certains scénarios liés à Vera Rubin NVL72, avec une disponibilité prévue pour 2027. Ces chiffres sont issus des estimations de NVIDIA, dépendant des configurations.
Le dispositif complet de DSX s’articule autour de plusieurs composants. DSX MaxLPS cherche à maximiser la performance dans un cadre de puissance limité ; DSX Flex adapte dynamiquement les charges selon la disponibilité réseau ; DSX OS fournit le logiciel de gestion du cycle de vie ; DSX Sim permet de modéliser les installations en amont. Des configurations validées de calcul, réseau, stockage et infrastructure y sont également intégrées.
NVIDIA intègre aussi la gestion du refroidissement, indiquant que certains racks GB200 NVL72 sous refroidissement liquide direct dissipent environ 120 kW de chaleur. Augmenter la puissance sans prendre en compte la refroidissement, la gestion de réseau ou la distribution électrique peut conduire à une sous-utilisation des capacités.
Le principe de NVIDIA est que l’efficacité d’une usine d’IA se mesure à la quantité de travail qu’elle parvient à produire avec ses ressources, plutôt qu’à ses performances maximales en pic. Les résultats de Lambda offrent une première validation concrète, tandis que l’expérience avec Emerald AI illustre la possibilité pour ces installations d’ajuster leur consommation selon la demande du réseau.
Les prochaines étapes impliqueront de vérifier le comportement de ces techniques dans des déploiements plus importants, avec des charges variées. Les chiffres de Lambda correspondent à une configuration spécifique, alors que les améliorations prévues pour Vera Rubin dépendent des caractéristiques de chaque site.
Questions fréquentes
Qu’est-ce que NVIDIA DSX ?
NVIDIA DSX est une plateforme conçue pour la conception et l’exploitation de centres d’IA, combinant calcul, gestion électrique, refroidissement, réseau et logiciels afin d’optimiser la performance dans un budget énergétique donné.
Quel a été le gain de performance de Lambda ?
Lambda a obtenu une hausse de 24 % de la performance totale en tokens lors d’un test avec DSX MaxLPS, passant d’environ 4,04 millions à 5 millions de tokens par seconde pour un même budget de puissance.
Quel rôle joue DSX Flex ?
DSX Flex est conçu pour ajuster dynamiquement les charges de travail d’une usine d’IA en réponse à des signaux du réseau électrique, en réduisant temporairement certaines tâches tout en maintenant l’exécution des priorités.
Quelle importance a l’architecture en 800 VDC ?
NVIDIA intègre une architecture en 800 VDC pour réduire la complexité des conversions, améliorer l’efficacité globale et soutenir la densité croissante des racks dans les installations de calcul avancé, en particulier pour Vera Rubin.
Source : blogs.nvidia