61 400 agents IA simultanés par mégawatt pour la GB300 NVL72. 2 600 pour la H200 basée sur Hopper. L’écart, mesuré par le benchmark AA-AgentPerf d’Artificial Analysis, illustre un changement de référentiel : l’IA agentique ne se mesure plus en tokens par seconde, mais en agents soutenus à l’échelle, dans la durée, avec un contexte long.

Ce que mesure AA-AgentPerf

AA-AgentPerf ne teste pas un chatbot. Il évalue ce qui se passe quand des centaines, puis des milliers d’agents travaillent en parallèle sur des tâches longues et variables, comme dans un environnement de développement assisté par IA. Les trajectoires utilisées sont réelles : sessions multi-tours, raisonnement intercalé, appels à des outils, édition de code, avec des séquences d’entrée pouvant dépasser 100 000 tokens et une moyenne de 27 000 dans l’échantillon testé.

C’est essentiel car les charges agentiques sollicitent le système différemment. Un agent ne génère pas seulement du texte. Il lit le contexte, attend les résultats d’outils, reprend la session, réutilise le cache KV, alterne entre prefilling et décodage, maintient plusieurs requêtes actives sur une longue période. En production, cette complexité stresse le planificateur, la mémoire, l’interconnexion entre GPU et la latence globale.

GB300 NVL72 contre H200 : les chiffres

Les tests ont été réalisés avec DeepSeek V4 Pro, un modèle Mixture-of-Experts représentatif des charges de travail modernes. Les résultats sont nets.

Cet écart ne s’explique pas par une seule composante. NVIDIA attribue ces résultats à la combinaison matériel, logiciel et interconnexion. Le GB300 NVL72 connecte 72 GPU via un domaine NVLink haute capacité, utile pour des modèles MoE comme DeepSeek V4 Pro, où la répartition de l’exécution entre experts doit être coordonnée sans que la communication n’épuise le rendement. TensorRT LLM, SGLang et vLLM jouent également un rôle, avec des optimisations pour distinguer prefilling et décodage, gérer le cache KV et maintenir une forte utilisation des GPU.

La métrique qui intéresse vraiment les opérateurs de data centers est le nombre d’agents par mégawatt. Dans un centre de données dédié à l’IA, l’énergie est aussi déterminante que le coût des GPU. C’est un paramètre que les grands projets d’infrastructure comprennent bien, comme le montre le projet Malpica AI à Mora, qui vise 300 MW pour accueillir des workloads IA.

La logique des data centers orientés agents

Un assistant de programmation peut recevoir un incident, inspecter des fichiers, proposer des modifications, exécuter des tests, corriger des erreurs et itérer. Chaque étape génère de nouvelles requêtes avec maintien du contexte. Cette logique oblige à repenser l’architecture des data centers : mémoire, réseau interne, refroidissement, logiciel d’orchestration et stockage du contexte prennent une place que les déploiements d’inférence classique n’exigeaient pas.

Un système mal équilibré risque d’avoir des GPU très puissants mais de fournir une mauvaise expérience si les goulots concernent le cache, l’interconnexion ou le planificateur. AA-AgentPerf vise précisément à exposer ces faiblesses systémiques que les benchmarks d’inférence standard ne voient pas. Cette dynamique explique aussi pourquoi des acteurs comme SpaceX s’associent à Google et Anthropic pour construire des usines IA comme Colossus, avec une approche système plutôt que matériel seul.

Il faut nuancer : les résultats publiés proviennent de configurations spécifiques avec des SLAs et optimisations déterminés. Un agent financier, juridique, de service client ou de recherche scientifique ne ressemble pas à un agent de programmation. Les benchmarks indiquent une direction, pas une garantie.

Vera Rubin : la génération suivante se prépare

Le timing de la publication n’est pas fortuit. NVIDIA prépare Vera Rubin, sa prochaine plateforme pour les grandes usines d’IA. L’architecture combine CPU Vera, GPU Rubin, NVLink 6, BlueField-4 et Spectrum-6. Les annonces indiquent 50 PFLOPS de calcul NVFP4 pour l’inférence, 3,6 To/s de bande passante par GPU via NVLink 6, et 260 To/s par rack Vera Rubin NVL72.

NVIDIA promet une capacité jusqu’à 10 fois supérieure en agents simultanés à l’échelle comparée à Grace Blackwell. Ces chiffres devront être confirmés par des déploiements réels et des benchmarks indépendants. Mais la tendance est claire : plus d’agents, plus de contexte, plus de concurrence pour l’énergie et l’espace de rack.

Pour l’industrie cloud, cela se traduit concrètement : il ne suffit plus d’accumuler de la puissance GPU. Il faut concevoir racks, réseaux, logiciels d’inférence, isolation multi-locataires, stockage de contexte et gestion opérationnelle comme un système. Les entreprises déployant des agents à grande échelle rechercheront une capacité utile par mégawatt et par euro investi, pas simplement des FLOPS bruts.

Questions fréquentes

Qu’est-ce qu’AA-AgentPerf ?

Un benchmark d’Artificial Analysis qui évalue combien d’agents IA une plateforme d’inférence peut soutenir dans des scénarios réalistes, en respectant des objectifs de vitesse et de TTFT.

Quels résultats le GB300 NVL72 a-t-il obtenus ?

61 400 agents simultanés par MW et 57,5 par GPU, contre 2 600 agents/MW et 1,4 par GPU pour la H200, soit jusqu’à 20 fois plus de capacité par mégawatt.

En quoi les charges agentiques diffèrent-elles de l’inférence classique ?

Un agent raisonne en plusieurs tours, appelle des outils, lit et modifie des fichiers, exécute des tests et maintient un contexte long. Cela exige davantage de mémoire, une meilleure orchestration et une efficacité système globale bien supérieure.

Quel est le rôle de Vera Rubin ?

C’est la prochaine plateforme NVIDIA pour les grandes usines d’IA. Avec 50 PFLOPS NVFP4, une CPU Vera, NVLink 6 et une architecture orientée agents, elle vise une capacité jusqu’à 10 fois supérieure en agents simultanés par rapport à Grace Blackwell.

Source : NVIDIA Developer Blog