La nouvelle édition de MLPerf Inference 6.1 offre une photographie plus complexe de la course à l’infrastructure d’intelligence artificielle. AMD a porté son Instinct MI355X à une configuration de 512 GPU, établissant un record de scalabilité dans le benchmark, tandis que NVIDIA dévoile d’ores et déjà des résultats préliminaires de Vera Rubin et montre d’importantes améliorations avec Blackwell. De son côté, Intel étend la présence de ses processeurs Xeon et de la GPU Arc Pro B70, avec des gains obtenus en grande partie via l’optimisation logicielle.

Les clés de MLPerf 6.1 en 30 secondes

• AMD atteint 5,75 millions de tokens/sec avec 512 MI355X pour GPT-OSS-120B et 2,90 millions pour DeepSeek-R1.
• NVIDIA présente Vera Rubin NVL72 avec jusqu’à 3,7 fois plus de performance que GB300 NVL72 en Qwen3-VL.
• Un système GB300 de 288 GPU affiche une efficacité de scalabilité de 99 % dans DeepSeek-R1.
• En configurations de 8 GPU, GB300 dépasse le MI355X sur plusieurs modèles, bien qu’AMD conserve une avance dans certaines charges.
• Intel améliore les performances de ses Arc Pro B70 et Xeon 6, souvent sans modifier le matériel utilisé dans certaines comparaisons.

MLPerf Inference 6.1 introduit également une évolution majeure dans les tâches évaluées, intégrant des tests plus proches des scénarios actuels de l’IA. Parmi celles-ci, End-to-End Retrieval-Augmented Generation (E2E-RAG) et Edge Agentic Inference. La première évalue une chaîne complète intégrant embeddings, recherche vectorielle, reranking et génération à l’aide d’un modèle de langage. La seconde cherche à refléter des charges agentes multi-turnes, où chaque requête dépend du contexte précédent.

Cette édition a rassemblé 30 organisations participantes, un record jusqu’à présent pour MLPerf Inference. On y trouve également de nouveaux processeurs et accélérateurs, comme AMD Ryzen AI Max+ 395, Instinct MI350P, Intel Arc Pro B70, et les premières plateformes Rubin de NVIDIA, encore en mode prévisualisation.

AMD pousse le MI355X à 512 GPU

Le chiffre le plus impressionnant de cette analyse est la configuration de 512 AMD Instinct MI355X, présentée par Crusoe. Sur GPT-OSS-120B, elle atteint 5,75 millions de tokens par seconde en mode Offline et 5,39 millions en mode Server. Sur DeepSeek-R1, elle atteint 2,90 millions de tokens/sec Offline et 2,41 millions en Server. AMD qualifie ces résultats de plus hauts rendements globaux de tokens enregistrés à ce jour dans MLPerf pour ces charges.

La comparaison doit être effectuée avec prudence, car le nombre d’accélérateurs diffère selon les configurations. Par exemple, sur DeepSeek-R1, la configuration AMD de 512 GPU atteint 2 901 950 tokens/sec, alors qu’une configuration NVIDIA GB300 de 288 GPU enregistre 2 705 130 tokens/sec. Dans ce cas, AMD montre un meilleur rendement global avec plus d’accélérateurs, ce qui ne permet pas une comparaison directe de l’efficacité par GPU.

La donne évolue lorsque l’on réduit l’échelle.

Pour GPT-OSS-120B, le MI355X avec huit GPU atteint 117 804 tokens/sec Offline et 110 188 en Server. Le GB300 de huit GPU enregistre 132 236 et 127 921 tokens/sec, respectivement. Autrement dit, le système NVIDIA conserve une avantage dans cette configuration spécifique.

AMD montre également une amélioration significative en augmentant le nombre de MI355X. La société indique une efficacité de scalabilité de 95 % entre huit et 72 GPU pour GPT-OSS-120B, ce qui suggère qu’une part élevée du rendement supplémentaire théorique est conservée en passant à une configuration multi-nœuds.

Ce comportement est plus pertinent pour de grandes infrastructures que pour des chiffres maximaux isolés. Lorsqu’une plateforme évolue d’un seul serveur à plusieurs racks, la communication entre GPU, la mémoire, la répartition des requêtes et le software peuvent devenir des goulets d’étranglement.

Vera Rubin fait une première apparition dans MLPerf

Une autre grande nouveauté concerne NVIDIA. Vera Rubin NVL72 apparaît pour la première fois dans MLPerf Inference via des résultats en preview.

En DeepSeek-R1, le système de 72 GPU VR200 affiche 1 183 327 tokens/sec en Offline, contre 689 961 tokens/sec pour un système GB300 NVL72 de 72 GPU. En Qwen3-VL, Vera Rubin atteint 1 307 requêtes par seconde, contre 349 pour le GB300, ce qui représente environ 3,7 fois plus. Les résultats de Vera Rubin sont qualifiés de préliminaires dans la documentation NVIDIA.

La comparaison avec Blackwell montre aussi que la scalabilité est cruciale. Un système GB300 de 72 GPU produit 679 740 tokens/sec en DeepSeek-R1, tandis qu’une configuration de 288 GPU atteint 2 705 130 tokens/sec. NVIDIA affirme qu’un saut entre une et quatre plateformes NVL72 conserve une efficacité de scalabilité de 99 % dans le scénario Offline.

Ce 99 % ne signifie pas que quatre racks sont quatre fois plus rapides dans toutes les charges. Il s’agit de l’efficacité de scalabilité d’une configuration spécifique dans le benchmark DeepSeek-R1. C’est une métrique qui montre combien de performance supplémentaire on obtient en augmentant les ressources.

NVIDIA évoque aussi que certaines améliorations entre MLPerf 6.0 et 6.1 proviennent en partie de ses logiciels. La société calcule des gains jusqu’à 1,6 fois dans certains résultats, grâce à des modifications de kernels, à la fusion d’opérations, à la précision de la mémoire cache KV ou aux techniques de serve distributed.

Intel prouve que le logiciel aussi fait la différence

Intel participe à cette édition avec deux fronts : les processeurs Xeon 6 et la GPU Arc Pro B70.

Pour Xeon 6, la société a évalué de deux à cinq modèles, comparés à MLPerf 6.0. Intel affirme qu’un Xeon 6980P a multiplié par 2,4 la performance Server sur Llama 3.1 8B par rapport à l’édition précédente, en utilisant le même silicium et le même nombre de sockets, tandis que la performance Offline a crû de 56 %.

Avec Arc Pro B70, une machine équipée de quatre GPU, totalisant 128 Go de VRAM, apparaît dans des tests avec Llama 3.1 8B, Llama 2 70B, GPT-OSS-120B, Whisper et E2E-RAG.

Dans GPT-OSS-120B, Intel compare le même système de quatre Arc Pro B70 utilisé en MLPerf 6.0 et annonce une amélioration de 36 % en performance Server et 27 % en Offline. Les résultats passent ainsi de 951,67 à 1 296,87 tokens/sec en Server, et de 1 536,90 à 1 956,40 en Offline.

Les graphiques positionnent aussi la Arc Pro B70 en dessous des grandes GPU d’AMD et NVIDIA pour les charges LLM analysées. Par exemple, en Llama 3.1 8B, quatre Arc Pro B70 donnent 4 977 tokens/sec Offline, contre 158 458 pour le MI355X avec huit GPU, et 171 114 pour le GB300 avec huit GPU.

Cette comparaison ne cherche pas à classer ces machines dans la même catégorie. Un des points-clés de MLPerf 6.1 est qu’il commence à couvrir une gamme variée de configurations, allant des grands systèmes multi-nœuds aux stations et serveurs plus petits.

Les chiffres varient selon le modèle

Les résultats de MLPerf 6.1 illustrent aussi pourquoi une seule valeur ne suffit pas pour désigner « la GPU la plus rapide ».

En Llama 2 70B, un système GB300 de huit GPU atteint 132 253 tokens/sec en Offline, contre 103 792 pour le MI355X de huit GPU. En Llama 3.1 8B, le GB300 atteint 171 114, contre 158 458 pour le MI355X. Cependant, pour GPT-OSS-120B, d’autres relations apparaissent en fonction de la configuration et du scénario.

Le nombre d’accélérateurs influence aussi beaucoup les résultats. Par exemple, dans DeepSeek-R1, le système AMD de 512 GPU dépasse en performance globale la configuration NVIDIA de 288 GPU mentionnée dans les graphiques, tandis que Vera Rubin obtient des résultats très supérieurs au GB300 dans certains tests avec seulement 72 GPU. Ces comparaisons aident à comprendre le comportement spécifique de chaque plateforme, mais ne constituent pas une classification unifiée.

Un autre facteur complique encore l’analyse : le logiciel.

MLPerf compare des configurations concrètes, des versions de logiciels et des modèles spécifiques. NVIDIA, AMD et Intel optimisent en permanence leurs stacks d’inférence. Ainsi, un résultat publié aujourd’hui peut être dépassé par une nouvelle version de kernels, compilateurs, bibliothèques d’inférence ou systèmes de serving, sans modification physique de la GPU.

MLCommons s’oriente aussi dans cette direction avec l’évolution du benchmark. Plus de la moitié des participants à cette édition ont utilisé un nouveau système d’évaluation basé sur API, conçu comme base pour la future famille MLPerf Endpoints, avec une architecture client-serveur plus proche de déploiements réels en centre de données.

En résumé, cette édition 6.1 témoigne d’une course fragmentée. AMD démontre que le MI355X peut évoluer jusqu’à 512 GPU avec un volume de tokens atteignant de nouveaux records; NVIDIA utilise Vera Rubin pour dévoiler en première ligne sa prochaine génération dans MLPerf et maintient Blackwell en position compétitive; enfin, Intel prouve que l’optimisation software permet encore de tirer davantage de Xeon et Arc Pro.

Pour les architectes d’infrastructures IA, la performance maximale en tokens par seconde n’est qu’une partie de l’équation. Le choix du modèle, la taille du système, la latence, l’efficacité de la scalabilité, la précision, la mémoire, le logiciel et le coût opérationnel déterminent la pertinence des résultats pour une charge donnée. MLPerf 6.1 rappelle que la compétition ne se résume plus à avoir la GPU la plus rapide : il s’agit surtout de maintenir la performance à l’échelle du système, lorsque l’on passe de laboratoire à des centaines d’accélérateurs.