Au cours des dernières années, presque tout le débat sur l’intelligence artificielle s’est concentré sur les GPU. Cela se comprend : entraînement, inférence, modèles multimodaux, Mixture of Experts et grands contextes dépendent d’accélérateurs de plus en plus puissants. Mais NVIDIA propose une idée qu’il est intéressant d’examiner attentivement : à l’ère des agents IA, le CPU reprend une place essentielle dans la chaîne de performance.

L’argument de NVIDIA avec NVIDIA Vera est simple à comprendre. Un agent ne se limite pas à générer du texte. Il raisonne, appelle des outils, exécute du code, consulte des bases de données, analyse des résultats, lance des tests, déplace des données, vérifie des sorties et décide de la prochaine étape. À chacune de ces phases, le GPU peut attendre que la CPU termine le travail autour du modèle. Et dans un centre de données dédié à l’IA, un GPU en attente représente une occasion manquée de revenu.

NVIDIA définit Vera comme une nouvelle catégorie de CPU conçue pour un « rendement monothread maximal à l’échelle », destinée aux agents et aux usines d’IA. Il ne s’agit pas seulement d’avoir beaucoup de cœurs. La thèse est que chaque cœur doit être rapide, même lorsque tout le processeur est chargé, avec un débit suffisait de mémoire pour chaque cœur et des latences prévisibles.

Le cycle de l’agent modifie la manière de mesurer une CPU

Les tâches traditionnelles de nombreuses CPUs de centres de données ont été dominées par le traitement en parallèle, les services web, la virtualisation, les bases de données, les microservices et l’efficacité par cœur louable. Le cloud a longtemps poussé vers plus de cœurs par socket et un meilleur coût par unité de capacité. Cette approche avait du sens pour de nombreux usages, mais ne maximise pas toujours la rapidité de chaque étape individuelle.

L’IA orientée agent introduit un autre modèle. Un agent fonctionne en boucle : le modèle décide, la CPU exécute une action, le résultat revient au modèle, et le cycle recommence. Si une étape est plus lente, si un sandbox démarre lentement, si une requête SQL prend du retard ou si un outil traite des données à haute latence, l’ensemble de l’agent avance moins rapidement.

Plus de cœurs permettent d’exécuter plus d’agents en parallèle, mais ne velociment pas la phase séquentielle d’un agent spécifique. C’est pourquoi NVIDIA insiste sur la nécessité de performances monothread soutenues : il ne suffit pas d’un débit global, il faut aussi optimiser la rapidité de chaque action individuelle pour ne pas bloquer la prochaine étape du modèle.

Ce concept a une conséquence claire pour l’infrastructure : la performance d’un agent ne dépend pas uniquement du modèle ni du GPU, mais de l’ensemble du système soutenant la boucle.

Ce que propose NVIDIA avec Vera

Vera utilise 88 cœurs Olympus, conçus par NVIDIA, qui selon la société offrent 50 % d’instructions par cycle en plus que Grace. La puce combine ces cœurs avec jusqu’à 1,2 To/s de bande passante mémoire LPDDR5X, moins de 40 watts de puissance mémoire, et un die monolithique doté d’une interconnexion de 3,4 To/s entre cœurs. Selon NVIDIA, cette architecture permet à chaque cœur d’accéder à toute la bande mémoire sans créer de goulots d’étranglement internes.

Ce positionnement contraste avec l’évolution récente des CPUs de centres de données, où les designs à base de chiplets ont permis davantage de cœurs et de meilleurs coûts, tout en pouvant introduire des pénalités d’accès mémoire ou de communication entre blocs. NVIDIA qualifie cette approche, de manière très marketing mais parlante, d’« impôt du chiplet ».

La société affirme que Vera délivre 1,8 fois plus de performance soutenue par cœur que x86 dans des charges de travail CPU simulant une exécution orientée agent. Elle annonce également des tests avec Perplexity dans un flux réel de programmation, clonant un dépôt et exécutant leur suite de tests dans des sandboxes, où Vera aurait terminé environ 1,5 fois plus vite que x86, avec un démarrage jusqu’à 1,9 fois plus rapide pour plusieurs sandboxes simultanés.

Il faut considérer ces chiffres comme des données fournies par NVIDIA et ses partenaires. Elles ne remplacent pas des tests indépendants dans des environnements clients réels, avec leurs propres modèles, outils, latences, systèmes de stockage ou usages. Toutefois, elles indiquent une tendance prometteuse : l’IA orientée agent va obliger à repenser la façon de mesurer la performance dans les centres de données.

Les usines d’IA ne se limitent pas aux GPU

Dans une usine d’IA, l’actif le plus précieux est souvent le GPU. C’est pourquoi tout goulot d’étranglement qui réduit leur utilisation impacte directement le coût par tâche, le délai de réponse et la rentabilité de l’infrastructure. Si un agent doit attendre trop longtemps que la CPU exécute du code, consulte des données ou traite des résultats, l’investissement en accélérateurs est moins efficace.

Ce point rejoint une tendance plus large. Les charges d’IA ne se résument plus à « saisir une requête et obtenir une réponse ». De plus en plus, les applications combinent modèles, agents, outils, recherche, bases de données, code, sandboxes, workflows et systèmes de sécurité. L’inférence devient une étape d’une chaîne beaucoup plus longue.

NVIDIA cite aussi des résultats sur les charges de données : Starburst aurait mesuré une analyse SQL à grande échelle trois fois plus rapide, et Redpanda une latence en streaming en temps réel jusqu’à six fois inférieure à celle des CPU x86 de pointe, selon des données partagées par NVIDIA.

Cela explique pourquoi Vera ne se limite pas à une CPU accompagnant le GPU, mais devient un élément clé pour unifier plusieurs fonctions dans la chaîne IA : agents, données, sandboxes, service d’inférence et apprentissage par renforcement. De plus, elle sera la CPU aux côtés de la plateforme NVIDIA Vera Rubin et est également liée à BlueField-4 STX, ce qui confirme l’objectif de NVIDIA de prendre davantage le contrôle des couches de l’architecture dans les centres de données IA.

Le message stratégique : NVIDIA vise une présence accrue dans les serveurs

Vera possède aussi une lecture compétitive. NVIDIA ne veut pas uniquement vendre des GPU ; elle souhaite définir l’architecture complète de la chaîne d’IA : GPU, CPU, réseau, interconnexion, DPU, logiciel, bibliothèques, orchestration et outils. Cette intégration peut améliorer l’efficacité et réduire les goulots d’étranglement, mais elle augmente aussi la dépendance vis-à-vis d’un unique fournisseur dans un secteur déjà concentré.

Pour les grands clients, la question sera technique et économique : cela vaut-il la peine d’adopter une plateforme plus intégrée si elle améliore le rendement par agent, réduit la latence et exploite mieux les GPU ? Dans beaucoup de cas, la réponse peut être oui. Néanmoins, il faudra aussi prendre en compte le coût, la disponibilité, la maturité, la compatibilité avec le logiciel existant, les modèles opérationnels, la consommation, la refroidissement et la capacité de négociation.

L’annonce de la CPU Rosa, avec cœur Rigel basé sur Arm v9.2, montre que Vera n’est pas une expérience isolée, mais fait partie d’une feuille de route pour des CPUs maison adaptées à l’ère de l’IA orientée agent. NVIDIA promet que Rigel offrira plus de performance par cœur qu’Olympus tout en conservant la même surface de silicium, avec des améliorations dans la livraison d’instructions, le cache L2 et la gestion mémoire.

Le CPU n’est plus en second rôle

Ce qui rend Vera particulièrement intéressant, ce n’est pas seulement la puce en soi, mais le changement de paradigme qu’elle implique. L’infrastructure IA devient plus hétérogène et dépendante d’un équilibre entre ses composants. Une GPU très puissante peut être limitée par le stockage, le réseau, la mémoire, le CPU, la planification, les données ou le software. La vitesse d’un agent dépendra de la performance globale du système.

Cela oblige les équipes d’infrastructure à poser de nouvelles questions. Ce n’est plus suffisant de regarder des TFLOPS, la mémoire GPU ou le nombre d’accélérateurs par rack. Il faut mesurer combien de temps un agent met pour réaliser une tâche réelle, combien de tours il doit faire, quelle partie du temps est consacrée au modèle, aux outils, à la latence du sandbox, combien une requête met à s’exécuter, quels données circulent, et où le système se bloque.

Vera représente une réponse claire à cette transition : des CPU multifilaires, oui, mais conçues pour que chaque cœur reste rapide sous charge. Si l’ère des agents fait que chaque seconde d’attente coûte cher, la performance monothread à l’échelle devient une variable bien plus qu’un simple détail architectural.

Les GPU continueront à dominer, mais dans l’IA orientée agent, une part croissante des opérations importantes se situe entre deux appels au modèle. C’est dans ce domaine que NVIDIA souhaite positionner Vera.

Questions fréquentes

Qu’est-ce que NVIDIA Vera ?
Une CPU de NVIDIA pour centres de données IA, conçue pour un haut rendement par cœur, une largeur de bande mémoire élevée et des charges orientées agent avec de nombreux pas séquentiels.

Pourquoi le rendement monothread est-il crucial pour l’IA ?
Parce qu’un grand nombre d’étapes dépendent du résultat de l’étape précédente. Si un outil, un test ou une requête est plus lent, tout le cycle en pâtit.

Vera remplace-t-elle les GPU ?
Non, elle est conçue pour travailler aux côtés des GPU, pour accélérer les tâches CPU liées au modèle : outils, code, données, vérification et orchestration.

En quoi Vera diffère-t-elle des CPUs traditionnels de centres de données ?
Elle combine 88 cœurs Olympus, un rendement élevé par cœur, 1,2 To/s de mémoire LPDDR5X et une interconnexion interne de 3,4 To/s entre cœurs.

Les chiffres de rendement sont-ils indépendants ?
Les chiffres cités viennent de NVIDIA et de partenaires comme Perplexity, Starburst ou Redpanda. Chaque organisation doit les valider dans ses propres environnements et charges réelles.

via : blogs.nvidia