Les TPU de Google commencent à rivaliser avec les GPU Blackwell de NVIDIA dans l’un des domaines qui préoccupent le plus ceux qui exploitent de grands modèles d’intelligence artificielle : combien coûte la génération d’un million de tokens. Les premiers tests indépendants de SemiAnalysis avec TPUv7 Ironwood montrent des avantages en termes de coût par rapport aux B200 et B300 dans de nombreux scénarios, pendant que Google prépare TorchTPU pour éliminer l’un des principaux obstacles à son adoption : le support natif de PyTorch.

Les clés des TPU face à NVIDIA en 20 secondes

• SemiAnalysis a comparé TPUv7 Ironwood avec NVIDIA B200 et B300 pour l’inférence de grands modèles.
• À 100 tokens/sec par utilisateur, Ironwood coûte 19 % de moins que le B200 et 34 % de moins que le B300.
• Dans certains cas, il atteint jusqu’à 50 % de performance supplémentaire par dollar dépensé.
• TorchTPU permettra d’utiliser PyTorch de manière native sur les TPU.

Cela ne signifie pas que Google a construit un accélérateur toujours plus rapide que Blackwell. En réalité, NVIDIA conserve des avantages importants dans certains scénarios, et TPUv7 ne prend pas en charge le calcul FP4 de façon native. Ce qui compte vraiment, c’est une autre métrique : le rapport entre performance, latence et coût, qui est devenu l’un des principaux champs de bataille pour l’infrastructure IA.

Ironwood entre dans la bataille du coût par token

SemiAnalysis a publié dans InferenceX ses premières évaluations indépendantes de l’inférence avec TPUv7 Ironwood, en la comparant en FP8 à égalité de précision avec les NVIDIA B200 et B300.

Les résultats varient considérablement selon le niveau de concurrence et la latence requise, il serait donc trompeur de réduire la comparaison à un seul pourcentage.

À une vitesse de génération de 100 tokens par seconde par utilisateur, SemiAnalysis estime un coût d’environ 0,181 dollars pour un million de tokens pour Ironwood, contre 0,222 dollars pour B200 et 0,276 dollars pour B300. Cela représenterait une avantage d’environ 19 % par rapport à B200 et 34 % par rapport à B300.

Scénario analysé	TPUv7 Ironwood	NVIDIA B200	NVIDIA B300
100 tokens/sec/utilisateur	0,181 $/M tokens	0,222 $/M	0,276 $/M
Différence par rapport à TPU	—	TPU ~19 % moins cher	TPU ~34 % moins cher
Temps de réponse médian de 20 s	~0,098 $/M	~0,106 $/M	~0,132 $/M
Précision comparée	FP8	FP8	FP8

Il existe des points où cette différence s’accentue encore. À 20 tokens/sec/utilisateur, SemiAnalysis a obtenu 9 364 tokens/sec par chip avec Ironwood, contre 8 903 avec B200 et 8 925 avec B300.

En combinant cette performance avec leur estimation du coût horaire, l’analyse calcule une augmentation de 50,4 % du nombre de tokens par dollar par rapport à B200, et de 96 % par rapport à B300 à ce point précis. La précision est essentielle : ces différences ne peuvent pas être automatiquement extrapolées à tous les modèles, latences ou configurations.

Il existe aussi des scénarios où Blackwell conserve un avantage. SemiAnalysis reconnaît que B200 dépasse Ironwood dans une partie de la courbe, et que les configurations désagrégées GB200/GB300 NVL72 restent compétitives tant que le logiciel externe pour TPU dédié à ce type d’inférence continue de progresser.

La première implication est que le débat ne peut plus se limiter à savoir quel accélérateur offre plus de FLOPS ou de tokens par seconde. Pour un fournisseur qui sert des milliards de tokens, quelques centimes d’écart pour chaque million de tokens peuvent avoir un impact considérable sur le coût total de l’infrastructure.

TorchTPU s’attaque à l’une des principales forces de NVIDIA

Le matériel n’est qu’une partie du problème. NVIDIA a construit pendant des années un avantage autour de CUDA et d’un environnement logiciel largement adopté par les développeurs, chercheurs et fournisseurs d’inférence.

Google devait réduire cette barrière.

C’est là qu’intervient TorchTPU, un nouveau backend visant à faire que les TPU se comportent face à PyTorch comme un dispositif natif. Google explique qu’un développeur pourra travailler avec des tenseurs standards de PyTorch sur un dispositif tpu, en conservant une interface familière et en utilisant torch.compile si nécessaire.

En dessous, existent toujours des technologies propres à l’environnement TPU, notamment XLA, StableHLO et des kernels spécialisés. Ainsi, “PyTorch natif” ne signifie pas que Google a éliminé son architecture logicielle, mais qu’il cherche à la rendre beaucoup moins visible pour le développeur.

Ce changement pourrait avoir des conséquences plus importantes qu’une simple question de confort.

vLLM et SGLang sont deux des projets les plus utilisés pour déployer des modèles de langage en production. Si tous deux peuvent traiter les TPU comme des dispositifs PyTorch de premier ordre, Google facilite l’adaptation de nouveaux modèles ouverts à son hardware.

Google a déjà confirmé en avril que TorchTPU utilise l’interface PrivateUse1 de PyTorch et travaille sur des intégrations approfondies avec des projets comme vLLM. La société prépare aussi un dépôt public et prévoit des améliorations pour la dynamique, des kernels personnalisés et l’exécution distribuée.

SemiAnalysis indique que TorchTPU reste en phase bêta privée et prévoit une ouverture en open source vers octobre. Parmi les premiers grands modèles utilisés pour tester cet environnement, Qwen3.5-397B est cité.

TPUv8 ajoutera du FP4 et renforcera la pression sur Blackwell

Ironwood présente encore une limite importante face aux GPU Blackwell : l’absence de calcul FP4 natif.

C’est crucial car B200 et B300 peuvent utiliser FP4 pour augmenter considérablement la performance en inférence, même si réduire la précision de FP8 à FP4 peut impacter la qualité du modèle. SemiAnalysis a donc effectué sa comparaison principale en FP8 contre FP8.

Cela changera avec la prochaine génération de TPU.

Google a déjà présenté deux versions : TPU 8t, principalement destinée à l’entraînement, et TPU 8i, conçue spécifiquement pour l’inférence, le post-entraînement et le raisonnement. Le TPU 8i intégrera 288 Go de HBM, 384 Mo de SRAM intégré, et effectuera du calcul FP4 avec un maximum annoncé de 10,1 PFLOPS.

Il introduira également Boardfly, une nouvelle topologie d’interconnexion remplaçant la configuration toro 3D utilisée par Ironwood pour ce modèle dédié à l’inférence. Google affirme qu’elle permet de réduire de 16 à 7 le nombre maximum de sauts dans une configuration comparable de 1 024 puces. La société attribue à TPU 8i une amélioration pouvant aller jusqu’à 80 % du rendement par dollar par rapport à Ironwood dans certains scénarios à faible latence.

Le TPU 8i reste encore marqué comme “disponible prochainement”. Les chiffres ci-dessus proviennent de Google et ne correspondent pas aux résultats indépendants actuels de SemiAnalysis pour Ironwood.

Une autre étape clé est la démocratisation du hardware au-delà de l’infrastructure interne de Google. SemiAnalysis estime qu’Ironwood ouvre la voie à la location des TPU, voire à leur achat direct par certains clients. Si cette distribution s’étend, PyTorch ne sera plus une barrière, et Google pourrait voir ses solutions concurrencer sérieusement la TPU traditionnelle confinée à Google Cloud.

Ce n’est pas la fin de la domination de NVIDIA. Blackwell possède un logiciel très mature, une large base installée et des avantages techniques pour divers types de charges. Mais l’économie de l’inférence se modifie : il ne suffit plus d’avoir l’accélérateur le plus rapide ; il devient crucial de savoir combien de tokens on peut produire pour chaque euro dépensé ou chaque watt consommé.

Questions fréquentes

Les TPUv7 de Google sont-ils moins chers que les NVIDIA B200 et B300 ?

Selon les tests publiés par SemiAnalysis, Ironwood possède un coût par million de tokens inférieur dans plusieurs points de la courbe analysée. Cependant, cet avantage dépend de la concurrence, de la latence et de la configuration, et il n’existe pas de pourcentage unique applicable à toutes les situations.

Qu’est-ce que TorchTPU ?

TorchTPU est un nouvel environnement conçu pour faire fonctionner les TPU de Google comme des dispositifs natifs de PyTorch. Son objectif est de réduire la différence entre le développement sur GPU et TPU, tout en facilitant leur intégration avec des outils comme vLLM.

TPUv7 peut-il utiliser FP4 ?

Ironwood ne dispose pas encore de calcul FP4 natif. SemiAnalysis utilise donc FP8 pour ses comparaisons avec B200 et B300. Le TPU 8i intégrera cependant l’accélération FP4.

Quand le TPU 8i sera-t-il disponible ?

Google a annoncé le TPU 8i et détaillé son architecture, mais en date du 09/09/2026, il le présente encore comme “disponible prochainement” pour ses clients Google Cloud.

Source : newsletter.semianalysis. Image de Google.