d-Matrix a présenté lors de Hot Chips 2026 de nouveaux détails concernant Raptor, sa prochaine génération d’accélérateurs pour l’inférence en intelligence artificielle, basée sur une architecture peu conventionnelle : intégrer la puce de calcul directement sur une DRAM conçue sur mesure. Le résultat promis est jusqu’à 100 To/s de bande passante par carte avec 32 Go de mémoire, une valeur qui vise à repousser l’un des principaux obstacles actuels de l’inférence générative : déplacer les données vers les unités de calcul à une vitesse suffisante, sans augmenter la consommation énergétique.

Les clés de Raptor et sa mémoire 3D en 30 secondes

• Raptor superpose un dies de calcul en 4 nm sur une DRAM via une liaison face-à-face avec des connexions de 36 micromètres.
• L’architecture atteint jusqu’à 100 To/s de bande passante par carte avec 32 Go.
• d-Matrix mesure une consommation de 0,37 pJ/bit sur l’interface verticale.
• Une étude présentée à ISCA calcule un débit jusqu’à 4,71 fois supérieur à celui d’une version basée sur HBM.
• Le design est spécifiquement pensé pour l’inférence générative, et non pour remplacer globalement les GPU d’entraînement.

La proposition est importante car une grande partie du débat autour des accélérateurs IA s’est concentrée ces dernières années sur l’augmentation de la capacité et de la vitesse de la mémoire HBM (High Bandwidth Memory). d-Matrix propose une solution différente : rapprocher encore davantage la mémoire du calcul, en faisant quasi-système unique en une structure tridimensionnelle.

La société avait déjà montré sa technologie 3DIMC en 2025 via le chip expérimental Pavehawk. Raptor sera la première implémentation commerciale de cette architecture, succédant à Corsair, l’accélérateur d’inférence que d-Matrix produit actuellement.

Le problème que Raptor tente de résoudre n’est pas seulement de calculer plus vite

La génération token par token d’un modèle de langage présente une caractéristique gênante pour les concepteurs de matériel.

Pendant une grande partie de la phase de décodage, les unités mathématiques de l’accélérateur disposent de capacités de calcul suffisantes, mais nécessitent en permanence l’arrivée de poids, caches et autres données depuis la mémoire.

Le goulet d’étranglement se déplace alors du traitement arithmétique vers la bande passante mémoire.

L’article académique Early Silicon of Raptor: The First 3D-DRAM Accelerator for Generative Inference, présenté au Symposium International sur l’Architecture Informatique (ISCA) 2026, décrit précisément l’inférence générative comme une charge principalement limitée par la mémoire.

La SRAM offre un débit énorme, mais intégrer de grandes capacités en surface de silicium est extrêmement coûteux. La HBM augmente considérablement la capacité tout en maintenant un débit élevé, mais nécessite toujours de transporter des informations entre puces séparées via l’encapsulation.

Raptor cherche à réduire encore davantage cette distance.

Son die de calcul est placé directement sur un die DRAM spécifiquement développé pour cet accélérateur. Les deux sont unis face-à-face par des connexions de 36 micromètres, créant une interface verticale de très haute densité.

La différence physique peut sembler mineure, mais déplacer un bit sur quelques micromètres consomme bien moins d’énergie que de le faire sur des liens plus longs.

Selon Sudeep Bhoja, cofondateur et directeur technique de d-Matrix, le silicium testé par la société a mesuré environ 0,37 pJ/bit pour ce mouvement vertical.

d-Matrix avait précédemment communiqué des valeurs proches de 0,4 pJ/bit lors des tests Pavehawk, ce qui montre une évolution cohérente avec les avancées annoncées.

100 To/s avec seulement 32 Go : une décision délibérée

La caractéristique la plus remarquée est la bande passante.

Chaque carte Raptor dispose de 32 Go de mémoire et peut atteindre jusqu’à 100 To/s.

Ce chiffre dépasse largement la bande passante actuelle de la mémoire HBM, mais une nuance importante : Raptor ne cherche pas à rivaliser avec une capacité mémoire énorme par carte.

Son pari est autre.

Caractéristique	Raptor 3D-DRAM	Design typique avec HBM
Intégration mémoire-calcul	DRAM empilée directement sur la logique	HBM placée à côté de l’accélérateur
Capacité par carte	32 Go	Peut être considérablement plus grande
Bande passante	Jusqu’à 100 To/s	Plusieurs To/s selon l’implémentation
Distance pour le déplacement des données	Très réduite via interface verticale	Plus grande, par encapsulation
Objectif principal	Inférence à faible latence
Capacité et bande passante élevées

Comparer uniquement ces 100 To/s avec une GPU HBM peut aboutir à une conclusion erronée.

Raptor est conçu pour un pattern de travail spécifique. Il ne vise pas à offrir un accélérateur généraliste capable d’accueillir tous les modèles et d’exécuter n’importe quelle opération IA comme une GPU classique.

d-Matrix construit son architecture autour de l’inférence générative avec de petits lots, faible latence et nombre élevé d’utilisateurs simultanés.

La capacité limitée de 32 Go oblige également à répartir de grands modèles sur plusieurs cartes.

C’est là que le logiciel, l’organisation mémoire et le réseau interne jouent un rôle crucial.

Le contexte derrière le ratio de 4,71 fois plus de performance

L’article académique associé à Raptor compare l’architecture 3D-DRAM à des versions hypothétiques utilisant HBM et SRAM.

Les chercheurs ont évalué des modèles tels que Llama 3.1 70B, DeepSeek-V3, Kimi K2, GPT-OSS, Whisper et Canary.

Selon les résultats, la configuration 3D-DRAM fournit 4,71 fois plus de débit que la variante HBM et 2,44 fois plus que SRAM.

Ce chiffre est impressionnant, mais ne signifie pas que Raptor exécutera n’importe quel modèle 4,7 fois plus vite qu’une GPU HBM commerciale.

La comparaison vise à isoler l’effet de l’architecture mémoire en maintenant d’autres éléments du design dans des conditions similaires. Il s’agit d’une étude académique, et non d’un benchmark indépendant contre des produits commerciaux comme ceux de NVIDIA, AMD ou autres fabricants.

De plus, certains résultats proviennent de modélisation architecturale et de mesures initiales de silicium.

Le vrai intérêt réside précisément dans cela : Raptor n’est plus une simple simulation. La société a fabriqué et mesuré des puces qui permettent de vérifier des paramètres fondamentaux tels que la consommation, le comportement thermique et la fiabilité de l’interface 3D.

Déplacer des données coûte de plus en plus d’énergie

Un des points forts de cette architecture réside dans sa consommation énergétique.

La puissance d’un accélérateur ne se limite pas aux multiplications matricielles.

Il faut aussi transporter les données.

d-Matrix compare environ 0,37 pJ/bit pour l’interface verticale à environ 2,4 pJ/bit pour déplacer l’information vers la puce de base dans une mise en œuvre HBM4.

Ce n’est pas directement comparable pour le coût total en énergie, car les chemins, interfaces et fonctions diffèrent.

Mais cela illustre le principe physique poursuivi : plus la distance entre mémoire et calcul est courte, moins d’énergie est nécessaire pour déplacer chaque bit.

Dans une inférence nécessitant la lecture répétée de volumes importants de données, cette différence peut devenir rapidement critique.

d-Matrix affirme que son approche permet de réduire à la fois la consommation d’énergie et la latence par rapport à des architectures où mémoire et calcul sont plus séparés. La société avait déjà utilisé Pavehawk pour valider cette hypothèse avant de la transférer à Raptor.

Une DRAM conçue spécifiquement pour fonctionner sous l’accélérateur

L’autre particularité de Raptor est que d-Matrix ne place pas simplement un chip de mémoire commerciale sous son processeur.

La die de DRAM est conçu spécifiquement pour cette architecture.

La société n’a pas communiqué publiquement le fabricant de cette mémoire, du moins dans les informations techniques diffusées lors de Hot Chips.

Elle a toutefois confirmé que le die de calcul utilise un processus TSMC de 4 nm.

Cette intégration soulève des enjeux que n’a pas un système classique avec HBM.

Le premier concerne la température.

Placer la logique directement sur la DRAM signifie qu’elle peut fonctionner à des températures plus élevées. Cela affecte la durée de conservation des données et oblige à adapter les politiques de rafraîchissement.

L’article académique décrit des mécanismes de rafraîchissement conscient de la température, de redondance et de correction d’erreurs (ECC) pour assurer la fiabilité.

Un autre enjeu est le nombre élevé de banques mémoire pouvant fonctionner simultanément.

Raptor utilise une technique appelée stream-blocking pour répartir les flux, y compris la cache KV des modèles génératifs, entre des canaux configurables de la 3D-DRAM, afin de maintenir le parallélisme.

Il intègre aussi une variante de Data Bus Inversion adaptée à l’interface verticale pour réduire les transitions électriques et la consommation.

Ce sont des détails moins visibles que les 100 To/s, mais essentiels pour que la technologie fonctionne dans des environnements réels.

La cache KV s’intègre particulièrement bien à cette conception

La mémoire est devenue un problème majeur à mesure que les contextes des modèles s’étendent.

Lors de l’inférence, un modèle maintient une cache KV avec les informations générées lors du traitement des tokens précédents.

Plus le contexte et le nombre d’utilisateurs simultanés augmentent, plus cette structure consomme de mémoire.

Mais elle doit aussi y accéder rapidement.

Raptor est conçu en tenant compte de ces flux. L’article d’ISCA explique comment la cache KV peut se répartir sur les canaux mémoire sans perte de parallélisme entre banques.

L’architecture vise ainsi à concilier deux objectifs souvent conflictuels : disposer d’une quantité raisonnable de DRAM tout en la plaçant suffisamment près du calcul pour qu’elle fonctionne avec un débit comparable à celui de la SRAM.

Cette approche permet à d-Matrix de parler d’une capacité comparable à la DRAM, avec une localité et une bande passante proches de la SRAM.

Raptor nécessite toujours un réseau quand le modèle dépasse une carte

Les 32 Go par carte posent une question essentielle.

Des modèles comme Llama 3.1 70B, DeepSeek-V3 ou Kimi K2 peuvent nécessiter beaucoup plus de mémoire, même après diverses techniques de quantification.

Raptor doit répartir ces modèles entre plusieurs accélérateurs.

Cela signifie que la performance du système total dépend aussi de la façon dont ces cartes communiquent.

L’étude indique que l’architecture 3D-DRAM est moins sensible à la latence et au débit réseau que ses alternatives. Une partie de l’explication réside dans le large débit interne : les opérations locales peuvent s’achever très rapidement, et le design cherche à réduire les mouvements externes inutiles.

Mais le réseau n’est pas abandonné.

Dans des déploiements avec des modèles volumineux, il reste nécessaire de coordonner les accélérateurs, transporter les activations, et répartir le travail.

d-Matrix travaille depuis plusieurs années à une plateforme basée sur des chiplets et des interconnexions à haute vitesse. Son architecture Corsair utilise justement un design modulaire pour étendre la capacité au-delà d’un seul chip.

RISC-V sera aussi intégré à Raptor

Raptor intégrera également des cœurs basés sur RISC-V.

En novembre 2025, d-Matrix avait annoncé avoir sélectionné AndesCore AX46MPV de Andes Technology comme CPU d’orchestration et pour le calcul vectoriel dans sa prochaine architecture.

Ces cœurs géreront la distribution des charges, la coordination mémoire, et le contrôle du runtime, tout en déléguant certaines opérations comme les fonctions d’activation.

L’utilisation de RISC-V est secondaire par rapport à l’innovation mémoire, mais elle montre à quel point Raptor s’éloigne d’un GPU classique.

Le système combine logique d’inférence propre, DRAM 3D, cœurs RISC-V et une architecture de chiplets conçue dès le départ autour du déplacement de données.

Cela explique aussi pourquoi il ne faut pas le considérer simplement comme une « GPU plus rapide ».

Le combat de l’inférence se déplace vers la mémoire

Raptor arrive à un moment où l’industrie expérimente plusieurs réponses au même problème.

HBM continue d’évoluer vers la génération HBM4 et au-delà.

High Bandwidth Flash envisage d’ajouter une couche de capacité énorme entre HBM et SSD pour certaines charges.

Les fabricants de CPU intègrent aussi des extensions matricielles.

Et des entreprises comme d-Matrix tentent d’approcher physiquement calcul et mémoire pour réduire au minimum le coût du transfert d’informations.

Ces stratégies peuvent coexister puisqu’elles répondent à des problèmes différents.

Pour entraîner des modèles géants, les GPU et accélérateurs avec beaucoup de HBM offrent encore une combinaison difficile à surpasser : capacité, bande passante, interconnexion et logiciel.

Pour l’inférence interactive, où produire chaque token rapidement pour des millions d’utilisateurs peut être plus critique que d’avoir une puissance en FP4 théorique énorme, l’équilibre change.

C’est là que d-Matrix veut positionner Raptor.

La société devra encore prouver sur des systèmes commerciaux que ses résultats initiaux et ses modèles de performance sont maintenus à l’échelle, dans des applications réelles et en concurrence avec les futures générations de GPU.

Mais le travail présenté à ISCA et Hot Chips envoie un signal fort : l’amélioration des performances IA ne dépend plus uniquement de la fabrication d’unités mathématiques plus rapides.

Chaque fois plus, ce qui coûte à transporter les données devient déterminant.

Raptor pousse cette idée à l’extrême : placer la mémoire juste sous le calcul, en la connectant par des milliers de liens microscopiques.

Si cette architecture parvient à transférer ses 100 To/s du domaine de la démonstration technique à des serveurs compétitifs commercialement, d-Matrix aura transformé un des plus grands défis de l’inférence générative — la distance entre mémoire et calcul — en une caractéristique centrale de son accélérateur.

Questions fréquentes

Qu’est-ce que Raptor de d-Matrix ?

Raptor représente la prochaine génération d’accélérateurs de d-Matrix pour l’inférence en IA. Il adopte une architecture 3DIMC qui superpose directement la logique de calcul et la DRAM pour réduire la latence et la consommation d’énergie liée au déplacement des données.

Quelle bande passante offre Raptor ?

L’architecture présentée par d-Matrix atteint jusqu’à 100 To/s de bande passante par carte, avec 32 Go de mémoire 3D-DRAM.

Raptor est-il plus rapide qu’un GPU avec HBM ?

L’étude présentée à ISCA estime un débit 4,71 fois supérieur à celui d’une variante basée sur HBM pour les charges évaluées. Ce chiffre ne doit pas être interprété comme une avance universelle sur tous les GPU commerciaux, mais dépend de l’architecture et des scénarios analysés.

Quel procédé de fabrication utilise Raptor ?

d-Matrix indique que le die de calcul utilise un procédé TSMC 4 nm. La société n’a pas communiqué publiquement le fabricant de la DRAM intégrée, du moins dans l’information technique diffusée lors de Hot Chips.