La course à l’accélération de l’intelligence artificielle ne dépend plus uniquement de la fabrication de GPU plus puissants. d-Matrix a détaillé Raptor, sa prochaine architecture pour l’inférence, qui utilisera de la mémoire DRAM empilée directement avec la logique pour atteindre jusqu’à 100 TB/s de bande passante avec 32 Go de capacité, selon les spécifications présentées par l’entreprise. La proposition vise à réduire l’un des coûts majeurs des modèles actuels : déplacer continuellement d’énormes quantités de données entre mémoire et unités de calcul.

Les clés de Raptor et la mémoire 3D DRAM en 20 secondes

• d-Matrix propose 32 Go de 3D DRAM et environ 100 TB/s de bande passante.
• L’entreprise mesure une consommation de transfert proche de 0,37 pJ/bit avec sa technologie.
• La logique est placée directement sur la DRAM via une intégration 3D.
• L’objectif est de se rapprocher de la bande passante de la SRAM tout en offrant beaucoup plus de capacité.
• Raptor est conçue spécifiquement pour l’inférence de modèles d’IA.

Cette technologie n’apparaît pas de nulle part. d-Matrix a présenté son concept 3DIMC en 2025, puis a fabriqué Pavehawk, une puce expérimentale avec laquelle elle affirme avoir validé le fonctionnement de la mémoire DRAM empilée, en respectant ses objectifs de consommation et de performance. Raptor sera le produit commercial destiné à amener cette architecture au centre de données.

La démarche est particulièrement intéressante car elle aborde un problème qui croît en même temps que les modèles : les accélérateurs doivent stocker des poids de plus en plus grands et maintenir des caches KV (Key-Value) qui s’allongent avec la contexte et le nombre d’utilisateurs simultanés.

Une diapositive présentée par d-Matrix illustre ce problème avec Kimi K3. En supposant des poids de 8 bits, l’entreprise calcule une taille d’environ 2 800 Go pour le modèle. Pour le cache KV, un contexte d’un million de tokens représente 14,6 Go pour un utilisateur ; avec 64 utilisateurs simultanés, la capacité dépasserait les 935 Go.

Le message est clair : la mémoire devient l’une des principales contraintes physiques de l’inférence d’IA.

Entre la SRAM et la HBM, une troisième option apparaît

Les architectures actuelles doivent faire face à un compromis difficile.

La SRAM est extrêmement rapide et peut être intégrée très près des unités de calcul. Par exemple, l’accélérateur Corsair de d-Matrix utilise une architecture basée sur la SRAM pour obtenir une faible latence lors de l’inférence.

L’entreprise situe la bande passante d’un couple de cartes Corsair autour de 300 TB/s, avec une latence d’environ 1 nanoseconde.

Le problème réside dans la capacité.

Une cellule SRAM classique 6T occupe beaucoup plus d’espace qu’une cellule DRAM, et sa densité est insuffisante pour stocker les énormes modèles qui apparaissent. d-Matrix estime que la limite pratique de sa solution SRAM est d’environ 4 Go par paire de cartes.

La mémoire HBM (High Bandwidth Memory) résout partiellement ce problème.

En empilant plusieurs puces DRAM reliées par des interposers, les fabricants peuvent offrir des centaines de gigaoctets avec une GPU ou des accélérateurs. NVIDIA, AMD, et presque tout le secteur de l’accélération IA dépendent actuellement de cette architecture.

Mais la HBM a aussi ses limites physiques.

Le nombre de piles pouvant être placées autour du processeur est limité par l’espace disponible dans le boîtier, et augmenter la bande passante implique de multiplier le nombre et la vitesse des connexions.

d-Matrix estime que les configurations basées sur HBM4 atteindront environ 20 TB/s dans les systèmes de prochaine génération, ce qui reste bien sous le bande passante que peut fournir la SRAM.

Sa solution consiste à changer la géométrie du problème.

Au lieu de placer la mémoire autour du processeur, Raptor place la logique directement sur la DRAM.

100 TB/s sans recourir à une interface HBM traditionnelle

L’architecture 3DIMC (3D In-Memory Compute) utilise des connexions verticales extrêmement courtes entre mémoire et calcul.

d-Matrix explique que cela permet d’éliminer une grande partie des interfaces physiques nécessaires lorsque les données doivent circuler entre puces séparées.

Sa documentation antérieure évoquait environ 20 TB/s par empilement, soit près de dix fois le bande passante par pile que la référence HBM4 de l’entreprise, avec une consommation d’environ 0,3 à 0,4 pJ/bit.

Raptor élargit cette perspective.

La configuration présentée combine un dies logique fabriqué avec le procédé N4 de TSMC et une DRAM sur mesure, reliés par une liaison face-à-face avec un pas d’environ 36 microns.

L’entreprise prévoit une configuration de 32 Go capable de fournir environ 100 TB/s de bande passante.

La consommation énergétique annoncée est également remarquable : 0,37 picojoules par bit.

Pour comparaison, d-Matrix cite une configuration HBM4 d’environ 192 Go et 18-20 TB/s, consommatrice de plusieurs picojoules par bit.

Il faut cependant rester prudent. Ce sont des architectures différentes, avec des capacités différentes, et des métriques présentées par le constructeur lui-même. De plus, Raptor est encore en développement et aucune plateforme commerciale n’a été déployée pour valider ces chiffres dans des applications indépendantes.

d-Matrix dispose déjà de silicium expérimental. La société affirme que Pavehawk a validé sa technologie 3D DRAM, et que ses essais sous différentes tensions et températures ont enregistré environ 0,4 pJ/bit, même dans les scénarios les plus défavorables.

L’économie majeure vient de la réduction des déplacements des données

La consommation énergétique liée à la mémoire devient une contrainte majeure pour les centres de données IA.

Il ne suffit pas de mesurer l’énergie nécessaire pour une multiplication matricielle. Il faut également considérer l’énergie pour rechercher les données en mémoire, les transporter jusqu’au processeur, puis restituer les résultats.

Plus la mémoire et le calcul sont séparés physiquement, plus ce coût est élevé en général.

d-Matrix estime qu’une architecture HBM hypothétique capable d’atteindre 100 TB/s avec une consommation de 2,4 pJ/bit nécessiterait près de 1,92 kW simplement pour déplacer les données depuis la mémoire.

L’architecture 3D réduit radicalement cette distance.

Les banques de DRAM peuvent être connectées directement aux moteur tensoriaux situés au-dessus. Raptor intègre 256 moteurs tensoriaux par chiplet, selon les informations techniques.

L’entreprise cherche également à aligner physiquement les banques de mémoire avec ces moteurs afin de réduire encore davantage les déplacements internes.

Ce concept explique pourquoi d-Matrix parle de calcul centré sur la mémoire. L’objectif n’est pas simplement de fabriquer une DRAM plus rapide, mais de repenser l’ensemble mémoire, calcul et connexions.

Le empilement 3D pose aussi de nouveaux défis

Superposer logique et mémoire élimine certaines limitations, mais en introduit d’autres.

L’un des principaux est la température.

Les circuits de calcul génèrent beaucoup plus de chaleur qu’une mémoire DRAM classique. Si le processeur était placé en dessous, cette chaleur devrait traverser les couches de mémoire avant de parvenir au système de refroidissement.

d-Matrix a choisi de placer la logique en haut, facilitant le contact avec une plaque froide.

Cependant, la DRAM doit fonctionner à des températures plus élevées que d’habitude. L’architecture est conçue pour supporter une température de jonction d’environ 105 °C.

Cela oblige à modifier le rafraîchissement de la mémoire.

La DRAM de Raptor effectue des cycles de rafraîchissement environ tous les 4 millisecondes, soit environ huit fois plus fréquemment, selon la présentation technique. La société estime que ce mécanisme consomme environ 1,37 % du bande passante disponible.

Il existe aussi un enjeu de fabrication.

Une architecture 3D n’est économiquement viable que si les défauts en mémoire ne forcent pas à jeter des ensembles entiers. d-Matrix introduit des banques de réserve et des mécanismes de correction d’erreurs pour augmenter la tolérance aux défauts.

Parmi ceux-ci figure un schéma Reed-Solomon T=2 avec CRC, conçu pour corriger les erreurs à l’intérieur des blocs transférés.

Raptor est conçue pour la phase d’inférence

d-Matrix ne cherche pas à concurrencer frontalement les GPU pour toutes les charges.

Son architecture est spécialement conçue pour l’inférence générative à faible latence, un scénario dans lequel la relation entre capacité de calcul et bande passante mémoire diffère de celle de l’entraînement.

La phase de génération de tokens peut être fortement limitée par la mémoire. Les poids du modèle doivent être lus à plusieurs reprises pendant que la cache KV associée au contexte de chaque utilisateur croît.

Plus le modèle est grand, plus le contexte long et plus le nombre d’utilisateurs simultanés augmentent, plus la pression sur le sous-système mémoire est forte.

C’est pourquoi d-Matrix développe aussi des architectures hétérogènes où GPU et accélérateurs spécialisés prennent en charge différentes parties du processus. L’entreprise affirme que combiner Corsair avec des GPU dans des pipelines décomposés peut considérablement améliorer la performance de certaines tâches d’inférence, même si ces chiffres varient selon le modèle et la configuration.

Raptor sera la prochaine étape.

L’entreprise développe l’accélérateur avec des partenaires comme Alchip, tandis qu’Andes Technology fournit des cœurs RISC-V AX46MPV pour la gestion et le calcul vectoriel. d-Matrix avait déjà confirmé que Raptor sera son premier produit commercial basé sur 3DIMC.

La question aujourd’hui est de savoir dans quelle mesure ce qui a été démontré en silicium expérimental pourra être répliqué en production.

Atteindre 100 TB/s avec 32 Go de mémoire et environ 0,37 pJ/bit représenterait une combinaison peu courante de bande passante et d’efficacité. Mais Raptor devra aussi faire ses preuves en termes de performance durable, fiabilité, coût de fabrication, rendement des puces par wafer, et capacité de production à grande échelle.

L’industrie cherche précisément des solutions à ce problème. La prochaine génération d’infrastructures IA ne se contentera pas de plus de FLOPS. Elle devra alimenter ces FLOPS avec des quantités croissantes de données, sans transformer la mémoire en goulet d’étranglement énergétique et systémique.

Questions fréquentes

Qu’est-ce que la mémoire 3D DRAM de d-Matrix ?

C’est une architecture qui empile physiquement la logique et la mémoire DRAM pour créer des connexions verticales très courtes. d-Matrix appelle sa technologie 3DIMC et prévoit de l’utiliser commercialement dans son accélérateur Raptor.

Quel bande passante promet Raptor ?

La configuration présentée par d-Matrix vise environ 100 TB/s avec 32 Go de mémoire 3D DRAM. Ce sont des spécifications du fabricant pour une architecture encore en développement.

La 3D DRAM remplacera-t-elle la HBM ?

Pas nécessairement. La HBM offre une capacité très élevée et bénéficie d’un écosystème industriel étendu. d-Matrix présente sa 3D DRAM comme une alternative particulièrement adaptée aux charges d’inférence où la bande passante et la consommation d’énergie liées au mouvement des données ont une importance cruciale.

Quelle consommation énergétique pour la mémoire Raptor ?

d-Matrix avance une valeur d’environ 0,37 pJ/bit, contre des essais antérieurs avec Pavehawk validant des valeurs proches de 0,4 pJ/bit. La performance réelle de la plateforme commerciale devra être vérifiée lorsque Raptor sera opérationnel.

Source : wccftech