Deux équipes de recherche, l’une sud-coréenne et l’autre japonaise, ont présenté de nouvelles approches pour intégrer la mémoire dans les accélérateurs d’intelligence artificielle. Leurs propositions, nommées V-Die et MOSAIC, repositionnent les puces mémoire DRAM de façon verticale, appuyées sur l’un de leurs bords, contrairement à leur disposition horizontale typique dans la mémoire à haute bande passante ou HBM.

Les points clés de V-Die et MOSAIC en 20 secondes

• Les deux projets placent les puces DRAM de côté pour augmenter la capacité et améliorer la dissipation thermique.
• V-Die combine des connexions inférieures avec un refroidissement liquide entre les puces.
• MOSAIC transmet des données par couplage inductif sans contact physique.
• Ces travaux sont encore en phase expérimentale et doivent prouver leur coût, leur fiabilité et leur performance en contexte industriel.

Les recherches ont été présentées en juin lors du IEEE/JSAP Symposium on VLSI Technology and Circuits 2026. Bien que issus d’équipes indépendantes utilisant des méthodes de connexion différentes, elles partagent une idée commune : l’augmentation continue de la hauteur des empilements HBM soulève des problématiques difficiles à résoudre avec l’architecture conventionnelle.

Le HBM rapproche plusieurs puces mémoire DRAM à l’unité centrale du processeur via une interface très large. Cette proximité permet de transférer rapidement d’importantes quantités de données avec une consommation d’énergie moindre par rapport à une mémoire installée en modules éloignés du GPU.

Ce système est adapté pour entraîner et exécuter des modèles d’intelligence artificielle, qui nécessitent une lecture continue de paramètres, d’activations et de données temporelles. Cependant, chaque nouvelle couche augmente la complexité, car la chaleur générée doit traverser le silicium, les matériaux d’assemblage et d’autres couches avant d’être évacuée par le système de refroidissement.

Les vias en silicium, connues sous l’acronyme TSV pour “through-silicon vias”, occupent également de l’espace dans la puce. Ces connexions métalliques traversent verticalement les couches de mémoire pour transporter données et énergie, mais réduisent la surface disponible pour les cellules DRAM. Une pile plus haute offre donc une plus grande capacité, tout en nécessitant davantage de connexions et en compliquant la gestion thermique.

V-Die élimine les connexions traversant les puces

La proposition V-Die provient d’une collaboration avec des chercheurs de l’Institut National des Sciences et Technologies d’Ulsan (UNIST), de l’Institut Avancé de Science et Technologie de la Corée (KAIST) et de l’Université Nationale de Hanbat.

Le concept consiste à faire pivoter de 90 degrés des puces DRAM fabriquées classiquement et à les déposer sur un substrat à côté du processeur. Au lieu d’utiliser des TSV, chaque puce comporte ses propres entrées et sorties au bord inférieur. Les connexions avec le substrat seraient réparties environ tous les 20 micromètres.

L’élimination des vias verticales laisse plus de surface pour stocker l’information. Cela évite également que toutes les puces dépendent d’un réseau unique de connexions traversant toute la pile. Selon le modélisme réalisé par l’équipe, cette configuration pourrait intégrer jusqu’à quatre fois plus de liens que le HBM4, tout en réduisant de 37 % le temps de lecture mémoire. Ces résultats reposent sur des simulations, non sur des mesures d’un système commercial.

Une autre différence réside dans la gestion thermique. V-Die crée des espaces entre les puces verticales pour intégrer des canaux permettant la circulation d’un liquide de refroidissement. Ce fluide passerait près des surfaces générant de la chaleur, plutôt que de dépendre uniquement de la conduction thermique à travers la structure.

Les simulations indiquent une température d’environ 45 degrés Celsius dans les conditions analysées, contre plus de 80 degrés max pour des configurations HBM densifiées. La performance dépend cependant du design du boîtier, de la consommation énergétique et du système de refroidissement, et ne peut pas être généralisée à tous les accélérateurs.

Pour une configuration de 16 puces, équivalente à du hardware basé sur NVIDIA H100 et à une charge comparable à GPT-3, V-Die a atteint 540 tokens par seconde, contre 296 tokens/sec pour la configuration HBM4 de référence, avec la même capacité mémoire.

Le délai pour obtenir le premier token a été réduit de 32 %, soit environ 24 millisecondes dans le scénario testé. Cela suggère qu’une interface plus large pourrait accélérer l’inférence mais doit encore être validé par un prototype physique. Les chercheurs travaillent actuellement sur un tel dispositif pour analyser ses caractéristiques électriques et thermiques.

MOSAIC utilise des connexions sans contact à l’échelle microscopique

Le projet japonais MOSAIC, développé par l’Université de Tokyo en collaboration avec l’Université de Tohoku et l’institut RIKEN, aborde une problématique différente.

Lorsque plusieurs puces sont positionnées de côté, une petite variation d’épaisseur peut décaler les points de connexion. Une erreur de quelques micromètres à chaque pièce s’accumule, risquant d’empêcher l’alignement correct des pads de signal avec les contacts du substrat.

MOSAIC contourne en partie cette difficulté via un couplage inductif. Le système utilise de petites bobines face-à-face pour transmettre des données à travers un espace microscopique, sans union métallique directe pour chaque signal. Le courant circulant dans une bobine crée un champ qui induit le signal correspondant dans l’autre.

Ce type de connexion tolère mieux les décalages, car les bobines n’ont pas besoin d’être parfaitement superposées, contrairement à un contact physique. L’alimentation électrique, quant à elle, utilisera des connexions classiques, moins nombreuses et plus grosses, situées sur les côtés de la structure.

Le prototype présenté lors du symposium a atteint 4 gigabits par seconde par canal. Les chercheurs estiment qu’une mémoire montée directement sur une GPU pourrait doubler la capacité d’un système similaire basé sur HBM4 sans recourir aux TSV. Cette innovation a été sélectionnée comme candidate au prix du meilleur article étudiant du congrès.

Une configuration envisagée par l’équipe réunirait 98 puces, offrant 294 Go de mémoire. La disposition verticale expose une large surface en silicium, facilitant la dissipation thermique, bien que MOSAIC ne comporte pas de canaux de liquide comme V-Die.

Le groupe a également conçu une variante avec de microconnexions physiques : ce prototype a obtenu une précision d’alignement inférieure à six micromètres, avec une conductivité thermique jusqu’à trois fois supérieure à une pile conventionnelle, et des augmentations de capacité pouvant atteindre 30 %. Ces résultats correspondent à une autre démonstration d’une interface inductive, distincte de celle présentée lors du symposium VLSI, et ne doivent pas être confondus comme issus d’un seul prototype.

Deux solutions prometteuses, mais encore éloignées du marché

V-Die et MOSAIC abordent la limite de la densité mémoire sous des angles différents. La solution coréenne mise sur le débit, la densité de connexions et le refroidissement liquide. La solution japonaise tente de surmonter la difficulté d’aligner parfaitement un grand nombre de puces verticales, sans exiger une précision extrême pour les contacts.

Aucune des deux n’est encore prête à remplacer la HBM commerciale : V-Die demeure à un stade de simulation, nécessitant une validation réelle des canaux de refroidissement, des connexions inférieures et du parcours des signaux. MOSAIC possède un matériel expérimental, mais doit encore démontrer que la connexion inductive peut évoluer à des milliers de canaux sans occuper tout l’espace ou consommer trop d’énergie. Par ailleurs, la fabrication à grande échelle, la réduction des coûts, la réparation des liens défectueux et la fiabilité à long terme restent à prouver.

L’industrie de la mémoire continue à faire progresser la structure HBM classique, avec plus de couches, de nouveaux puces et des améliorations dans les matériaux. Toutefois, ces développements académiques montrent que l’augmentation de la hauteur ne représente pas la seule voie pour améliorer capacité et bande passante.

L’approche latérale offre une surface accrue pour la dissipation thermique et invite à repenser la façon dont la mémoire et le processeur se connectent. L’avenir dépendra moins des résultats en simulation que de la capacité à fabriquer des millions d’unités à un coût raisonnable et avec des hautes performances.

Questions fréquemment posées

Quelle est la différence entre V-Die et la mémoire HBM ?

La HBM superpose horizontalement plusieurs puces DRAM en utilisant des vias traversant le silicium, tandis que V-Die positionne les puces de côté, élimine ces vias et intègre des connexions inférieures ainsi que des canaux de refroidissement liquide.

Qu’est-ce que MOSAIC en mémoire pour intelligence artificielle ?

MOSAIC est une architecture qui assemble des puces DRAM perpendiculaires à la GPU. Son interface expérimentale utilise de petites bobines pour transmettre des données par couplage inductif sans contact métallique direct.

V-Die atteint-il réellement 540 tokens par seconde ?

Ce chiffre provient d’une simulation avec 16 puces, comparable à un hardware H100, avec une charge semblable à GPT-3. Il reste encore à le valider sur un accélérateur ou un prototype commercial complet.

Quand ces mémoires pourraient-elles arriver sur le marché ?

Aucune date commerciale n’a encore été annoncée. Ces technologies doivent d’abord surpasser des tests de fabrication, de coût, d’énergie, de performance, de refroidissement et de fiabilité avant de rivaliser avec la HBM.