AMD a quantifié le potentiel d’une des technologies qui pourrait révolutionner la mémoire des futurs accélérateurs d’intelligence artificielle. La société estime qu’une architecture DRAM 3D connectée par hybrid bonding pourrait être jusqu’à 17 fois plus efficace énergétiquement qu’une pile HBM basée sur des micro-bumps. Cette approche s’avère séduisante pour les systèmes où le déplacement des données consomme de plus en plus d’énergie, bien que d’importants défis thermiques, de fabrication et de fiabilité empêchent encore de parler d’une substitution imminente du HBM.
Les clés de la DRAM 3D en 20 secondes
- AMD estime une efficacité énergétique jusqu’à 17 fois supérieure par rapport au HBM avec micro-bumps.
- La proposition rapproche physiquement la DRAM du processeur via des connexions en cuivre beaucoup plus denses.
- Le hybrid bonding réduit la distance et l’énergie nécessaire pour transférer chaque bit.
- Les défis liés à la température, au rendement de fabrication et à la contamination restent de grands obstacles.
- Le HBM continuera de jouer un rôle essentiel dans les prochaines générations d’accélérateurs d’IA.
Ce chiffre doit également être considéré avec prudence. AMD n’a pas annoncé de produit commercial utilisant cette mémoire DRAM 3D ni fixé de date de lancement. Il s’agit d’une estimation des possibilités offertes par une architecture basée sur une union hybride, et non d’un produit commercial déjà existant consommant 17 fois moins d’énergie que le HBM.
La stratégie actuelle d’AMD montre que le HBM n’est pas près de devenir obsolète. L’architecture CDNA 5 intègre 432 Go de HBM4 répartis en 12 piles, offrant un débit de 23,3 To/s. En mars, AMD a également annoncé une collaboration avec Samsung pour la fourniture de HBM4 destinée à ses accélérateurs Instinct MI455X.
La question suivante concerne ce qui se passe lorsque la capacité, la bande passante et le nombre de piles HBM atteignent leurs limites physiques et énergétiques.
Passer de placer la mémoire à côté du processeur à l’intégrer au-dessus ou en dessous
Le HBM utilise déjà une architecture tridimensionnelle. Plusieurs couches de DRAM sont empilées verticalement et communiquent via des voies à travers le silicium, appelées TSV (Through-Silicon Vias). Ensuite, les piles sont placées à proximité du processeur dans un encapsulage avancé.
L’avantage par rapport à la DDR conventionnelle est considérable. Par exemple, AMD attribue à ses Versal HBM avec HBM2e un débit jusqu’à six fois supérieur et une consommation par bit inférieure de 65 % par rapport à certaines configurations de Versal Premium avec mémoire externe.
La DRAM 3D va encore plus loin dans cette proximité.
Au lieu de maintenir la mémoire empilée à côté du processeur, pour communiquer avec lui via l’encapsulage, l’idée consiste à intégrer logique et mémoire verticalement, en réduisant considérablement la distance physique que doivent parcourir les données.
C’est là qu’intervient le hybrid bonding ou union hybride.
Les générations actuelles de HBM utilisent principalement de petites connexions physiques, appelées micro-bumps. Bien qu’elles fonctionnent, elles imposent des limites sur la distance minimale entre connexions, la densité d’interconnexion et l’efficacité énergétique.
Le hybrid bonding élimine ces points de soudure minuscules et établit des connexions directes cuivre sur cuivre entre les surfaces des puces.
Cela permet une densité de connexions extrêmement élevée. En disposant des milliers, voire des millions, de liens très courts, chacun peut fonctionner à une vitesse modérée tout en fournissant un débit global énorme.
Ce qui réduit aussi l’énergie nécessaire pour déplacer chaque bit.
Et cette variable devient aussi cruciale que la capacité de calcul.
Les accélérateurs d’IA peuvent réaliser des milliards d’opérations par seconde, mais ils doivent alimenter en permanence leurs unités de calcul avec des poids, des activations et d’autres données. Si le déplacement de ces informations entre mémoire et processeur consomme trop d’électricité, il ne suffit plus d’améliorer uniquement les unités de calcul.
L’exemple de d-Matrix montre la voie que pourrait emprunter la mémoire
Cette idée commence déjà à sortir des laboratoires.
d-Matrix a récemment présenté Raptor, un accélérateur destiné à l’inférence en IA qui combine une puce de calcul fabriquée en nanomètres 4 avec une DRAM conçue spécifiquement pour le système.
Les deux composants sont reliés verticalement.
La société a mesuré environ 0,37 picojoules par bit sur leur interface verticale, contre environ 2,4 pJ/bit pour le transfert d’information vers la base die du HBM4.
Selon leurs données, le système atteint 100 To/s de bande passante avec 32 Go de mémoire par carte. Ces chiffres, fournis par le fabricant, illustrent une architecture différente de la proposition théorique d’AMD, et ne doivent pas être confondus avec la réduction de 17 fois évoquée plus haut. Toutefois, ils montrent pourquoi l’intégration verticale suscite autant d’intérêt.
Samsung explore également une évolution similaire. Lors de Hot Chips 2026, la société a présenté une stratégie où les futures générations intégreraient de plus en plus de logique au sein du sous-système de mémoire, voire, à terme, placeraient la DRAM directement sur le processeur.
Elle reconnaît cependant le problème immédiat : la chaleur.
La chaleur est justement le principal frein à cette architecture
Placer la mémoire au-dessus d’un processeur paraît simple en théorie, mais un accélérateur d’IA peut dissiper des centaines de watts.
La DRAM est sensible à la température. Ses cellules stockent l’information grâce à de petites charges électriques qui doivent être rafraîchies périodiquement. Lorsqu’elle chauffe, la rétention de ces charges peut se dégrader, augmentant les besoins de rafraîchissement.
Il existe aussi un second problème thermique durant la fabrication elle-même.
Le hybrid bonding exige des surfaces extrêmement planes et propres. Après le contact initial entre matériaux, des processus thermiques sont utilisés pour obtenir une union fiable entre les connexions en cuivre.
Ces températures peuvent altérer les caractéristiques de la DRAM.
Résoudre ce problème nécessite de trouver des procédés de liaison compatibles avec des budgets thermiques adaptés à la mémoire, tout en produisant des connexions durables tout au long de la durée de vie du dispositif.
Il faut aussi envisager comment extraire la chaleur de l’ensemble.
Une solution consiste à inverser l’architecture : plutôt que la mémoire soit placée au-dessus de la logique qui génère le plus de chaleur, on peut concevoir des configurations où la DRAM se trouve en dessous du processeur ou où le flux thermique bénéficie d’un chemin plus direct vers le système de refroidissement.
Il n’existe pas de solution universelle en raison de la complexité impliquée dans la gestion de la densité de puissance, du nombre de couches, des matériaux, du refroidissement et du design de l’encapsulage.
Une microparticule peut rendre la puce inutilisable
L’autre défi, moins visible, est tout aussi crucial d’un point de vue économique.
Le hybrid bonding requiert une planéité et une propreté extrêmes.
Les surfaces doivent être alignées avec une précision remarquable pour que les connexions en cuivre correspondent. Une contamination de seulement quelques nanomètres peut empêcher une jonction correcte.
Ce problème devient encore plus critique lorsque des millions de composants sont produits.
Une technologie peut fonctionner parfaitement en laboratoire mais devenir économiquement inviable si le pourcentage de chips défectueux est trop élevé. Plus il y a de couches et plus les connexions sont complexes, plus la performance de fabrication ou yield devient déterminante.
L’industrie travaille depuis des années sur le hybrid bonding pour différentes applications. Des usages commerciaux existent déjà, mais l’intégration dans des structures complexes avec plusieurs couches de DRAM pose de nouveaux défis en termes de rendement, coût, inspection, fiabilité et dissipation thermique.
Par conséquent, il est encore prématuré de présenter la DRAM 3D comme une solution de remplacement immédiate du HBM.
Le HBM conserve encore beaucoup de potentiel
La recherche d’alternatives ne signifie pas que le HBM est en voie de disparition.
Le HBM4 commence à se déployer dans les accélérateurs de nouvelle génération, et les fabricants explorent des évolutions ultérieures. Le hybrid bonding pourrait également aboutir à une utilisation dans de futures générations du HBM.
AMD mise précisément sur le HBM4 pour la série CDNA 5, tandis que Samsung, SK hynix et d’autres fabricants étudient des architectures de plus en plus intégrées.
Le scénario le plus probable n’est pas une substitution soudaine, mais une évolution progressive.
Le HBM peut continuer à augmenter sa capacité et sa bande passante tout en laissant place à des architectures spécialisées qui intègrent la DRAM directement avec la logique. Il existe également d’autres solutions, comme la mémoire proche du calcul ou le CXL (Compute Express Link) pour étendre ou partager de grandes quantités de mémoire.
La raison principale reste la même : dans les systèmes d’IA, il ne suffit pas de fabriquer des processeurs plus rapides.
Il faut aussi déplacer d’énormes quantités d’informations entre la mémoire et les unités de calcul, tout en consommant une énergie raisonnable.
Une DRAM 3D capable d’approcher la supposed amélioration d’AMD pourrait changer cette équation. Mais elle devra d’abord prouver qu’elle peut être fabriquée à grande échelle, fonctionner des années sous de fortes charges thermiques, et offrir une capacité suffisante à un coût compétitif.
D’ici là, ces 17 fois représentent le potentiel d’une architecture, et non les performances d’une mémoire immédiatement disponible à l’achat.
Questions fréquentes
Qu’est-ce que la mémoire DRAM 3D ?
C’est une architecture qui vise à intégrer des couches de DRAM verticalement, très près de la logique de traitement. L’objectif est de réduire la distance parcourue par les données et d’augmenter considérablement la densité de connexions entre la mémoire et le processeur.
Est-ce vraiment 17 fois plus efficace que le HBM ?
AMD indique un potentiel allant jusqu’à 17 fois, par rapport à une architecture HBM basée sur des micro-bumps. Il ne faut pas interpréter cela comme une comparaison directe entre deux produits commerciaux ou comme une amélioration déjà disponible dans des accélérateurs.
Le HBM disparaîtra-t-il avec l’arrivée de la DRAM 3D ?
Pas à court terme. Le HBM4 fait partie des prochaines générations d’accélérateurs d’IA et continue d’évoluer. La DRAM 3D représente une direction possible pour les architectures à venir.
Quels sont les principaux obstacles à la fabrication de la DRAM directement sur les processeurs ?
Les principaux défis concernent la gestion de la température, la sensibilité de la DRAM durant la processus de fabrication, la précision requise pour le hybrid bonding, le rendement de fabrication et la gestion de la chaleur une fois la mémoire et la logique empilées.