SK hynix travaille déjà sur des technologies visant à dépasser les configurations actuelles de mémoire HBM (High Bandwidth Memory). Lors du Hot Chips 2026, l’entreprise a présenté des solutions de hybrid bonding, de nouvelles méthodes de dissipation thermique, davantage de connexions TSV et des architectures 3D où la mémoire pourrait être placée directement sur les accélérateurs IA. Elle a également inclus l’EMIB d’Intel parmi les technologies de packaging 2.5D envisagées pour l’intégration de la HBM.

Les clés du futur de la HBM en 30 secondes

• SK hynix explore le hybrid bonding pour dépasser les piles de 16 couches et réduire la distance entre les connexions.
• La HBM4 dépasse 2 To/s par pile et double ses lignes d’entrée/sortie jusqu’à 2 048 bits.
• L’entreprise développe I-HBM, une solution pour évacuer la chaleur à partir de points particulièrement chauds.
• Elle considère aussi l’EMIB d’Intel, associé à différentes variantes de CoWoS pour le packaging 2.5D.
• À plus long terme, SK hynix étudie une intégration 3D avec la mémoire placée directement sur les accélérateurs.

Cette présentation éclaire pourquoi la mémoire est devenue l’un des composants les plus complexes des accélérateurs d’intelligence artificielle. Améliorer la rendement d’un GPU ne consiste plus uniquement à augmenter le nombre d’unités de calcul. Il faut aussi fournir les données aussi rapidement que possible, ce qui exige de renforcer simultanément la capacité, le débit et le nombre de connexions.

La HBM a permis de progresser dans cette voie via l’empilement vertical de puces DRAM. Les différentes couches communiquent via des TSV (Through-Silicon Via), des connexions verticales traversant le silicium. La pile de mémoire et le processeur restent généralement séparés, placés côte à côte sur un interposer.

Mais cette architecture commence à montrer ses limites physiques, plus difficiles à résoudre à chaque nouvelle génération.

La HBM4 pousse le packaging à un niveau de complexité supérieur

SK hynix utilise la HBM3E pour illustrer cette évolution. Contrairement à une configuration de référence GDDR6 de 24 Go et 768 Go/s, quatre piles HBM3E peuvent atteindre 144 Go et environ 4 To/s, en utilisant environ la moitié de l’espace, selon les données de l’entreprise.

La HBM4 renforce encore ces exigences.

La nouvelle génération, présentée par SK hynix, intègre une interface de 2048 bits, contre 1024 bits auparavant, et peut dépasser 2 To/s de bande passante par pile. La documentation indique des puces DRAM jusqu’à 24 Gb, avec des configurations de 12 couches en production et des designs de 16 couches en qualification.

Une pile peut comporter plus de 20 000 TSV et 16 148 micro-bumps à la base, chiffres qui illustrent à quel point la performance mémoire dépend désormais de technologies d’emballage avancées.

L’augmentation du nombre de connexions nécessite de l’espace.

Même si les fabricants réduisent globalement la taille et la séparation des TSV, le simple fait d’augmenter leur nombre accroît la surface nécessaire. Un autre problème complexe pour les accélérateurs IA : la dissipation thermique.

SK hynix estime qu’une évolution doublant presque le débit toutes les deux générations peut générer environ 2,2 fois plus de charge thermique sur les technologies de procédé et de packaging existantes.

Ce défi est d’autant plus critique que les piles HBM sont positionnées très près de GPU capables de consommer des centaines de watts.

Hybrid bonding pour dépasser les 16 couches

L’une des réponses de SK hynix est le hybrid bonding, une technologie permettant de relier différentes couches avec des joints nettement plus petits que les microbumps traditionnels.

Deux grandes méthodes sont actuellement utilisées dans le packaging HBM : TC+NCF (Thermo-Compression + Non-Conductive Film) et MR-MUF (Mass Reflow Molded Underfill).

Chacune offre des avantages et des compromis. TC+NCF assure une meilleure résistance aux déformations du chip, mais avec une résistance thermique plus élevée et une productivité moindre. MR-MUF augmente la productivité et la conduction thermique, mais pose des problèmes liés à la déformation et au remplissage des espaces entre les chips.

SK hynix utilise une évolution de MR-MUF dans ses designs HBM3E de 16 couches, tout en considérant le hybrid bonding comme un moyen de continuer à augmenter la hauteur des piles.

Les données du fabricant indiquent des connexions avec un pas inférieur à 18 microns. La technologie pourrait aussi permettre d’utiliser des puces mémoire plus épaisses d’environ 24 %, et, selon ses propres mesures, de réduire de jusqu’à 35 % la résistance thermique même en augmentant le nombre de couches.

Cette amélioration est cruciale car réduire indéfiniment l’épaisseur des puces pour intégrer davantage de couches complique aussi leur fabrication et manipulation.

L’industrie pourrait ainsi évoluer des configurations actuelles de 12 à 16 couches vers de futures piles de 16 à 20 couches, bien que SK hynix n’ait pas encore fixé de calendrier commercial précis pour ces designs.

I-HBM : évacuer la chaleur là où elle se crée

SK hynix travaille également sur une solution appelée I-HBM pour traiter les points chauds présents dans la mémoire.

L’idée consiste à intégrer un composant à haute conductivité thermique et isolation électrique dans la zone PHY de communication entre puces, créant ainsi une voie dédiée au transport de la chaleur hors des zones critiques.

Ce design permettrait une réduction supplémentaire de plus de 30 % de la résistance thermique.

Ce concept s’inscrit dans une démarche plus large, où la gestion thermique de la mémoire évolue pour ne pas dépendre uniquement du refroidissement externe — comme celui de GPU ou des systèmes de dissipation classiques.

De plus, l’entreprise envisage de disperser des TSV dédiés à l’alimentation électrique sur différentes zones du chip. L’objectif est d’améliorer la PDN (Power Delivery Network), le réseau qui distribue l’énergie aux composants.

Le défi reste le même : plus le débit mémoire augmente, plus le nombre de connexions et l’énergie nécessaire pour alimenter tout le système croissent.

EMIB d’Intel et autres solutions d’intégration

Une autre mention intéressante de la présentation est l’intégration de l’EMIB (Embedded Multi-die Interconnect Bridge) d’Intel, évoquée parmi les technologies envisagées par SK hynix pour le packaging HBM 2.5D.

L’EMIB utilise de petits ponts de silicium intégrés dans le substrat pour relier des puces proches, évitant ainsi la nécessité d’un grand interposer en silicium dans certaines configurations.

Cette technologie est positionnée aux côtés de CoWoS-S, CoWoS-R et CoWoS-L, différentes variantes du système de packaging avancé développé par TSMC.

L’intégration de l’EMIB est techniquement pertinente, mais ne doit pas être interprétée comme une confirmation d’un partenariat commercial précis entre Intel et SK hynix pour la fabrication future de mémoires HBM. La documentation concerne principalement les options d’intégration et de packaging.

Des spéculations ont été émises quant à d’éventuels mouvements stratégiques entre les deux entreprises dans le secteur de la mémoire, mais la documentation disponible ne permet pas d’affirmer qu’un projet commercial concret a été officialisé.

Le futur : une HBM intégrée directement sur l’accélérateur

L’aspect le plus innovant de la présentation concerne l’avenir plus lointain, avec des architectures en 3D où la mémoire HBM pourrait être directement placée au-dessus des accélérateurs.

Actuellement, la HBM est déjà 3D puisque ses puces DRAM sont empilées verticalement, mais la pile reste généralement placée à côté de la GPU ou du XPU.

Le prochain enjeu serait d’intégrer mémoire et processeur également en configuration verticale, permettant ainsi de réduire la distance physique entre eux.

Cela permettrait de créer des connexions plus courtes, potentiellement de maximiser le débit tout en réduisant la consommation d’énergie lors du transfert de données.

Ces pistes commencent à faire l’objet de recherches par divers fabricants, surtout face à la croissance des modèles d’IA. La taille des poids de modèles et des caches KV pour des contextes longue durée croissent, et les unités de calcul doivent recevoir ces flux de données à une vitesse toujours plus grande.

Le défi principal est que placer la mémoire directement au-dessus d’un processeur haute puissance complique considérablement la dissipation thermique. Des problèmes liés à l’alimentation, à la fabrication, à la réparation ou au coût d’encapsulation apparaissent également.

C’est pourquoi cette vision de SK hynix doit être comprise comme une perspective technologique d’avenir, sans garantie immédiate d’une HBM 3D commerciale.

L’évolution de la HBM4 et des générations suivantes dépendra de plus en plus non seulement de l’amélioration de la DRAM, mais aussi du packaging, des connexions verticales, de l’alimentation et surtout de la gestion thermique, qui déterminent la limite de l’augmentation du débit pour les accélérateurs IA.

Questions fréquentes

Quelle bande passante peut atteindre la HBM4 de SK hynix ?

Les informations communiquées par SK hynix indiquent que la HBM4 dépasse 2 To/s par pile, grâce à une interface de 2 048 bits. La performance finale dépend cependant de la configuration précise.

À quoi sert le hybrid bonding en HBM ?

Il permet de créer des connexions plus petites entre couches mémoire, améliorant aussi la gestion thermique. SK hynix étudie cette technologie pour aller au-delà des piles actuelles de jusqu’à 16 couches.

Qu’est-ce que l’I-HBM ?

C’est une technologie en développement chez SK hynix visant à créer une voie spécifique pour évacuer la chaleur près des zones chaudes du module mémoire. Elle permettrait de réduire la résistance thermique de plus de 30 %.

SK hynix utilisera-t-elle l’EMIB d’Intel ?

L’entreprise a évoqué l’EMIB parmi les technologies de packaging 2.5D envisagées, associée à des variantes de CoWoS. Toutefois, cette mention ne constitue pas une confirmation d’un partenariat commercial précis pour fabriquer des futures mémoires HBM à base d’EMIB.

Source : wccftech