Samsung travaille sur une évolution en profondeur de la mémoire HBM pour les accélérateurs d’intelligence artificielle. Son ambition culmine avec zHBM, une architecture visant à placer la mémoire verticalement au-dessus du processeur, à réduire la distance que parcourent les données et à éliminer certains éléments de l’emballage 2.5D actuel. Le fabricant prévoit jusqu’à 230 % de bande passante supplémentaire et environ 70 % de consommation de DRAM en moins par rapport à une configuration HBM4E conventionnelle. Cependant, il s’agit encore de cibles annoncées par Samsung, et non de caractéristiques d’un produit commercialisé.

Les clés de Samsung zHBM en 20 secondes

• Samsung envisage d’évoluer d’une architecture HBM conventionnelle vers une architecture tridimensionnelle appelée zHBM.
• La mémoire serait placée verticalement au-dessus de la xPU, comme une GPU ou un accélérateur IA.
• Le fabricant estime un gain potentiel de 230 % en bande passante et une réduction d’environ 70 % de la consommation de DRAM.
• Ce développement s’inscrit dans plusieurs phases intermédiaires, allant de HBM personnalisé à HBM avancée.

Cette proposition a été expliquée par Samsung lors d’une présentation technique sur l’évolution du die de base, la puce située en dessous des piles HBM. L’idée centrale est que ce composant cesse d’être principalement dédié aux communications, contrôles et tests pour assumer progressivement des fonctions qui résident actuellement dans le processeur.

Ce changement répond à un problème de plus en plus évident dans les systèmes IA : rendre la GPU plus rapide n’est pas suffisant si la mémoire ne peut pas lui fournir les données à la vitesse requise.

Les limites physiques de la HBM actuelle

La High Bandwidth Memory (HBM) a été conçue précisément pour résoudre le problème du débit. Plutôt que d’entourer le processeur de puces DRAM conventionnelles, plusieurs couches de mémoire sont empilées et reliées par des connexions verticales appelées TSV (Through-Silicon Via).

Une pile HBM se compose essentiellement de deux éléments : les dies principaux ou C-die, qui contiennent les cellules DRAM où sont stockées les données, et le die de base ou B-die, situé en dessous, qui gère les communications et diverses fonctions de contrôle et de test.

La pile communique ensuite avec la GPU, TPU ou autre accélérateur via une interface physique ou PHY.

Samsung identifie précisément cette zone comme l’un des obstacles à l’augmentation des performances. Le PHY occupe une part importante du die de base, et les communications entre la mémoire et le processeur ont des coûts en espace et en énergie.

L’évolution historique de la HBM montre à quel point le débit est devenu une priorité. Samsung prévoit que la HBM4 atteindra environ 3 To/s par pile, avec environ 4 To/s pour la HBM4E et plus de 6 To/s pour la future HBM5. Ces générations représentent une évolution technologique encore en cours, ces chiffres étant des objectifs pour l’architecture proposée, et non des spécifications finales disponibles actuellement.

Cependant, augmenter indéfiniment le nombre de connexions, la vitesse des broches ou le nombre de TSV devient de plus en plus difficile.

L’IA aggrave ce problème, car elle ne consiste plus seulement à augmenter la taille des modèles, mais aussi à gérer des contextes plus longs et un usage simultané par de nombreux utilisateurs, ce qui accroît considérablement la KV cache, la mémoire tampon utilisée lors de l’inférence pour conserver les informations des tokens précédents.

Le résultat est une pression sur deux variables essentielles : capacité et bande passante.

Samsung souhaite transformer la base de la HBM en un composant beaucoup plus actif

La stratégie de Samsung se déploie en trois grandes phases.

La première vise à réduire la surface occupée par l’interface physique traditionnelle.

Dans la custom HBM (cHBM), Samsung propose de remplacer une partie du PHY conventionnel par des connexions directes die-to-die (D2D). En réduisant la longueur des connexions, la société espère diminuer la consommation d’énergie et libérer de la surface exploitable par l’accélérateur.

Samsung estime que cette organisation pourrait libérer environ entre 5 % et 10 % de la surface de la xPU, avec une amélioration de performance potentielle de 10 % à 20 %, selon le design. Il s’agit d’estimations et non de résultats universels applicables à toutes les GPU.

La proximité entre composants pose aussi des défis thermiques.

Pour y faire face, Samsung a présenté sa technologie Heat Path Block (HPB), conçue pour créer de meilleures voies d’évacuation thermique. D’après les données de la société, cette solution pourrait réduire de plus de 35 % la température maximale dans certaines zones de l’interface.

L’étape suivante est encore plus intéressante : déplacer certaines fonctions du GPU vers le die de base de la mémoire HBM.

Un candidat idéal est le contrôleur mémoire. Des mécanismes de réparation via SRAM, la télémétrie avancée, les fonctions RAS (fiabilité, disponibilité et maintenabilité), les tests internes et les contrôleurs capable de connecter une mémoire supplémentaire pourraient aussi être intégrés.

La mémoire ne serait plus un composant passif à côté du processeur, mais participerait activement au fonctionnement du système.

l’AHBM rapprocherait même une partie du traitement de la mémoire

La deuxième phase va plus loin dans cette direction.

Samsung étudie l’intégration de certains Processing Elements directement dans la mémoire, donnant naissance à ce qu’elle nomme l’Advanced HBM (AHBM).

La raison est liée à l’un des coûts majeurs de la computation moderne : déplacer des données consomme de l’énergie.

Une GPU peut effectuer des opérations mathématiques très rapidement, mais doit en permanence transporter l’information entre la mémoire et les unités de calcul, avant de renvoyer les résultats.

Plus une opération peut être effectuée à proximité des données, moins il y a de déplacement.

Cela ne signifie pas que la HBM remplacera la GPU, mais plutôt qu’elle intégrera certaines fonctions pour réduire la communication et la consommation quand cela est possible.

Samsung envisage aussi d’utiliser le die de base pour intégrer des interfaces d’expansion, capables de se connecter à de la mémoire externe. Ce serait particulièrement utile pour l’inférence de modèles linguistiques à fenêtres de contexte étendues, où la KV cache peut atteindre des dizaines voire des centaines de gigaoctets.

Tout cela mène à la troisième étape de la proposition.

zHBM placerait la mémoire directement au-dessus du processeur

L’architecture actuelle des accélérateurs IA utilise généralement un empaquetage 2.5D.

La GPU et plusieurs piles HBM sont proches et communiquent via un interposer. Ce schéma offre un débit nettement supérieur à celui d’une mémoire placée en dehors du boîtier, mais force toujours à faire se déplacer latéralement les données entre composants.

zHBM entend changer cette configuration.

Samsung propose de placer les piles de mémoire verticalement au-dessus du processeur. Cela donnerait une architecture 3D où le traitement et la mémoire seraient connectés via des liaisons verticales extrêmement courtes.

Ce schéma permettrait d’éliminer l’interposer 2.5D traditionnel et de distribuer les connexions d’entrée/sortie sur une surface bien plus grande.

Pour cela, Samsung étudie des technologies de packaging comme Wafer-on-Wafer (WoW) et des techniques d’assemblage hybride visant à atteindre des densités de connexions largement supérieures.

La société cible une consommation de communication proche de 0,5 picojoules par bit.

Comparée à une configuration HBM4E conventionnelle, ses simulations et estimations pour zHBM indiquent un gain de 230 % en bande passante DRAM, une consommation mémoire réduite d’environ 70 %, et jusqu’à 100 watts de marge thermique supplémentaire pouvant être exploités ailleurs dans le système.

Encore une fois, il s’agit de cibles technologiques affichées par Samsung. zHBM doit encore surmonter des défis de fabrication, de gestion thermique, de coûts, de fiabilité et de production à grande échelle.

La mémoire commence à se mêler au processeur

Le positionnement de Samsung s’inscrit dans un changement plus large au sein de l’industrie des semi-conducteurs.

Pendant des décennies, il était relativement simple de distinguer processeur et mémoire : l’un effectuait des calculs, l’autre stockait l’information.

L’intelligence artificielle rend cette séparation de moins en moins efficace.

Les modèles nécessitent de déplacer des volumes énormes d’informations, et l’énergie dépensée pour transporter ces données représente désormais une part significative de la consommation totale.

C’est pourquoi les fabricants de mémoire et les concepteurs d’accélérateurs expérimentent avec compute-near-memory, processing-in-memory, mémoire personnalisée et emballage tridimensionnel.

Samsung possède en outre un avantage particulier pour aborder cette problématique : elle intervient simultanément dans la fabrication de DRAM, les procédés logiques et les technologies avancées de packaging.

zHBM tente de combiner ces capacités.

Mais placer de la mémoire au-dessus d’un processeur pouvant consommer des centaines de watts n’est pas trivial. La chaleur peut impacter la conservation des données de la DRAM, augmenter les besoins en rafraîchissement et compliquer considérablement la gestion thermique de l’ensemble.

La fabrication doit aussi atteindre des rendements suffisamment élevés. Lorsqu’on intégrant plusieurs puces verticalement, un défaut dans l’une peut compromettre un ensemble beaucoup plus coûteux.

C’est pourquoi Samsung ne propose pas de passer directement de HBM4 à zHBM.

Sa démarche commence d’abord avec le custom HBM, continue avec l’ajout de fonctionnalités au die de base via AHBM, pour culminer enfin avec l’intégration tridimensionnelle de zHBM.

La direction technologique est claire : le prochain saut pour les accélérateurs IA ne dépendra pas uniquement de fabriquer des GPU plus rapides.

Il faudra aussi que les données soient beaucoup plus proches du lieu où elles sont traitées.

Questions fréquentes

Qu’est-ce que Samsung zHBM ?

zHBM est une architecture mémoire proposée par Samsung qui intègre verticalement la HBM au-dessus d’une xPU, comme une GPU ou un accélérateur IA. Son objectif est de réduire les distances de communication et d’augmenter la bande passante avec une consommation moindre.

Quelle différence y aurait-il entre HBM4 et zHBM ?

La HBM4 conserve une architecture où le processeur et les piles de mémoire sont connectés via un empaquetage avancé. zHBM vise une intégration en 3D, où la mémoire serait placée directement au-dessus du processeur.

Quel sera le rendement de zHBM ?

Samsung prévoit jusqu’à 230 % de bande passante mémoire supplémentaire et une réduction d’environ 70 % de la consommation par rapport à une configuration HBM4E conventionnelle. Ces chiffres restent des estimations de développement, et non des caractéristiques d’un produit final disponible sur le marché.

Quand zHBM sera-t-elle disponible ?

Aucune date commerciale précise n’a été annoncée. Samsung positionne zHBM comme la troisième étape d’une évolution passant d’abord par le custom HBM, puis par l’AHBM avancée.

Sources : wccftech