SanDisk s’efforce d’ouvrir une nouvelle catégorie de mémoire pour l’intelligence artificielle avec la High Bandwidth Flash (HBF), une technologie qui vise à rapprocher de grandes quantités de NAND des accélérateurs, sans supporter le coût et les limitations de capacité de la mémoire HBM. Sa proposition a gagné en visibilité lors de l’Investor Day organisé le 13 août, bien que certaines comparaisons utilisées par l’entreprise aient suscité des critiques techniques : HBF peut offrir une capacité importante, mais ses caractéristiques diffèrent fortement de celles de la DRAM utilisée dans la HBM.

Les clés de HBF de SanDisk en 20 secondes

• HBF utilise mémoire NAND empilée pour rapprocher des centaines de gigaoctets des accélérateurs d’IA.
• SanDisk et SK hynix collaborent à sa standardisation au sein du projet Open Compute.
• L’objectif principal concerne les poids des modèles lors de l’inférence, et non le remplacement total de la HBM.
• La NAND offre une grande capacité, mais présente une latence plus élevée et des limitations en écriture.
• Les premières maquettes de HBF font désormais partie de la feuille de route de SanDisk.

Cette idée répond à un problème qui commence à influencer la conception des serveurs d’IA : il ne s’agit pas toujours d’augmenter le nombre de FLOPS. Dans de nombreuses charges d’inférence, ce qui manque, c’est une mémoire suffisante pour maintenir près du processeur des modèles de plus en plus volumineux.

La mémoire à haute bande passante (HBM) répond très bien au problème de largeur de bande, mais elle reste coûteuse et sa capacité est limitée par le nombre et la taille des stacks qui peuvent être intégrés autour du processeur.

HBF cherche à occuper une place différente.

De 192 Go de HBM à plusieurs téraoctets de flash à côté de l’accélérateur

La proposition de SanDisk consiste, en simplifiant, à appliquer certaines idées utilisées pour construire la HBM au domaine de la mémoire NAND.

HBF empile de nombreux dies de mémoire flash et exploite un parallélisme élevé pour augmenter radicalement le débit par rapport à un SSD classique. SanDisk utilise également des technologies telles que la CBA (CMOS Bonded to Array directement) pour rapprocher la logique de contrôle du tableau NAND.

La différence fondamentale réside toujours dans les cellules de mémoire.

La HBM utilise de la DRAM. La HBF utilise de la NAND.

La DRAM possède une capacité bien moindre par surface tout en nécessitant une alimentation pour conserver les données, mais offre une latence très faible. La NAND est plus lente, mais hautement plus dense, économique et en plus persistante.

Cela permet d’imaginer des architectures avec des centaines de gigaoctets ou même plusieurs téraoctets disponibles autour d’un accélérateur.

SanDisk a déjà montré lors de son Investor Day 2025 une comparaison particulièrement visuelle : une configuration avec huit stacks de HBM totalisait 192 Go, contre huit dispositifs HBF pouvant atteindre 4 096 Go, soit 4 To.

La société a ultérieurement précisé qu’un stack HBF de 16 dies peut fournir 512 Go. Des simulations internes soutiennent également que le HBF peut approcher la performance d’un système HBM sans limite de capacité, notamment lors de la lecture des poids pré-entraînés de Llama 3.1 405B.

Il est important de noter que ces résultats sont issus de simulations effectuées par SanDisk dans un cas d’usage spécifique, et non de produits commerciaux.

La potentialité de cette technologie est évidente à comprendre.

Un modèle nécessitant plusieurs centaines de gigaoctets de poids pourrait rester beaucoup plus près du processeur, sans remplir le système de coûteux stacks HBM ou ajouter des accélérateurs uniquement pour plus de mémoire.

HBF est pertinent pour stocker les poids ; le cache KV soulève une autre problématique

Cela révèle aussi un subtilty que certaines comparaisons entre HBF et HBM peuvent occulter.

Lors de l’inférence d’un modèle de langage, différentes informations résident en mémoire, avec des schémas d’accès variés.

D’un côté, il y a les poids du modèle, paramétrages appris durant l’entraînement, principalement lus lors de l’inférence.

C’est une situation favorable pour la NAND.

De l’autre, se trouve le cache KV (key-value) généré durant l’inférence, permettant de conserver les informations des tokens traités précédemment, évitant ainsi de recalculer constamment. Ce cache croît avec le contexte et les requêtes traitées.

Ce comportement nécessite parfois des écritures.

Et ici, la HBF a une désavantage intrinsèque face à la HBM : la NAND possède une résistance d’écriture finie et des latences d’écriture beaucoup plus élevées que la DRAM.

Le parallélisme élevé de la HBF peut considérablement augmenter le débit total de lecture, mais ne modifie pas les limites physiques de chaque cellule NAND.

C’est pourquoi il paraît plus raisonnable de concevoir la HBF comme un nouveau niveau dans la hiérarchie mémoire, plutôt qu’un remplacement total de la HBM.

SK hynix a d’ailleurs présenté la HBF comme une nouvelle couche située entre la HBM et le SSD, tandis que SanDisk souligne qu’il s’agit d’une technologie conçue pour les besoins d’inférence.

Une architecture future pourrait, par exemple, garder les données nécessitant un accès ultra rapide en HBM, et utiliser la HBF pour héberger d’énormes quantités de poids.

Une telle séparation pourrait particulièrement bénéficier aux modèles Mixture of Experts (MoE), où seule une partie des paramètres est activée pour traiter chaque token.

L’importance du contexte pour le débit

Une autre source de débat est liée aux comparaisons de SanDisk entre HBF et HBM.

La société a utilisé des scénarios de référence avec 192 GB de HBM, même si l’évolution de la HBM continue de faire progresser la capacité et la bande passante disponible par accélérateur.

Comparer une technologie destinée aux futures plateformes avec une configuration HBM concrète peut donner une image incomplète si la génération spécifique n’est pas précisée.

Il en va de même pour la précision numérique des modèles.

Utiliser BF16 (Brain Floating Point 16) aide à estimer facilement la mémoire requise pour stocker les paramètres, mais les systèmes modernes d’inférence utilisent de plus en plus des formats de moindre précision, comme FP8, INT8 ou FP4, selon le modèle et le hardware.

Réduire la précision diminue également la mémoire nécessaire pour stocker les poids.

Un modèle de 400 milliards de paramètres nécessiterait environ 800 Go en BF16 si chaque paramètre occupe deux octets. Avec quatre bits par paramètre, ce volume théorique descend autour de 200 Go, hors échelles, métadonnées et autres éléments.

Cela n’élimine pas complètement le problème de capacité que la HBF cherche à résoudre, mais la change radicalement en termes d’ordre de grandeur.

Il convient aussi de distinguer débit et latence.

SanDisk et SK hynix travaillent sur des spécifications HBF pouvant atteindre 512 Go par dispositif et un débit pouvant atteindre plusieurs TB/s. La spécification récemment évoquée prévoit des valeurs d’environ 0,4 à 3 TB/s selon la configuration.

C’est énorme pour une mémoire flash.

Mais atteindre plusieurs téraoctets par seconde en ajoutant des milliers d’opérations NAND en parallèle ne transforme pas une cellule NAND en DRAM. Une application sensible à la latence peut réagir très différemment, même si le débit total semble équivalent.

SanDisk et SK hynix veulent faire de la HBF une norme

HBF n’est pas seulement un projet interne de SanDisk.

En août 2025, SanDisk et SK hynix ont signé un accord pour collaborer à la définition de ses spécifications. En février 2026, ils ont franchi une étape supplémentaire en créant un groupe de travail au sein de l’Open Compute Project (OCP) pour certifier leur standardisation.

Ce contexte est crucial, car une nouvelle technologie mémoire nécessite bien plus que des chips.

Processeurs, accélérateurs, contrôleurs, encapsulations, firmware, systèmes d’exploitation, frameworks d’IA : tous doivent comprendre où résident les données et décider quand les déplacer.

La HBF pourrait introduire, en pratique, un nouveau niveau dans la hiérarchie mémoire des serveurs d’IA :

GPU → HBM → HBF → SSD → stockage partagé

Les logiciels devront alors déterminer quelles données méritent d’être stockées dans la mémoire la plus rapide et la plus coûteuse, versus celles qui peuvent rester dans des niveaux de capacité supérieure.

SanDisk a initialement prévu des prototypes pour la seconde moitié de 2026, et des dispositifs d’inférence intégrant la technologie pour début 2027. La société insiste sur le fait qu’elle vise des capacités 8 à 16 fois supérieures à celles de la HBM, avec des coûts comparables — des prévisions qui devront être vérifiées une fois le hardware commercialisé.

L’atout principal de la HBF : transformer l’économie de l’inférence

Ce qui rend la HBF particulièrement intéressante, ce n’est pas tant sa capacité à battre la HBM en chiffres, mais sa capacité à changer la donne économique de l’inférence.

Les mémoires sont conçues pour répondre à des problématiques différentes.

La HBM restera précieuse lorsque la latence, les écritures fréquentes et un débit extrême seront primordiaux. La NAND offre, quant à elle, une capacité nettement plus grande à un coût inférieur, avec des caractéristiques d’accès différentes.

HBF cherche à exploiter justement cet équilibre.

Si, à l’avenir, les accélérateurs peuvent maintenir des téraoctets de poids en proximité suffisante de la GPU, il serait alors possible d’exécuter certains grands modèles avec moins d’accélérateurs dédiés uniquement à la mémoire.

Ce changement aurait des conséquences économiques majeures pour l’inférence.

De nombreuses questions restent en suspens : la latence réelle en conditions de production, la consommation électrique, la gestion thermique, la performance soutenue, la résistance à l’écriture, la gestion des erreurs, ainsi que la répartition des données entre HBM et HBF dans des systèmes réels.

Les présentations aux investisseurs peuvent condenser tout cela en chiffres de capacité et de bande passante, mais la réalité d’une architecture de mémoire pour un serveur d’IA est bien plus complexe.

HBF n’a pas besoin d’être plus rapide que la HBM pour réussir. Il doit simplement faire en sorte que l’introduction d’une mémoire très capacitaire proche du processeur soit suffisamment rapide et nettement moins coûteuse.

Questions fréquentes

Qu’est-ce que la HBF ?

HBF signifie High Bandwidth Flash. C’est une technologie basée sur la NAND qui utilise le stacking et un parallélisme élevé pour offrir beaucoup plus de capacité et de bande passante que les mémoires flash traditionnelles.

HBF remplacera-t-elle la HBM dans les GPU d’IA ?

Pas forcément. La HBF est particulièrement adaptée pour stocker de grandes quantités de poids lors de l’inférence, tandis que la HBM conserve ses avantages en termes de latence et d’écritures fréquentes.

Quelle capacité peut offrir la HBF ?

SanDisk envisage des dispositifs de 512 Go avec des stacks de 16 dies, permettant d’atteindre plusieurs téraoctets en combinant plusieurs dispositifs autour d’un accélérateur.

Quand la HBF sera-t-elle disponible ?

SanDisk prévoit des premières prototypes pour la seconde moitié de 2026, et des dispositifs d’inférence intégrant la technologie dès 2027. La commercialisation dépendra du développement du standard, des fabricants d’accélérateurs et de l’écosystème logiciel.