
Huawei porte le cache KV à 64 Po avec son nouveau OceanStor M900
Huawei a présenté OceanStor M900 Context Memory Storage, un système de stockage conçu pour accélérer l’inférence en intelligence artificielle dans les centres de données à grande échelle. Cette solution élargit la mémoire disponible pour le cache KV, utilisé lors de l’inférence de grands modèles, en passant de la mémoire des accélérateurs et de la DRAM jusqu’aux unités SSD, avec une capacité totale que Huawei estime pouvant atteindre 64 pétaoctets par cluster. Les points clés d’OceanStor M900 en 20 secondes Huawei étend le cache KV des SuperPoD jusqu’à 64 PB par cluster. Le système combine la mémoire des accélérateurs, la DRAM et le SSD via UniversalBus. Huawei annonce une réduction de la latence d’accès de plusieurs millisecondes à seulement 60 microsecondes.




