NVIDIA se vante (con cifras) en la era MoE: Signal65 estima que GB200 NVL72 puede ser hasta 15× más rentable por token que AMD MI355X

La discussion sur l’infrastructure de l’intelligence artificielle s’éloigne de plus en plus du simple « rendement brut » pour se concentrer sur un aspect bien plus tangible : combien coûte le service de chaque token lorsque l’utilisateur exige des réponses rapides, à grande échelle, tout en conservant une bonne « sensation » d’interaction. Dans ce […]

Enfabrica présente Emfasys, le premier système de mémoire pour l’IA basé sur Ethernet : jusqu’à 18 To de DDR5 et 50 % de coût en moins par token

Une startup soutenue par NVIDIA lance une solution innovante pour soulager la pression sur la mémoire HBM et optimiser les coûts d’inférence dans les modèles génératifs La société émergente Enfabrica Corporation a annoncé cette semaine le lancement d’Emfasys, le premier système commercial de mémoire élastique pour l’intelligence artificielle basé entièrement sur Ethernet. Cette nouvelle architecture […]