La société chinoise Axera a présenté le AX8860, une puce conçue pour exécuter de grands modèles de langage (LLM) et des agents d’intelligence artificielle sur des appareils compacts. Selon les chiffres divulgués par Sipeed, l’un des fabricants préparant des dispositifs avec cette technologie, le processeur pourrait surpasser le NVIDIA DGX Spark dans certains tests avec Qwen 27B, avec une vitesse de traitement initiale du modèle supérieure de 25 % et une génération de réponses plus rapide de 30 %. Ces chiffres nécessitent toutefois une validation indépendante.

Les points clés du Axera AX8860 en 20 secondes

• Le processeur intègre une unité de traitement neuronal (NPU) capable d’atteindre 256 TOPS en FP4 et une CPU Arm à 16 cœurs.
• Il peut être configuré avec jusqu’à 128 Go de mémoire LPDDR5X et une bande passante de 273 Go/s.
• Le module annoncé consomme environ 40 W, selon les spécifications diffusées.
• Sipeed affirme qu’il dépasse le DGX Spark avec Qwen 27B, bien que cette déclaration n’ait pas encore été validée par une source indépendante.
• Axera prévoit également des cartes PCIe équipées de quatre puces totalisant une capacité théorique de 1024 TOPS.

Ce lancement s’inscrit dans un segment de plus en plus pertinent pour les développeurs et les entreprises : l’exécution locale de modèles d’IA, sans dépendre d’un serveur de grande envergure ni transmettre systématiquement les données vers un service cloud. La combinaison d’une mémoire abondante, d’une faible consommation et d’une accélération spécialisée peut séduire pour des assistants locaux, des outils de programmation ou des systèmes d’agents intelligents.

Toutefois, les chiffres de TOPS ne suffisent pas à déterminer quel système exécute mieux un modèle réel. La rapidité dépend aussi de l’architecture, du logiciel, de la quantification, de la taille du contexte et de la méthode de mesure des performances. Par conséquent, les comparaisons annoncées par Sipeed doivent être considérées comme des résultats préliminaires, à confirmer par des évaluations indépendantes.

256 TOPS, 128 Go de mémoire et connectivité PCIe 5.0

Selon les spécifications publiées par Sipeed et reprises par Wccftech, le AX8860 est basé sur un processus de fabrication en 6 nanomètres. Il intègre une CPU avec 16 cœurs Arm Cortex-A55 et une unité neuronale (NPU) conçue pour accélérer les opérations d’intelligence artificielle.

Sa capacité annoncée atteint 256 TOPS en FP4, un format numérique de 4 bits utilisé pour réduire le coût de calcul et la consommation mémoire de certains modèles. Selon les informations disponibles, ce chiffre n’inclut pas les gains liés à la sparsité (sparsity), une technique permettant d’accélérer certains calculs en exploitant les valeurs nulles ou dispersées.

La mémoire constitue aussi un point fort : le chip supporte jusqu’à 128 Go de mémoire LPDDR5X, connecté via un bus de 256 bits avec une bande passante maximale de 273 Go/s. Cette capacité et cette bande passante correspondent à celles annoncées par NVIDIA pour sa version 128 Go du DGX Spark. La différence réside dans le fait que le système NVIDIA utilise une mémoire unifiée cohérente avec sa CPU Grace et sa GPU Blackwell, tandis qu’Axera mise sur une plateforme centrée sur son accélérateur neuronal.

Le AX8860 intègre également une connectivité PCIe 5.0 ainsi qu’une interface réseau pouvant atteindre 256 Gbps en configuration agrégée, selon les spécifications. Cette connexion permettrait de relier plusieurs modules pour répartir la charge de travail entre plusieurs chips.

Sipeed évoque une évolutivité d’environ 80 % en regroupant quatre unités. En théorie, deux puces atteindraient 512 TOPS, et quatre pourraient atteindre 1024 TOPS. Ces chiffres représentent la capacité de calcul cumulée annoncée, sans garantie que le traitement d’un modèle soit quatre fois plus rapide. Le résultat réel dépendra de la distribution du travail, du trafic entre dispositifs et du support logiciel.

Cartes PCIe, mini-PC et une feuille de route vers 700 TOPS

Axera et ses partenaires envisagent plusieurs formats pour mettre le AX8860 à disposition des développeurs. La première option est un module dédié consommant environ 40 W. Une carte PCIe simple, avec connexion PCIe 5.0 x4, interfaces réseau et vidéo, ainsi qu’un ventilateur pour dissiper la chaleur, a aussi été présentée.

L’option la plus innovante consiste en une carte intégrant quatre puces AX8860 dans un format compact d’une seule carte PCIe. Son design comprend un grand dissipateur, quatre ventilateurs et une alimentation auxiliaire à connecteur 8 broches. L’objectif est d’offrir une puissance de calcul accrue dans un système pouvant être intégré dans un ordinateur de bureau ou une petite station de travail.

Sipeed développe également des équipements comme la MaixStation, ainsi que des mini-PC et des ordinateurs portables basés sur cette plateforme. La société indique qu’elle ouvrira la précommande pour certains dispositifs et prévoit une disponibilité d’ici 2026. Cependant, les prix finaux et les dates de livraison pour chaque configuration restent encore à préciser.

Au niveau logiciel, la compatibilité avec des outils comme PyTorch, vLLM et SGLang est évoquée. Ce point sera crucial pour les développeurs : disposer de beaucoup de puissance de calcul ne suffit pas si les modèles, bibliothèques ou méthodes de quantification ne fonctionnent pas correctement ou requièrent des adaptations spécifiques.

La feuille de route d’Axera prévoit également des futures puces, les modèles AX8950 et AX8970, avec des capacités annoncées pouvant atteindre respectivement 500 TOPS et plus de 700 TOPS. Ces appareils sont destinés à des générations ultérieures, non disponibles pour le moment, leur sortie dépendant du développement et de la commercialisation de ces nouvelles familles.

Le prix et la performance concrète détermineront la compétition avec NVIDIA

L’argument commercial de Sipeed est que ses dispositifs à base d’AX8860 pourraient coûter environ la moitié du prix d’un NVIDIA DGX Spark. Cependant, cette comparaison comporte des limites : la tarification exacte pour toutes les variantes d’Axera n’a pas été communiquée, et aucune configuration typique du système NVIDIA n’a été précisée.

Le DGX Spark de 128 Go inclut le superprocesseur GB10 Grace Blackwell, 128 Go de mémoire unifiée, une bande passante de 273 Go/s, ainsi qu’un potentiel de calcul FP4 pouvant atteindre un pétaflop en dispersion. NVIDIA propose également une suite logicielle complète avec outils pour le développement et le déploiement de modèles IA localement.

DGX Spark de NVIDIA

+1

Le AX8860, quant à lui, se distingue en termes de consommation annoncée de 40 W pour le module, sa mémoire jusqu’à 128 Go, et la possibilité de regrouper plusieurs puces. Cependant, comparer cette consommation à celle d’un système complet nécessite de distinguer la puissance du module, celle du processeur et la consommation totale du système en charge.

L’évaluation avec Qwen 27B sera une étape clé pour comparer objectivement. Pour que l’avantage supposé de 25 % en préremplissage et 30 % en décodage soit crédible, il faudra connaître la version et la quantification du modèle, la taille du contexte, le nombre de tokens générés, le logiciel utilisé, ainsi que la consommation mesurée durant l’exécution.

Il faudra aussi tester d’autres modèles et charges de travail, car un accélérateur peut performer différemment selon la nature des tests : modèles de programmation, contextes longs ou scenarios multi-utilisateurs. La maturité des pilotes et la facilité de déploiement auront autant d’impact que les caractéristiques matérielles.

Axera possède déjà une expérience en inference sur le terrain avec ses processeurs et sa plateforme propre d’unités neuronales, outils de compilation, et support pour des modèles comme Qwen et Llama. Bien que cette expérience soit un atout, elle ne remplace pas les tests indépendants nécessaires pour valider une plateforme conçue pour exécuter des LLM sur des appareils compacts.

Axera Semiconductor Co., Ltd.

+1

Le AX8860 ambitionne d’offrir une alternative à faible consommation pour ceux souhaitant exécuter de l’IA en local. Si les performances, la compatibilité et le prix annoncés se confirment, il pourrait attirer l’intérêt des développeurs et des petits laboratoires. Pour l’instant, la comparaison avec le DGX Spark reste principalement basée sur des chiffres préliminaires diffusés par Sipeed, en attente d’évaluations indépendantes.

Questions fréquentes

Quelle est la puissance du chip Axera AX8860 ?

Axera et Sipeed annoncent jusqu’à 256 TOPS en précision FP4, avec une mémoire maximale de 128 Go de LPDDR5X et une bande passante de 273 Go/s.

Consomme-t-il réellement seulement 40 W ?

Les 40 W concernent la consommation annoncée du module dédié. La consommation d’une carte PCIe ou d’un ordinateur complet dépendra aussi des autres composants et de la charge de travail.

Est-il plus rapide que le NVIDIA DGX Spark ?

Sipeed affirme qu’il serait 25 % plus rapide en préremplissage et 30 % en décodage avec Qwen 27B. Ces résultats doivent encore être validés de façon indépendante et ne garantissent pas une supériorité pour tous les modèles.

Quels seront les prix pour les équipements équipés du AX8860 ?

Les informations disponibles évoquent un prix environ moitié moindre que celui du DGX Spark, mais aucune tarification définitive ni détail précis pour toutes les configurations n’a encore été communiquée.