Des chercheurs de l’Institut d’Automatisation de l’Académie des Sciences de Chine (CASIA) ont lancé SpikingBrain 1.0, un modèle d’intelligence artificielle qui remet en question le paradigme dominant des Transformers. Basé sur des neurones à pics inspirés du cerveau humain, il promet une avancée en termes de vitesse, d’efficacité énergétique et de consommation, susceptibles de redéfinir l’avenir de l’IA.

Une architecture plus semblable au cerveau qu’à une GPU

Le cœur de SpikingBrain réside dans son modèle de traitement neuronal. Contrairement aux Transformers, qui traitent simultanément toutes les mots ou tokens avec des mécanismes d’attention quadratiques, SpikingBrain utilise des neurones qui n’s’activent que lorsque c’est nécessaire, à l’image du système nerveux humain.

Cette approche réduit la redondance et améliore l’efficacité dans trois aspects clés :

• Vitesse : jusqu’à 100 fois plus rapide sur de longues séquences.
• Économie d’énergie : réduction de 97 % de la consommation par rapport aux calculs conventionnels.
• Données : moins de 2 % du volume d’entraînement traditionnel pour obtenir des performances comparables.

Le modèle est disponible en deux versions : SpikingBrain-7B, conçue pour l’efficacité dans des contextes étendus, et SpikingBrain-76B, un hybride doté d’une architecture Mixture-of-Experts (MoE) combinant différents types d’attention pour accroître la précision tout en maintenant une faible consommation.

Une hardware souveraine : adieu NVIDIA

Ce lancement revêt un contexte géopolitique important. Contrairement à OpenAI, Google ou Anthropic, qui dépendant de GPU NVIDIA pour l’entraînement et l’exécution de leurs modèles, SpikingBrain a été développé et entraîné sur des chips MetaX C550, conçus en Chine.

Cela permet à Pékin de contourner les restrictions américaines sur les semi-conducteurs et de renforcer son autonomie technologique. Pour les analystes, SpikingBrain représente non seulement une avancée technique, mais aussi une manœuvre stratégique dans la course à la suprématie en IA.

Résultats préliminaires et comparaisons

Lors de tests internes, SpikingBrain-7B atteint jusqu’à 90 % des performances de modèles open source équivalents, tandis que la version de 76 milliards de paramètres affiche des métriques comparables voire supérieures à des systèmes tels que Llama 2-70B ou Mixtral 8×7B, tout en consommant bien moins d’énergie.

Pour des séquences allant jusqu’à 4 millions de tokens, la accélération du temps jusqu’au premier token (TTFT) dépasse 100× par rapport à des modèles Transformers classiques. La capacité à gérer des contextes ultra-longs avec une mémoire constante constitue l’un des défis majeurs que SpikingBrain semble avoir relevé.

Vers une IA plus durable

La innovation la plus radicale pourrait résider dans l’efficacité énergétique. Selon les estimations, le modèle consomme une fraction de ce qu’exige un Transformer standard, grâce à son schéma de codage par pics et à l’utilisation de représentations dispersées qui réduisent les calculs superflus.

Dans un contexte où les centres de données dédiés à l’IA absorbent déjà plus de 3 % de l’électricité mondiale, des technologies comme SpikingBrain pourraient faire la différence entre une croissance insoutenable et un développement maîtrisé.

Précautions et interrogations

Malgré l’enthousiasme, ce travail n’a pas encore été validé par une revue par les pairs. Des experts internationaux soulignent qu’il reste à vérifier si cette approche « cérébrale » peut maintenir la précision et la polyvalence en raisonnement, génération de langage et multitâche, domaines où les Transformers restent preeminents.

La communauté scientifique rappelle aussi que l’IA neuromorphique est explorée depuis plus d’une décennie, avec des résultats prometteurs mais limités, et que le véritable défi consiste à faire évoluer ces architectures sans sacrifier la qualité.

Conclusion

SpikingBrain 1.0 n’est pas qu’une expérience académique : il constitue une remise en question directe de la domination des Transformers et une démonstration de la volonté chinoise de prendre une avance dans la prochaine génération d’intelligence artificielle. Si ses résultats se confirment, nous assisterions à un moment charnière dans l’histoire de l’IA, où la s’inspiration biologique permet des modèles plus rapides, plus accessibles et plus durables.

La question demeure : l’Occident répondra-t-il par sa propre vague d’IA « cerveau » ou SpikingBrain marquera-t-il le début d’un nouveau paradigme technologique made in China ?

Questions fréquentes

Qu’est-ce que SpikingBrain 1.0 ?
Il s’agit d’un modèle d’intelligence artificielle inspiré du cerveau humain, basé sur des neurones à pics, développé par la CASIA. Il se distingue des Transformers par sa capacité à traiter l’information de façon plus efficace, avec une consommation plus faible.

Pourquoi est-il plus rapide que ChatGPT ?
Parce qu’au lieu de calculer toutes les connexions possibles à chaque étape, il n’active que les neurones nécessaires, ce qui réduit les calculs redondants. Cela lui permet d’être jusqu’à 100 fois plus rapide sur de longues séquences.

Quelle est l’importance du matériel MetaX ?
En utilisant des GPU conçus en Chine, le modèle évite la dépendance à NVIDIA et les restrictions d’exportation américaines, renforçant ainsi l’autonomie technologique de Pékin.

Est-ce déjà une alternative sérieuse aux Transformers ?
Les résultats sont prometteurs, mais nécessitent encore une validation indépendante. Reste à voir si cette approche pourra rivaliser avec la précision et la flexibilité de modèles comme GPT-4 ou Gemini pour des applications complexes.

Source : Noticias inteligencia artificial