Titre : DeepSeek AI Présente un Nouveau Système de Fichiers Optimisé pour l’Intelligence Artificielle
Le développement de la Chine dans le domaine de l’intelligence artificielle se poursuit, malgré les restrictions imposées par les États-Unis concernant l’accès aux puces avancées et aux technologies de fabrication. DeepSeek AI, entreprise pionnière de ce secteur, a récemment dévoilé le Fire-Flyer File System (3FS), un système de fichiers distribué conçu pour optimiser les charges de travail d’entraînement et d’inférence en intelligence artificielle.
Ce système open-source est conçu pour tirer pleinement parti des capacités des SSD modernes et des réseaux RDMA, atteignant des performances de lecture qui dépassent les normes actuelles et optimisant l’accès à de grands volumes de données dans des environnements de haute performance.
3FS : Un Système de Fichiers pour une Nouvelle Ère de l’Intelligence Artificielle
Alors que les modèles d’intelligence artificielle deviennent de plus en plus complexes, la nécessité de systèmes de stockage permettant un accès rapide et efficace aux données est devenue cruciale. Le 3FS a été développé dans cette optique, fournissant une solution de stockage distribué qui améliore la performance et la scalabilité dans les environnements de calcul avancé.
Parmi ses principales caractéristiques figurent :
- Architecture désagrégée : Combine le rendement de milliers de SSD et de centaines de nœuds de stockage, garantissant un accès efficace aux données, peu importe leur emplacement physique.
- Forte cohérence : Met en œuvre la Replication Chaînée avec Queries Apportioned (CRAQ), facilitant le développement d’applications tout en garantissant la cohérence des données stockées.
- Interface de fichiers standard : Permet d’utiliser des systèmes de stockage sans avoir à apprendre de nouvelles API, s’appuyant sur des bases de données transactionnelles telles que FoundationDB pour la gestion des métadonnées.
Grâce à ces caractéristiques, 3FS se présente comme une option efficace pour la gestion des données dans les centres de calcul dédiés à l’entraînement de modèles d’intelligence artificielle.
Des Performances Qui Redéfinissent le Stockage dans les Environnements HPC
DeepSeek a testé 3FS dans diverses conditions de charge intensive, obtenant des résultats remarquables :
- Dans un cluster de 180 nœuds, chacun étant équipé de 16 SSD NVMe de 14 TiB et de réseaux InfiniBand de 200 Gbps, la vitesse de lecture agrégée a atteint 6,6 TiB/s (7,25 TB/s) lors de tests de stress.
- Lors du test GraySort, un banc d’essai pour évaluer la performance de tri de grands volumes de données, 3FS a réussi à traiter 110,5 TiB en 30 minutes et 14 secondes, atteignant une cadence de 3,66 TiB/minute dans un cluster de 25 nœuds.
- En ce qui concerne les tâches d’inférence avec des modèles de langage, KVCache en 3FS a atteint un rendement maximal de plus de 40 GiB/s par nœud, permettant d’optimiser le stockage en cache sans trop dépendre de la mémoire DRAM.
Ces résultats illustrent la capacité de 3FS à surmonter les goulets d’étranglement traditionnels en matière de stockage et à améliorer l’efficacité des tâches d’intelligence artificielle et de calcul haute performance (HPC).
Impact sur l’Industrie et Avantages par Rapport aux Solutions Traditionnelles
Le stockage efficace des données constitue un défi clé dans le développement de modèles d’intelligence artificielle. DeepSeek utilise 3FS en interne depuis 2019, intégrant cette technologie dans son infrastructure pour optimiser l’entraînement des modèles tout en réduisant la consommation de ressources.
Selon la société, son système de stockage a permis d’atteindre 80% de la performance d’un serveur NVIDIA DGX-A100, mais avec seulement 50% des coûts et 60% de la consommation énergétique. Cela représente un avantage compétitif significatif pour les entreprises cherchant à optimiser leurs dépenses sans sacrifier les performances.
Un autre aspect crucial est son accessibilité, car 3FS a été libéré en tant que logiciel open-source, permettant aux chercheurs et aux entreprises de bénéficier de cette technologie pour leurs propres applications d’intelligence artificielle.
Le code source et la documentation officielle du système de fichiers sont disponibles sur GitHub :
Dépôt officiel de 3FS sur GitHub
Conclusion : 3FS Établit un Nouveau Standard en Stockage pour l’IA
Le développement du Fire-Flyer File System (3FS) positionne DeepSeek comme l’une des entreprises les plus innovantes dans le domaine de l’intelligence artificielle. En offrant une solution de stockage évolutive, efficace et à haute performance, l’entreprise prouve que la Chine ne fait pas que rattraper ses concurrents dans le domaine de l’IA, mais qu’elle est également en avance dans les avancées technologiques nécessaires pour l’avenir du secteur.
Avec la demande croissante pour des solutions optimisées pour l’entraînement de modèles, 3FS pourrait devenir un outil clé pour les centres de données, les institutions de recherche et les entreprises cherchant à améliorer leurs capacités en intelligence artificielle sans avoir recours à des technologies propriétaires.
Source : Actualités Intelligence Artificielle
