La nouvelle plateforme Cosmos promet d’accélérer le développement de robots et de véhicules autonomes avec des modèles avancés et un traitement des données optimisé.

Au CES 2025, NVIDIA a lancé Cosmos, une plateforme innovante conçue pour transformer le développement de systèmes d’Intelligence Artificielle (IA) physique, tels que les robots et les véhicules autonomes (VA). La plateforme comprend des modèles génératifs fondamentaux, des tokenizeurs avancés et un pipeline accéléré de traitement des données, optimisés pour les GPU NVIDIA des centres de données.

Cosmos : Démocratiser l’IA physique

Le développement de l’IA physique traditionnellement nécessite d’importants ressources en données et des essais réels, ce qui est coûteux et lent. Avec Cosmos, les développeurs peuvent générer des données synthétiques photoréalistes basées sur la physique pour entraîner et évaluer les modèles. En outre, la plateforme permet de personnaliser ces modèles avec des données spécifiques, telles que des enregistrements de véhicules autonomes dans diverses conditions ou des robots opérant dans des entrepôts.

Selon Jensen Huang, fondateur et PDG de NVIDIA : “Le moment de transformation pour la robotique est proche. Tout comme les modèles de langage, les modèles fondamentaux de mondes sont clés pour avancer dans le développement de robots et de VA. Cosmos met ces outils à la portée de tous les développeurs.”

Modèles ouverts et polyvalents

Les modèles fondamentaux de Cosmos sont disponibles sous une licence ouverte, encourageant la collaboration dans la communauté robotique et VA. Les développeurs peuvent accéder à ces modèles via le catalogue d’APIs de NVIDIA ou les télécharger depuis NVIDIA NGC ou Hugging Face pour personnalisation.

Ces modèles sont idéaux pour des tâches telles que :

• Recherche et compréhension de vidéos : Identifier des scénarios spécifiques, comme la congestion dans des entrepôts ou des routes enneigées, dans de grands volumes de données.
• Génération de données synthétiques photoréalistes : Créer des vidéos basées sur des scénarios contrôlés dans NVIDIA Omniverse.
• Développement et évaluation des modèles d’IA physique : Personnaliser les modèles avec l’apprentissage par renforcement et évaluer leur performance dans des simulations.
• Simulation de futurs possibles : Générer de multiples résultats de scénarios pour entraîner des modèles à choisir le meilleur chemin.

Outils avancés pour le développement de l’IA

Cosmos inclut des outils conçus pour optimiser la création et le traitement de modèles d’IA physique :

• Pipeline accéléré de traitement des données : Avec la technologie NVIDIA AI et CUDA, permet de traiter 20 millions d’heures de vidéo en seulement 14 jours, contre les trois ans que cela prendrait avec un pipeline traditionnel basé sur des CPU.
• Cosmos Tokenizer : Un tokenizeur visuel de dernière génération qui transforme les images et vidéos en tokens 8 fois plus comprimés et 12 fois plus rapides que les tokenizeurs actuels.
• NVIDIA NeMo Framework : Une plateforme pour entraîner, personnaliser et optimiser les modèles de manière efficace.

Adoption mondiale par les leaders de l’IA physique

Des entreprises leaders en robotique et transport adoptent les technologies de Cosmos :

• Robotique : XPENG utilise Cosmos pour développer des robots humanoïdes, tandis qu’Agility crée des scénarios photoréalistes pour entraîner des modèles sans nécessiter de coûteuses données du monde réel.
• Véhicules autonomes : Des entreprises telles que Waabi et Foretellix utilisent Cosmos pour générer des scénarios de test et des données d’entraînement de haute fidélité.
• Mobilité autonome : Uber collabore avec NVIDIA pour utiliser Cosmos et ses puissantes capacités de données dans le développement de modèles d’IA plus robustes.

Dara Khosrowshahi, PDG d’Uber, a commenté : “L’IA générative sera clé pour l’avenir de la mobilité. Cosmos et NVIDIA DGX Cloud accélèreront de manière significative les solutions de conduite autonome sûre et scalable.”

Engagement envers une IA sûre et responsable

NVIDIA a développé Cosmos en suivant des principes d’IA de confiance, en priorisant la vie privée, la sécurité et la transparence. La plateforme inclut des outils pour atténuer le contenu nuisible et marquer les vidéos générées par l’IA avec des filigranes invisibles, réduisant le risque de désinformation.

NVIDIA invite les développeurs à adopter des pratiques d’IA responsable, améliorant les solutions de sécurité et de transparence dans leurs applications.

Disponibilité

Cosmos est disponible dans le catalogue de NVIDIA NGC et sur Hugging Face. Les modèles seront optimisés en tant que microservices NIM de NVIDIA prochainement. La plateforme est également compatible avec NVIDIA DGX Cloud pour des déploiements rapides et un support entreprise via NVIDIA AI Enterprise.

Avec Cosmos, NVIDIA redéfinit le développement de l’IA physique, propulsant la robotique et les véhicules autonomes vers de nouveaux sommets en innovation et accessibilité.