Dans le domaine de l’intelligence artificielle, la quête de l’amélioration du raisonnement dans les modèles de langage a franchi une nouvelle étape avec le lancement d’Open-R1, un projet visant à reconstruire de manière ouverte le pipeline d’entraînement de DeepSeek-R1. Cette initiative, qui attire l’attention de la communauté technologique, repose sur la récente diffusion de DeepSeek-R1 et son approche innovante utilisant l’apprentissage par renforcement pour renforcer le raisonnement dans des tâches complexes.

DeepSeek-R1 s’est initialement distingué par sa capacité à résoudre des problèmes mathématiques, de programmation et de logique, surpassant même des modèles de référence tels que le o1 d’OpenAI. Le secret de son succès réside dans l’utilisation intensive du calcul lors de l’inférence, permettant au modèle d’apprendre à décomposer des problèmes complexes et à vérifier ses propres réponses. De plus, le modèle est basé sur DeepSeek-V3, un modèle robuste de 671 milliards de Mixture of Experts (MoE) qui a montré des performances comparables à d’autres géants comme Sonnet 3,5 et GPT-4o. L’un des aspects les plus remarquables de cette approche a été son efficacité en termes de coûts, atteinte avec un investissement de seulement 5,5 millions de dollars, grâce à des innovations architecturales telles que la Prédiction de Multiples Tokens (MTP) et l’Attention Latente Multi-Cabeza (MLA).

La version DeepSeek-R1 se distingue de sa variante DeepSeek-R1-Zero par sa méthodologie d’entraînement. Alors que la version « Zero » n’a pas intégré de supervision humaine et s’est reposée exclusivement sur l’apprentissage par renforcement via l’optimisation de politiques relatives en groupe (GRPO), DeepSeek-R1 a intégré une phase initiale de « cold start ». Cette étape consistait à peaufiner le modèle avec un petit ensemble d’exemples soigneusement sélectionnés afin d’améliorer la clarté et la lisibilité des réponses. Par la suite, le modèle a traversé plusieurs phases de renforcement et de raffinage, incluant l’élimination de sorties de faible qualité grâce à des récompenses vérifiables et basées sur la préférence humaine.

Cependant, malgré l’impact généré par DeepSeek-R1, son lancement a soulevé certaines questions restées sans réponse. Bien que les poids du modèle aient été libérés, les ensembles de données et le code utilisés dans son entraînement demeurent inaccessibles. Face à cette limitation, Open-R1 a pour objectif de reconstruire ces composants essentiels afin que la communauté de recherche et l’industrie puissent répliquer ou même améliorer les résultats obtenus par DeepSeek-R1.

Le plan d’action d’Open-R1 est structuré en plusieurs étapes fondamentales :

1. Réplication des modèles R1-Distill : L’objectif est de distiller un ensemble de données de raisonnement de haute qualité à partir de DeepSeek-R1.
2. Reconstruire le pipeline d’apprentissage par renforcement : L’initiative vise à reproduire le processus ayant permis de créer la version R1-Zero, ce qui impliquera la curation de nouveaux ensembles de données à grande échelle axés sur les mathématiques, le raisonnement et le code.
3. Validation de l’entraînement en plusieurs étapes : Il sera démontré qu’il est possible de passer d’un modèle de base à un modèle affiné par supervision (SFT) puis, ensuite, par apprentissage par renforcement.

L’utilisation d’ensembles de données synthétiques facilitera aux chercheurs et aux développeurs la transformation des modèles de langage existants en modèles spécialisés dans le raisonnement. Par ailleurs, la documentation détaillée de ce processus vise à partager des connaissances afin d’éviter le gaspillage de ressources informatiques et de temps sur des approches infructueuses.

La pertinence de cette initiative ne se limite pas au domaine des mathématiques ou de la programmation. L’impact potentiel des modèles de raisonnement touche des domaines aussi variés que la médecine et d’autres domaines scientifiques, où la capacité à décomposer et analyser des problèmes complexes peut faire une différence significative.

Open-R1 se présente donc non seulement comme un exercice de réplication technique, mais également comme une proposition de collaboration ouverte. En invitant la communauté à contribuer avec du code, à participer à des discussions sur des plateformes telles que Hugging Face, et à apporter des idées, le projet vise à poser les bases du développement de futurs modèles d’intelligence artificielle aux capacités de raisonnement avancées.

Cette quête de transparence et de collaboration dans le domaine de l’apprentissage par renforcement ouvre de nouvelles perspectives pour le développement de technologies d’intelligence artificielle, favorisant une ère où la science et l’industrie travaillent main dans la main pour résoudre les défis du raisonnement automatisé.

via : Actualités Intelligence Artificielle