Arm, l’entreprise reconnue de design de puces, a annoncé d’importantes avancées dans sa mission de faciliter le développement d’applications d’intelligence artificielle (IA) et d’apprentissage automatique (ML) sur les appareils basés sur son architecture. La compagnie collabore étroitement avec des fournisseurs de services en nuage et des cadres de travail leaders pour créer un environnement qui simplifie le processus de développement de logiciels accélérés par l’IA sur le hardware Arm.
Kleidi : La clé de la performance de l’IA sur Arm
Au cœur de cette initiative se trouve Arm Kleidi, une technologie qui rassemble les derniers outils de développement et ressources critiques pour stimuler la collaboration technique et l’innovation dans le domaine de l’apprentissage automatique. Depuis son lancement il y a seulement quatre mois, Kleidi accélère déjà le développement et débloque d’importantes améliorations de performance en IA sur les CPU de Arm.
Intégration avec des frameworks leaders
Arm a travaillé en étroite collaboration avec la communauté PyTorch pour intégrer les bibliothèques Kleidi directement dans le cadre. Cela permet aux développeurs d’applications de bénéficier automatiquement d’améliorations dramatiques en performance dès que de nouvelles versions du cadre sont lancées, sans avoir besoin de réaliser des étapes supplémentaires.
Les résultats de cette intégration sont remarquables :
- Un chatbot de démonstration d’Arm, propulsé par le modèle de langue Llama 3 de Meta et exécuté sur des processeurs AWS Graviton, a réalisé des réponses de chat en temps réel pour la première fois sur PyTorch.
- On a observé un temps 2,5 fois plus rapide pour générer le premier jeton après avoir intégré la technologie Kleidi dans le code source de PyTorch, mesuré sur AWS Graviton4.
- En appliquant des optimisations à torch.compile pour utiliser efficacement la technologie Kleidi, on a atteint des gains de performance de 1,35 à 2 fois sur une variété de charges de travail d’inférence de modèles de Hugging Face, mesurés sur AWS Graviton3.
Collaborations stratégiques
Arm collabore étroitement avec des fournisseurs de services en nuage comme AWS et Google, ainsi qu’avec la communauté croissante des fournisseurs de logiciels indépendants (ISV) d’apprentissage automatique, comme Databricks. L’objectif est de s’assurer que les développeurs puissent rester à jour avec la rapide évolution de l’IA générative.
Améliorations de performance en edge
En plus des avancées dans le nuage, Arm a annoncé que KleidiAI sera intégré dans ExecuTorch, le nouveau temps d’exécution d’inférence sur les dispositifs de PyTorch. Cette intégration est prévue pour être complétée en octobre 2024 et promet des améliorations de performance excitantes pour les dispositifs edge dans une large gamme d’applications.
L’avenir du développement de l’IA sur Arm
Alex Spinelli, récemment nommé membre du conseil d’administration de PyTorch, mène la mission d’Arm pour habiliter les développeurs du monde entier dans la création de capacités de l’IA et des applications de pointe, en exploitant tout le potentiel de l’IA de bout en bout sur Arm.
Avec ces initiatives, Arm continue son engagement à rendre l’expérience des développeurs aussi fluide que possible, indépendamment de leur position dans la pile d’apprentissage automatique. L’entreprise effectue le travail dur pour que les développeurs puissent se concentrer sur l’innovation et la création d’applications d’IA de la prochaine génération.
via : ARM news
