Akamai, entreprise de cybersécurité et de cloud computing, a annoncé le lancement de Akamai Cloud Inference, marquant ainsi le début d’une nouvelle ère d’innovation plus rapide et efficace pour les organisations cherchant à transformer les modèles prédictifs et les modèles de langage étendus (LLMs) en réalité. Akamai Cloud Inference fonctionne sur l’Akamai Cloud, le réseau le plus distribué au monde, répondant ainsi aux limitations croissantes des modèles centralisés dans le cloud.

“Rapprocher les données d’IA des utilisateurs et des dispositifs est un défi, et c’est un domaine où les clouds traditionnels rencontrent des difficultés”, déclare Francisco Arnau, vice-président d’Akamai pour l’Espagne et le Portugal.

“Alors que le travail ardu d’entraînement des LLM se poursuivra dans de grands centres de données à hyper-échelle, le travail d’inférence se déroulera au niveau de l’edge, où le réseau qu’Akamai a construit au cours des 25 dernières années devient essentiel pour l’avenir de l’IA et nous distingue de tout autre fournisseur de cloud sur le marché.”

L’inférence d’IA dans l’Akamai Cloud

La nouvelle solution d’Akamai fournit des outils permettant aux ingénieurs et aux développeurs de créer et d’exécuter des applications d’IA avec de gros volumes de données, plus près des utilisateurs finaux, offrant des performances jusqu’à trois fois meilleures et réduisant la latence jusqu’à 2,5 fois. Grâce à cette solution, les entreprises peuvent réaliser des économies allant jusqu’à 86 % sur les inférences d’IA et les charges de travail liées à l’IA par rapport à l’infrastructure traditionnelle à hyper-échelle. Akamai Cloud Inference comprend :

• Calcul : Akamai Cloud propose un ensemble de calcul large et polyvalent, allant des CPU classiques aux options de calcul accéléré par GPU et aux VPU ASIC personnalisés, pour fournir la puissance nécessaire à un large éventail de défis d’inférence d’IA. Akamai s’intègre à l’écosystème d’IA d’entreprise de Nvidia, exploitant Triton, Tao Toolkit, TensorRT et NvFlare pour optimiser la performance de l’inférence d’IA sur les GPU de Nvidia.

• Gestion des données : Akamai permet aux clients d’exploiter tout le potentiel de l’inférence d’IA avec une architecture de données de pointe conçue spécifiquement pour les charges de travail d’IA modernes. Akamai s’est associé à VAST Data pour fournir un accès optimisé aux données en temps réel, essentiel pour offrir des résultats pertinents et une expérience réactive. Cela est complété par un stockage d’objets hautement évolutif pour gérer le volume et la variété des ensembles de données critiques pour les applications d’IA, ainsi que l’intégration avec les principaux fournisseurs de bases de données vectorielles, tels qu’Aiven et Milvus, pour permettre la génération augmentée (RAG). Grâce à cette plateforme de gestion des données, Akamai stocke en toute sécurité des données de modèles ajustés et des éléments de formation pour offrir une inférence d’IA à faible latence à l’échelle mondiale.

• Conteneurisation : la conteneurisation des charges de travail d’IA permet l’auto-scaling en fonction de la demande, améliore la résilience des applications et facilite la portabilité hybride-multicloud, tout en optimisant à la fois la performance et le coût. Avec Kubernetes, Akamai offre une inférence d’IA plus rapide, moins coûteuse et sécurisée avec des performances à l’échelle des pétaoctets. Soutenu par Linode Kubernetes Engine – Enterprise, une nouvelle édition d’entreprise de la plateforme d’orchestration Kubernetes d’Akamai Cloud conçue spécifiquement pour les charges de travail d’entreprise à grande échelle, et la récemment annoncée Akamai App Platform, Akamai Cloud Inference est en mesure de déployer rapidement une plateforme Kubernetes open source prête pour l’IA avec des projets Kubernetes open source, y compris Kserve, KubeFlow et SpinKube, parfaitement intégrés pour faciliter le déploiement de modèles d’IA pour l’inférence.

• Edge Compute : pour simplifier le processus de création d’applications basées sur l’IA, Akamai AI Inference inclut des capacités WebAssembly (WASM). En collaborant avec des fournisseurs de WASM tels que Fermyon, Akamai permet aux développeurs d’exécuter des inférences pour des LLM directement depuis des applications sans serveur, permettant ainsi aux clients d’exécuter un code léger en bordure pour activer des applications sensibles à la latence.

Ensemble, ces outils créent une plateforme puissante pour des applications d’IA à faible latence qui permettent aux entreprises de fournir l’expérience demandée par leurs utilisateurs. Akamai Cloud Inference fonctionne sur le réseau massivement distribué de l’entreprise, capable de fournir plus d’un pétaoctet par seconde de performances pour des charges de travail intensives en données. Avec plus de 4 100 points de présence dans plus de 1 200 réseaux à travers plus de 130 pays, Akamai Cloud rend les ressources informatiques disponibles, allant du cloud à l’edge, tout en accélérant les performances des applications et en augmentant l’évolutivité.

Le passage de l’entraînement à l’inférence

À mesure que l’adoption de l’IA mûrit, les entreprises réalisent que le boom autour des LLM a créé une distraction, détournant l’attention des solutions pratiques d’IA les plus adaptées à la résolution de problèmes d’entreprise spécifiques. Les LLM excellent dans des tâches à objectif général telles que le résumé, la traduction et le service client. Ce sont des modèles très lourds, coûteux et nécessitant beaucoup de temps d’entraînement.

De nombreuses entreprises ont été limitées par les exigences architecturales et les coûts, y compris les centres de données et la puissance de calcul, les systèmes de données bien structurés, sécurisés et évolutifs, ainsi que les défis que les exigences de localisation et de sécurité imposent à la latence des décisions. Les modèles légers d’IA, conçus pour aborder des problèmes d’entreprise spécifiques, peuvent être optimisés pour des secteurs particuliers, tirant parti des données internes pour générer des résultats mesurables, représentant ainsi un meilleur retour sur investissement pour les entreprises d’aujourd’hui.

L’inférence IA nécessite un cloud plus distribué

De plus en plus, les données seront générées en dehors des centres de données centralisés ou des régions de cloud. Ce changement stimule la demande de solutions d’IA qui favorisent la génération de données plus près du point d’origine. Cela nécessite une reconfiguration fondamentale des besoins en infrastructure alors que les entreprises passent au-delà de la création et de la formation des LLM, vers une exploitation des données pour prendre des décisions plus rapides et intelligentes tout en investissant dans des expériences plus personnalisées. Les entreprises reconnaissent qu’elles peuvent générer davantage de valeur en utilisant l’IA pour gérer et améliorer leurs opérations et processus commerciaux.

Les architectures distribuées dans le cloud et à l’edge émergent comme les préférées pour les cas d’utilisation d’intelligence opérationnelle, car elles peuvent fournir des informations exploitables en temps réel sur des actifs distribués, même dans des environnements éloignés. Les premiers exemples de clients dans l’Akamai Cloud incluent des assistants vocaux en voiture, une gestion des cultures basée sur l’IA, l’optimisation d’images pour les marchés de consommation, des expériences d’achat avec visualisation virtuelle de vêtements, des générateurs automatisés de descriptions de produits et des analyseurs d’opinions de clients.

“Créer un LLM est comme élaborer une carte : cela nécessite de rassembler des données, d’analyser le terrain et de tracer des itinéraires. C’est lent et nécessite beaucoup de ressources, mais une fois construit, c’est très utile. L’inférence d’IA est comme utiliser un GPS : elle applique instantanément ces connaissances, recalcule en temps réel et s’adapte aux changements pour vous situer là où vous en avez besoin”, ajoute Arnau. “L’inférence est la prochaine frontière de l’IA.”