La société mondiale de plateformes cloud, Fastly, a annoncé le lancement de son nouvel Accélérateur IA, une solution de mise en cache sémantique conçue pour optimiser les performances et réduire les coûts dans les applications de IA générative basées sur de grands modèles de langage (LLM).
Performance et efficacité améliorées
L’Accélérateur IA de Fastly promet des temps de réponse jusqu’à 9 fois plus rapides que les méthodes traditionnelles, marquant une avancée significative dans la résolution des goulots d’étranglement qui affectent les applications de IA générative. L’outil, qui offrait initialement un support pour OpenAI ChatGPT, est désormais également intégré avec Microsoft Azure AI Foundry, élargissant sa portée.
La mise en œuvre est remarquablement simple pour les développeurs. Selon Fastly, il suffit de mettre à jour le point d’accès de l’APIUne API, abréviation anglaise de « Application Programming Interface… de l’application, ce qui, dans de nombreux cas, ne nécessite qu’une modification d’une ligne de code. Cette approche simplifie grandement l’intégration pour ceux qui travaillent déjà avec des applications de IA générative.
Réduction des appels à l’API et des coûts
Une des caractéristiques clés de l’Accélérateur IA est sa capacité à réduire la dépendance à des appels répétitifs aux API des fournisseurs de IA, améliorant à la fois les performances et l’expérience utilisateur. Cette fonctionnalité ne réduit pas seulement les coûts opérationnels, mais débloque également le véritable potentiel des applications basées sur des modèles de langage.
Avis d’experts
Dave McCarthy, vice-président de la recherche sur les services Cloud et Edge chez IDC, a souligné l’importance de cette innovation:
« L’Accélérateur IA de Fastly représente un pas significatif vers la résolution des problèmes de performance associés à l’essor de l’IA générative. Son approche unique de mise en cache sémantique ne réduit pas seulement les coûts, mais maximise également les performances sans compromettre la vitesse ni l’efficacité. Cela renforce la position de Fastly en tant qu’acteur clé dans le paysage dynamique du cloud en périphérie. »
Accès pour les clients actuels
Les clients actuels de Fastly peuvent accéder directement à l’Accélérateur IA via leurs comptes, ce qui leur permet de bénéficier immédiatement de cet outil conçu pour révolutionner les performances des applications de IA générative.
Avec cette solution, Fastly renforce son rôle sur le marché des technologies edge, en offrant aux développeurs et aux entreprises un outil puissant pour rester à la pointe dans un environnement de IA en rapide évolution.
via: edgeir.com
