Confluent a présenté Kora, un moteur de données cloud qui alimente son service Apache Kafka®. Ce moteur de dernière génération n’est pas disponible en téléchargement et ne peut être exécuté en dehors du contrôle de Confluent, mais comprendre son fonctionnement interne révèle les avantages qu’il apporte et comment il améliore le service de Kafka à grande échelle.

Bien que Kora ne remplace pas Kafka open-source pour ceux qui préfèrent gérer leur propre système, il permet à Confluent d’offrir un service cloud à une échelle phénoménale. Voici les raisons de sa création, les avantages qu’il procure et un aperçu de son fonctionnement.

Pourquoi avons-nous construit Kora ?

Lorsque Confluent a lancé son service cloud en 2017, l’idée était d’offrir Kafka dans le cloud de manière complète. Cependant, initialement, ce service se limitait à une version open-source de Kafka sur une plateforme de contrôle basée sur KubernetesKubernetes (communément appelé dans l’anglais courant « K8s ») …, avec facturation, observabilité et contrôles opérationnels basiques. Bien que ce fût la meilleure offre de Kafka à son époque, elle était encore loin de la vision originale.

Il est devenu évident que pour correspondre à cette vision, il ne suffisait pas de faire fonctionner Kafka sur des serveurs AWS. Les systèmes réussis dans le cloud sont très différents dans leur architecture, leur fonctionnement et l’expérience client. Kora a été conçu pour surmonter ces limitations.

Différences entre les systèmes cloud et auto-gérés

Les systèmes de données dans le cloud font face à des défis différents de ceux des systèmes open-source auto-gérés. Apache Kafka est conçu pour être facile à configurer et à exécuter avec divers outils DevOps, offrant de hautes performances dans tout environnement, des mises à jour annuelles et géré par du personnel généraliste.

En revanche, un système cloud doit servir des milliers de clients, être multi-tenant dès sa création, être principalement opéré par logiciel, offrir isolement et sécurité robustes, et permettre des innovations rapides par une grande équipe.

Capacités de Kora

Pour répondre à ces exigences, Confluent a développé Kora, un moteur 100% compatible avec toutes les versions supportées du protocole Kafka, mais conçu comme un service réellement géré. Certaines de ses capacités incluent :

• Multitenancy : Prend en charge des milliers de locataires avec un isolement fort.
• Déploiement Global : Fonctionne dans plus de 85 régions sur trois clouds.
• Efficacité opérationnelle : Opéré à grande échelle par une petite équipe, étant environ 1000 fois plus efficace qu’une équipe Kafka moyenne.
• Désagrégation des Composants : Gère les réseaux, le calcul, les métadonnées et le stockage séparément.
• Gestion Intelligente des Données : Optimise l’emplacement des données entre la mémoire, les SSD et le stockage cloud pour maximiser les performances.
• Optimisation des Coûts : Réduit les coûts d’infrastructure grâce à l’automatisation et la gestion efficace des ressources.

Avantages pour les clients

Kora n’améliore pas seulement les opérations de Confluent, il offre également des avantages significatifs à ses clients, tels que :

• Élasticité : Permet un dimensionnement 30 fois plus rapide.
• Fiabilité : Plus de 10 fois supérieure en disponibilité, garantissant un SLA de 99,99 %.
• Performance : Une latence inférieure par rapport à Kafka autogéré sur un matériel similaire.
• Coût : Structure de coût optimisée économisant de l’argent aux clients.
• Compatibilité : Entièrement compatible avec le protocole Kafka.

Opérations automatisées et mises à jour continues

Une des caractéristiques clés de Kora est sa capacité à être principalement opéré par logiciel, réduisant le besoin d’intervention humaine. Cela comprend des contrôles continus de performance et de correction de données, ainsi que la détection et l’atténuation automatiques des problèmes d’infrastructure.

Kora se met également à jour en continu, ce qui signifie que les clients ont toujours accès aux dernières améliorations et correctifs de sécurité sans avoir à effectuer de mises à jour manuelles.

En résumé, Kora représente un progrès significatif dans la façon dont Confluent offre Apache Kafka dans le cloud, en fournissant une plateforme robuste, efficace et sécurisée pour les charges de travail critiques de ses clients.

Pour plus d’informations, visitez le blog de Confluent.