Confluent, Inc., entreprise pionnière dans le domaine du streaming de données, a annoncé la mise à disposition générale (GA) de ses intégrations avec Delta Lake et Unity Catalog de Databricks dans le cadre de Confluent Tableflow. Par ailleurs, une version early access (EA) est désormais disponible pour Microsoft OneLake. Grâce à ces améliorations, Tableflow s’affirme comme une solution intégrée, entièrement gérée permettant de connecter des systèmes opérationnels, analytiques et d’intelligence artificielle (IA) dans des environnements hybrides et multi-cloud. Ces nouvelles fonctionnalités rendent possible la matérialisation de sujets Apache Kafka® directement en tables Delta Lake ou Apache Iceberg™, tout en intégrant contrôles de qualité automatisés, synchronisation de catalogues et niveaux de sécurité d’entreprise avancés.

Depuis son lancement, Tableflow a révolutionné la manière dont les organisations préparent et gèrent des données en temps réel pour l’analyse, en éliminant les tâches ETL complexes et les intégrations manuelles avec Lakehouse qui ralentissent les processus. Avec la mise à disposition générale des intégrations avec Delta Lake et Unity Catalog, ainsi que sa compatibilité avec OneLake, Confluent renforce son rôle dans l’écosystème multi-cloud. Ces mises à jour offrent une plateforme unifiée connectant données en temps réel et analytiques sous une gouvernance d’entreprise robuste, favorisant le développement d’applications d’IA et d’analyses instantanées qui permettent aux entreprises de garder une longueur d’avance.

« Les entreprises cherchent à exploiter pleinement leurs données en temps réel, mais le manque d’intégration entre le traitement en temps réel et l’analyse a toujours représenté un obstacle majeur », explique Shaun Clowes, directeur produit chez Confluent. « Avec Tableflow, nous eliminons cette barrière en facilitant la connexion directe entre Kafka et les lakehouses gérés. Cela signifie que des données de haute qualité sont prêtes pour l’analyse et l’intelligence artificielle dès leur création », ajoute-t-il.

Prêt pour la production à grande échelle

La version GA intègre de nouvelles fonctions de niveau entreprise qui positionnent Tableflow comme l’une des solutions de streaming vers table les plus complètes, fiables et sécurisées disponibles aujourd’hui. Ceci permet aux organisations de :

• Simplifier l’analyse : La compatibilité avec Delta Lake (GA) convertit directement les topics Kafka en tables Delta Lake stockées dans des systèmes de stockage d’objets en cloud (Amazon S3 ou Azure Data Lake Storage). Il est désormais possible d’activer simultanément les formats Delta Lake et Iceberg par sujet pour une analyse flexible et multi-format.
• Unifier la gouvernance : La compatibilité avec Unity Catalog (GA) synchronise automatiquement les métadonnées, le schéma et les politiques d’accès entre Tableflow et Databricks Unity Catalog, assurant une gouvernance centralisée et une gestion cohérente des données au sein de toute l’organisation.
• Améliorer la fiabilité : La Dead Letter Queue capture et isole les enregistrements malformés sans interrompre le flux de données. Ce système d’erreur, appuyé par les schémas de données, offre une plus grande transparence, une récupération accélérée et une qualité de données intégrée.
• Gagner du temps et réduire la complexité : La fonctionnalité Upsert met automatiquement à jour et insère les enregistrements à chaque modification des données, maintenant ainsi la cohérence, sans doublons, des tables Delta Lake et Iceberg, prêtes à l’analyse sans intervention manuelle.
• Renforcer la sécurité : Bring Your Own Key étend la gestion des clés de chiffrement par le client à Tableflow pour un contrôle total des données au repos. Cela garantit la conformité réglementaire, particulièrement dans des secteurs hautement régulés comme la finance, la santé et le secteur public.

Fort d’évolutions telles que la gestion des schémas, la compression, la maintenance automatisée des tables et les intégrations avec Apache Iceberg, AWS Glue et Snowflake Open Catalog, Tableflow offre désormais une plateforme complète pour les équipes ayant besoin que leurs données en temps réel soient prêtes, réglementées et résilientes instantanément.

« Fournir une information en temps réel tirée des données IoT de bâtiments intelligents est au cœur de notre mission chez Attune », déclare David Kinney, architecte principal des solutions chez Attune. « Grâce à quelques clics, Confluent Tableflow nous permet de matérialiser des topics Kafka en tables fiables et prêtes pour l’analyse, offrant une visibilité précise à la fois sur l’interaction client et le comportement des dispositifs. Ces jeux de données de haute qualité alimentent désormais analyses, modèles d’apprentissage automatique ou IA générative, tous construits sur une base de données fiable. Tableflow a simplifié notre architecture data et ouvert de nouvelles opportunités pour exploiter davantage nos données », explique-t-il.

Maintenant disponible avec Microsoft OneLake

Tableflow est également accessible en version bêta sur Azure, intégré avec OneLake, ce qui étend sa présence et offre une plus grande flexibilité dans les déploiements multi-cloud. Cette nouveauté est particulièrement pertinente pour les organisations utilisant Azure Databricks et Microsoft Fabric, où les intégrations Delta Lake et Unity Catalog sont désormais pleinement supportées. Ensemble, elles offrent une expérience analytique fluide et contrôlée, depuis les flux de données en temps réel jusqu’aux cloud lakehouses. Avec ces améliorations, les clients peuvent désormais :

• Réduire le temps d’accès à l’information. Convertissez instantanément les topics Kafka en tables ouvertes dans Microsoft OneLake et interrogez-les depuis Microsoft Fabric ou via l’API de OneLake sans ETL ni gestion manuelle des schémas.
• Éliminer la complexité et les coûts opérationnels : Automatisez la gestion des schémas, la conversion des types et la maintenance des tables pour vos données de streaming, assurant gouvernance et fiabilité dans les flux analytiques natifs d’Azure.
• Activer les services d’analyse et d’IA Azure. Intégrez de manière transparente les services d’analyse et d’IA d’Azure en utilisant les API Microsoft OneLake Table pour enrichir l’analyse en temps réel et les cas d’usage IA. Gérez également facilement les déploiements via l’interface Confluent Cloud, CLI ou Terraform.

Le lancement en accès anticipé marque une étape importante dans l’expansion multi-cloud de Tableflow et renforce la collaboration entre Confluent, Microsoft et Databricks.

« L’accès aux données en temps réel est essentiel pour permettre à nos clients de prendre des décisions rapides et précises », déclare Dipti Borkar, vice-présidente et directrice générale de Microsoft OneLake et de l’écosystème ISV. « Désormais, avec la disponibilité de Confluent Tableflow sur Microsoft Azure, les clients peuvent transmettre des événements Kafka vers OneLake sous forme de tableaux Apache Iceberg ou Delta Lake, puis les interroger instantanément via Microsoft Fabric ou des moteurs tiers populaires grâce à l’API OneLake Table, ce qui simplifie la complexité et accélère la prise de décision », conclut-elle.