Teradata connecte son IA avec Microsoft OneLake sans déplacer ni dupliquer les données

Teradata connecte son IA avec Microsoft OneLake sans déplacer ni dupliquer les données

Teradata a intégré sa Autonomous Knowledge Platform avec Microsoft OneLake pour permettre aux entreprises d’exécuter des requêtes analytiques et des charges d’intelligence artificielle directement sur les données stockées dans OneLake, sans avoir à en faire une copie préalable dans Teradata. La connexion utilise les API ouvertes d’Apache Iceberg et l’authentification via Microsoft Entra ID, et est initialement disponible avec un accès en lecture.

Les clés de Teradata et Microsoft OneLake en 20 secondes

  • Teradata peut interroger directement des tables stockées dans Microsoft OneLake.
  • L’intégration évite de créer des copies et des pipelines ETL uniquement pour transférer des données d’une plateforme à une autre.
  • Elle utilise les API d’Apache Iceberg et l’authentification via Microsoft Entra ID.
  • Elle permet de combiner des données de Teradata et de OneLake dans une même charge analytique.
  • Pour l’instant, l’intégration annoncée offre un accès en lecture aux tables de OneLake.

Cette annonce aborde l’un des problèmes moins visibles dans les projets d’intelligence artificielle en entreprise : avant d’utiliser les données, il faut les localiser, les copier, les transformer, en assurer la gouvernance et les maintenir synchronisées.

Une grande organisation peut détenir des informations réparties entre bases de données d’entreprise, data warehouses, lakes de données, applications SaaS et différents fournisseurs cloud. Lorsqu’un nouveau système d’IA doit accéder à ces données, une solution classique consiste à créer une nouvelle canalisation d’extraction, de transformation et de chargement (ETL).

Le problème apparaît lorsque ces copies commencent à se multiplier.

Il y a plus de stockage à payer, des processus à maintenir et des permissions à gérer. La probabilité que deux systèmes travaillent sur des versions différentes de la même information augmente également.

L’intégration entre Teradata et OneLake tente d’éliminer une partie de ce parcours : au lieu de déplacer les données jusqu’au moteur analytique, on amène le moteur aux données.

Apache Iceberg devient un langage commun entre plateformes

L’élément technique clé permettant cette intégration est Apache Iceberg, un format ouvert de tables conçu pour travailler avec de grands ensembles de données analytiques.

Microsoft a étendu le support d’Iceberg dans OneLake. Son architecture permet de travailler aussi bien avec Delta Lake qu’avec Apache Iceberg via la virtualisation des métadonnées. Les tables Delta peuvent être exposées à des lecteurs compatibles Iceberg, et les tables Iceberg peuvent être utilisées depuis différentes charges de Microsoft Fabric.

De plus, OneLake dispose d’un endpoint REST compatible avec la norme Iceberg REST Catalog, initialement destiné aux opérations métadonnées en lecture seule.

Teradata exploite cette couche ouverte pour accéder aux tables.

Concrètement, une entreprise disposant d’informations dans Microsoft Fabric n’a pas nécessairement besoin de l’exporter, la transformer, puis de maintenir une seconde copie dans Teradata pour l’analyser depuis cette plateforme.

Les utilisateurs peuvent exécuter des requêtes sur les tables de OneLake et combiner ces données avec celles déjà résidant dans Teradata.

Cela permet, par exemple, de réaliser des joins complexes, de préparer des caractéristiques pour des modèles d’IA ou de répondre à des requêtes analytiques sous certains niveaux de service, sans avoir à consolider tous les données dans un seul référentiel au préalable.

L’interopérabilité ne signifie pas que les deux plateformes deviennent une seule : Teradata et Microsoft Fabric conservent leurs propres moteurs, services, coûts et modèles opérationnels. Ce qui change, c’est la nécessité de dupliquer physiquement certaines informations pour travailler avec elles.

Moins d’ETL peut signifier moins de coûts et moins de duplication de données

Pendant des années, copier des données entre plateformes a été une pratique courante dans l’analyse d’entreprise.

Le processus fonctionne, mais il coûte cher.

Une entreprise peut stocker un jeu de données original dans une plateforme, en maintenir une copie dans un data lake, en générer une autre pour un système analytique, et finir par créer de nouvelles versions pour des projets d’apprentissage automatique.

Chaque copie consomme de l’espace de stockage et doit être maintenue à jour.

Les pipelines échouent aussi. Il faut contrôler les schémas, les identités, les fenêtres de traitement, les dépendances et les changements dans les systèmes sources.

L’intelligence artificielle amplifie ce problème en nécessitant souvent de grandes quantités d’informations pour construire des variables, récupérer du contexte ou alimenter des applications et agents.

Teradata affirme que son intégration élimine cette étape pour les clients utilisant simultanément ses produits et Microsoft Fabric.

Il faut cependant préciser que la nécessité générale d’ETL ou de déplacement de données n’a pas disparu.

Il existera toujours de nombreuses situations où il sera nécessaire de nettoyer, transformer, copier, agréger ou réorganiser des données.

Ce qui peut disparaître, c’est un type précis de déplacement : copier des données de OneLake vers Teradata uniquement parce que le moteur Teradata doit les analyser.

Ce sous-ensemble est d’autant plus pertinent que la promesse n’est pas d’éliminer totalement l’ETL, mais de réduire ses cas d’usage classiques, notamment celui de la duplication systématique des données.

La gouvernance est aussi importante que la conservation

Le doublement des données pose en outre un problème de sécurité.

Lorsqu’un jeu de données est copié vers une autre plateforme, il faut aussi décider qui peut y accéder, comment s’authentifient les utilisateurs, quelles politiques s’appliquent et comment assurer la traçabilité.

L’intégration annoncée utilise Microsoft Entra ID pour gérer l’authentification entre plateformes. Teradata garantit également que l’accès permet de maintenir le modèle de gouvernance associé aux données, plutôt que de le reconstruire à chaque nouvelle copie.

Microsoft emploie une logique similaire avec OneLake.

Ses shortcuts fonctionnent comme des références à des informations stockées ailleurs. Ils peuvent pointer vers des données dans OneLake ou vers des sources externes comme Azure Data Lake Storage, Amazon S3, Google Cloud Storage et autres systèmes compatibles Iceberg.

Dans ce contexte, les permissions d’origine continuent à être essentielles. La documentation de Microsoft indique que l’accès aux shortcuts dépend des autorisations accordées à la fois à la source et à la destination.

La tendance est claire : les plateformes de données cherchent à fournir un accès logique à l’information distribuée, sans que chaque intégration nécessite la création d’une nouvelle copie physique.

Une composante particulièrement stratégique pour les agents IA

Teradata associe cette architecture à un autre grand changement du logiciel d’entreprise : les agents d’intelligence artificielle.

Un agent utile doit aller au-delà d’un simple modèle de langage.

Il doit connaître quel client réalise une requête, quels sont ses commandes, ses contrats, quels produits sont disponibles ou quelles politiques internes s’appliquent.

Une grande partie de cette connaissance est dispersée entre différents systèmes.

Dupliquer continuellement toutes ces données dans une plateforme spécifique à l’IA peut être coûteux et difficile à gouverner. Accéder à l’information là où elle réside déjà constitue une alternative viable.

La Autonomous Knowledge Platform de Teradata vise précisément à fournir contexte d’entreprise, gouvernance et capacité analytique pour les applications et agents d’IA. La connexion avec OneLake augmente la quantité d’informations utilisables sans nécessiter de migration préalable.

Cela ne signifie pas qu’un agent ait automatiquement accès à tout ce qui est stocké dans Fabric. Les permissions restent nécessaires, et l’architecture d’entreprise doit contrôler quelles données chaque application peut consulter.

De plus, tous les cas d’utilisation ne requièrent pas un accès direct en temps réel. Dans certains systèmes, il sera plus pertinent de préparer à l’avance des ensembles de données spécifiques.

L’avantage réside dans la possibilité d’avoir une autre option disponible.

OneLake renforce son rôle en tant que couche de données commune de Microsoft Fabric

Pour Microsoft, cette intégration s’inscrit dans la vision initiale de OneLake.

OneLake agit comme le lac de données logique unique de Microsoft Fabric. La société le présente comme une couche sur laquelle différents moteurs analytiques peuvent opérer sur une même information, sans que chacun ait besoin de maintenir nécessairement sa propre copie.

L’intégration de formats ouverts élargit cette approche au-delà des services de Microsoft.

Apache Iceberg joue un rôle clé car il est adopté par de nombreuses plateformes analytiques et permet de dé-corréler partiellement le format de stockage du moteur de traitement.

Pour les entreprises, cette séparation peut réduire un des risques historiques des grandes architectures de données : celui de devoir migrer physiquement d’énormes quantités d’informations lors du déplacement d’une plateforme à une autre.

L’intégration de Teradata illustre comment les formats ouverts commencent à être utilisés pour connecter des produits qui auparavant nécessitaient des mécanismes spécifiques de réplication.

La première version présente une limitation importante : elle est en lecture seule

La disponibilité annoncée par Teradata est immédiate, mais il est important de bien comprendre ses limites.

L’intégration offre actuellement un accès en lecture aux tables de OneLake.

Teradata peut consulter et analyser ces données sans modifier les données stockées là-bas.

Cela concorde avec l’état actuel des API Iceberg de OneLake, dont la documentation précise qu’elles supportent principalement des opérations de métadonnées en lecture seule.

Il ne faut donc pas considérer cette annonce comme une intégration bidirectionnelle complète permettant à Teradata d’écrire directement dans les tables de Fabric.

Néanmoins, pour de nombreux cas d’analyse, un accès en lecture seul peut répondre à une part importante des besoins.

Une organisation peut ainsi conserver certains données dans OneLake, d’autres dans Teradata, et les analyser conjointement sans devoir procéder à une consolidation préalable.

Teradata présentera cette intégration lors de la European Microsoft Fabric + SQL Community Conference, qui se tiendra à Barcelone du 28 septembre au 1er octobre 2026.

Cette annonce reflète un changement plus large dans les architectures de données d’entreprise.

Pendant longtemps, intégrer des plateformes signifiait principalement déplacer l’information d’une plateforme à une autre. L’utilisation de stockage dé-couplé, de formats ouverts et de catalogues standard permet d’envisager une nouvelle architecture : maintenir la donnée là où il a du sens de l’entreposer, tout en permettant à différents moteurs autorisés de travailler directement dessus.

Dans un contexte où l’IA d’entreprise doit consulter de plus en plus d’informations, réduire les copies peut impacter les coûts, la latence et la gouvernance.

Et peut-être la partie la plus intéressante de cette collaboration entre Teradata et Microsoft : Apache Iceberg commence à faire de l’emplacement physique du donnée une décision moins dépendante du moteur final.

le dernier