Retracer le flux de vos données dans votre projet grâce au lineage

Voir en Markdown

Le lineage est enregistré automatiquement pour les actions Load et Aggregate (Python et PySpark), et facultatif pour les actions Custom et les notebooks via le SDK

Objectif

Le Lineage vous offre une cartographie visuelle intégrée du flux de données dans votre projet : quelles tâches alimentent chaque table, quelles tables elles produisent à leur tour, et comment tout se connecte de la source à la destination. Le graphe est construit à partir des événements OpenLineage que votre projet enregistre au fil de l'exécution des tâches, sans rien à installer ni à configurer.

Le Lineage est enregistré automatiquement pour les actions Load et Aggregate (Python et PySpark), et est optionnel pour les actions Custom et les notebooks via le SDK. Le Lineage pour les requêtes Trino (Explorer, Analytics Manager) arrive bientôt. Consultez ce qui génère des événements de lineage ci-dessous.

Ouvrir la vue de lineage

Il existe deux façons d'accéder au lineage d'une table :

Depuis la section Lineage du Lakehouse Manager : la page s'ouvre sur une barre de recherche où chaque table de votre projet est recherchable. Commencez à taper le nom de la table dont vous souhaitez voir le lineage et sélectionnez-la pour afficher son graphe.
Depuis la vue détaillée d'une table : cliquez sur le bouton Lineage pour accéder à la page de lineage avec cette table déjà affichée.

Explorer le graphe

Le graphe démarre à partir de la table que vous avez sélectionnée : votre nœud central, marqué d'un contour bleu pour que vous ne perdiez jamais de vue où le graphe commence. Autour de lui, le graphe affiche les tables et les tâches auxquelles il est connecté : les tâches et tables dont votre table est construite en amont, et tout ce qui est construit à partir d'elle en aval.

Le graphe est composé de deux types de nœuds : les nœuds de table, qui listent leurs colonnes, et les nœuds de tâche, les exécutions qui relient les tables entre elles en les lisant et en les écrivant.

Info

Le graphe n'est jamais vide : une table sans lineage pour l'instant est simplement affichée seule, sans connexions. Le lineage apparaît dès qu'une exécution de tâche se termine, une nouvelle exécution s'affiche donc immédiatement.

Nœuds de table

Cliquez sur un nœud de table pour voir les détails de la table : son dataset, ses colonnes, la ou les tâches productrices qui l'écrivent, et la ou les tâches consommatrices qui la lisent.

Cliquer sur un autre nœud de table affiche ses détails mais ne recentre pas le graphe : pour repartir d'une table différente, sélectionnez-la plutôt depuis la barre de recherche Lineage.

Nœuds de tâche

Cliquez sur un nœud de tâche pour voir l'exécution derrière la connexion :

Détail	Signification
Job name	Le nom de la tâche qui a produit l'événement de lineage
Kind	DPE (l'exécution d'une action), Lakehouse (le chargement automatique lors de la construction d'une table), ou SDK (suivi personnalisé émis depuis votre propre code)
Action type	Load, Aggregate, ou Custom
Last run et status	Quand la tâche s'est exécutée pour la dernière fois et comment elle s'est terminée
Input tables et output tables	Ce que la tâche a lu et ce qu'elle a écrit

Pour les tâches DPE et Lakehouse, un lien direct au bas des détails ouvre la tâche elle-même. Les tâches SDK n'ont pas de lien, puisqu'il s'agit de lineage que vous avez émis vous-même via les helpers du SDK.

Contrôles du graphe

Les contrôles en haut à droite ajustent ce que le graphe affiche :

Bascule Full graph : affiche également les tables sœurs, en plus des producteurs et consommateurs déjà affichés.
Bascule Compact nodes : une vue minimale des nœuds, sans leurs colonnes.
Zoom in, zoom out, et fit to screen.
Depth : le nombre de niveaux amont et aval que le graphe affiche, de 1 à 10 (par défaut : 2) ; augmentez-le pour suivre le flux plus loin.

Lineage au niveau des colonnes

Au-delà des flux de table à table, le Lineage suit également comment les colonnes se connectent entre les tables : pour une colonne donnée, à partir de quelles colonnes amont elle est calculée, et quelles colonnes aval sont calculées à partir d'elle.

Cliquez sur une colonne d'un nœud de table dans le graphe, ou sur une colonne dans les détails de la table, pour basculer vers son lineage de colonne. Lorsque le lineage est disponible, le graphe connecte les colonnes entre les tables pour montrer comment elles sont liées. Une colonne sans lineage propre est affichée comme indépendante, avec un contour bleu la marquant comme solitaire.

Info

Le lineage au niveau des colonnes n'est pas disponible lorsque Compact nodes est activé : désactivez la bascule pour naviguer dans les colonnes.

Ce qui génère des événements de lineage

Source	Lineage
Actions Load et Aggregate (Python et PySpark)	Automatique, avec détail au niveau des colonnes
Actions Custom (Python et PySpark)	Optionnel : émettez des événements depuis votre code avec les helpers de lineage du SDK
Notebooks (Python et PySpark)	Optionnel, en utilisant les mêmes helpers de lineage du SDK
Requêtes Trino (Explorer, Analytics Manager)	Bientôt disponible

Utiliser votre propre outil de lineage

Les mêmes événements OpenLineage peuvent être transférés vers une solution de lineage externe telle que Marquez. Configurez le consommateur OpenLineage et planifiez l'action Send OpenLineage Events pour les diffuser vers votre backend.

Aller plus loin

Si vous avez besoin d'une formation ou d'une assistance technique pour la mise en oeuvre de nos solutions, contactez votre commercial ou cliquez sur ce lien pour obtenir un devis et demander une analyse personnalisée de votre projet à nos experts de l’équipe Professional Services.

Posez vos questions, faites-nous part de vos commentaires et interagissez directement avec l’équipe qui développe la Data Platform sur le canal Discord dédié.

Si vous avez besoin d'une assistance concernant vos services OVHcloud, créez une demande depuis notre centre d'aide.

Rejoignez notre communauté d'utilisateurs.

Cette page vous a-t-elle aidé ?