Transmettre des événements de lineage à un outil externe avec OpenLineage
Le consommateur OpenLineage vous permet de transmettre les événements de lineage de données générés par votre projet Data Platform vers une solution de lineage externe de votre choix
Objectif
Le consommateur OpenLineage vous permet de transmettre les événements de lineage de données générés par votre projet Data Platform vers une solution de lineage externe de votre choix. Une fois connectée, la platform diffuse en continu des événements conformes à OpenLineage vers votre backend de lineage afin que vous puissiez y visualiser et explorer votre graphe de lineage de données.
La Data Platform inclut également un visualiseur de lineage intégré : consultez Lineage dans le Lakehouse Manager. Le consommateur OpenLineage est destiné aux équipes qui souhaitent retrouver ces mêmes événements dans leur propre solution de lineage, consultez les outils compatibles ci-dessous.
Avis de compatibilité : à l'heure actuelle, Marquez est la seule solution de lineage validée pour fonctionner de manière fiable avec les événements OpenLineage de la Data Platform. D'autres outils compatibles OpenLineage peuvent recevoir les événements mais pourraient offrir une expérience dégradée. Nous recommandons d'utiliser Marquez pour de meilleurs résultats.
Solutions de lineage compatibles
La solution de lineage suivante a été validée pour fonctionner avec la Data Platform :
Tout outil exposant un endpoint d'API HTTP OpenLineage peut techniquement être utilisé, mais seul Marquez est officiellement pris en charge à l'heure actuelle.
Configurer le consommateur OpenLineage
Si vous ne l'avez pas encore fait, ajoutez un nouveau consommateur OpenLineage dans les Connectors. Sinon, éditez-le simplement.
Vous devrez fournir les valeurs suivantes :
Une fois qu'un consommateur de lineage est configuré, tous les événements de lineage seront stockés dans le Bucket du Lakehouse Manager DWH sous openlineage/events/queued. Les événements seront transmis à votre solution de lineage à chaque exécution de l'action DPE Send OpenLineage Events.
Envoyer des événements de lineage depuis le DPE
Les événements de lineage sont transmis par l'action Send OpenLineage Events dans le Data Processing Engine. Vous pouvez la configurer pour s'exécuter :
- En tant que cron job : selon un planning fixe (par ex. toutes les heures, toutes les nuits)
- En tant qu'action always-up : en continu, pour garder votre solution de lineage synchronisée quasiment en temps réel
Consultez la documentation Send OpenLineage Events pour le détail de la configuration.
Pour les actions Custom, le suivi du lineage est optionnel (opt-in). Consultez Suivre le lineage des données dans une action Custom pour apprendre à émettre des événements de lineage depuis votre propre code Python.
Aller plus loin
Si vous avez besoin d'une formation ou d'une assistance technique pour la mise en oeuvre de nos solutions, contactez votre commercial ou cliquez sur ce lien pour obtenir un devis et demander une analyse personnalisée de votre projet à nos experts de l’équipe Professional Services.
Posez vos questions, faites-nous part de vos commentaires et interagissez directement avec l’équipe qui développe la Data Platform sur le canal Discord dédié.
Si vous avez besoin d'une assistance concernant vos services OVHcloud, créez une demande depuis notre centre d'aide.
Rejoignez notre communauté d'utilisateurs.