For AI agents: the complete documentation index is available at https://docs.ovhcloud.com/fr/llms.txt, the full documentation bundle is available at https://docs.ovhcloud.com/fr/llms-full.txt, and this page is available as Markdown at https://docs.ovhcloud.com/fr/guides/public-cloud/data-platform/dpe-actions-send-openlineage-events.md.

Send OpenLineage Events

Voir en Markdown

Elle lit les évènements de lignage enregistrés par la platform et les transmet à votre backend de lignage en utilisant le standard OpenLineage

Objectif

L'action Send OpenLineage Events transmet les évènements de lignage de données de votre projet Data Platform vers une solution de lignage externe connectée via le consumer OpenLineage. Elle lit les évènements de lignage enregistrés par la platform et les transmet à votre backend de lignage en utilisant le standard OpenLineage.

Action Send open lineage
Info

Avant d'utiliser cette action, vous devez configurer un consumer OpenLineage dans les Connectors pour définir où les évènements doivent être envoyés.

Prérequis

  1. Vous disposez d'une solution de lignage externe avec une API HTTP compatible OpenLineage (par exemple Marquez).
  2. Vous avez configuré un consumer OpenLineage avec l'URL de l'endpoint et le token d'authentification de votre backend de lignage.

Créer une action Send OpenLineage Events

  1. Accédez à l'onglet Actions dans le Data Processing Engine.
  2. Cliquez sur Nouvelle action.
  3. Sélectionnez Send OpenLineage Events dans l'action store.

Cette action ne nécessite aucune configuration supplémentaire. Elle lit automatiquement l'endpoint et le token d'authentification depuis les paramètres de votre OpenLineage Consumer et les utilise pour transmettre les évènements.

Fonctionnement

Une fois déclenchée, l'action traite tous les évènements stockés dans le dossier queued/ du DWH Bucket et les envoie vers l'endpoint OpenLineage configuré.

Gestion des fichiers

  • Envois réussis :

    • Si keep events est défini sur true dans l'OpenLineage Consumer, les fichiers envoyés avec succès sont déplacés vers le dossier success/ du DWH Bucket.
    • De plus, un fichier de log récapitulatif est créé sous openlineage/events/success/log/.

  • Erreurs :
    En cas d'échec, les évènements sont déplacés vers le dossier error/, et un fichier de log détaillé est généré sous error/logs/ contenant davantage d'informations sur l'erreur.

Modes d'exécution

Vous pouvez exécuter l'action Send OpenLineage Events de deux manières selon la fréquence à laquelle vous souhaitez que votre solution de lignage soit mise à jour.

Cron job

Planifiez l'action pour qu'elle s'exécute à intervalle fixe à l'aide d'une expression cron. C'est le mode recommandé pour la plupart des cas d'usage où un lignage quasi temps réel n'est pas requis.

Pour configurer une planification cron, ouvrez l'onglet Paramètres de l'action et définissez le déclencheur sur Cron. Saisissez l'expression cron souhaitée (par exemple 0 * * * * pour toutes les heures).

Info

Consultez la configuration du déclencheur temporel pour plus de détails sur la planification des tâches.

Always-up

Configurez l'action pour qu'elle s'exécute en continu en tant que processus de longue durée. Dans ce mode, l'action reste active et transmet les évènements de lignage dès qu'ils sont produits, maintenant votre solution de lignage synchronisée quasiment en temps réel avec Data Platform.

Pour activer le mode always-up, ouvrez l'onglet Paramètres de l'action et définissez le déclencheur sur Always up.

Warning

Les actions always-up consomment des ressources de calcul en continu. N'utilisez ce mode que lorsqu'un lignage quasi temps réel est requis.

Aller plus loin

Si vous avez besoin d'une formation ou d'une assistance technique pour la mise en oeuvre de nos solutions, contactez votre commercial ou cliquez sur ce lien pour obtenir un devis et demander une analyse personnalisée de votre projet à nos experts de l’équipe Professional Services.

Posez vos questions, faites-nous part de vos commentaires et interagissez directement avec l’équipe qui développe la Data Platform sur le canal Discord dédié.

Si vous avez besoin d'une assistance concernant vos services OVHcloud, créez une demande depuis notre centre d'aide.

Rejoignez notre communauté d'utilisateurs.

Cette page vous a-t-elle aidé ?