For AI agents: the complete documentation index is available at https://docs.ovhcloud.com/fr/llms.txt, the full documentation bundle is available at https://docs.ovhcloud.com/fr/llms-full.txt, and this page is available as Markdown at https://docs.ovhcloud.com/fr/guides/public-cloud/data-platform/dpe-workflows.md.

Orchestrer des pipelines ETL avec les workflows de la Data Platform

Voir en Markdown

Les workflows sont vos pipelines ETL et de traitement de données orchestrés sur la Platform

Objectif

Les workflows sont vos pipelines ETL et de traitement de données orchestrés sur la Platform. Un workflow est une structure organisationnelle du Data Processing Engine qui représente une séquence d'actions pouvant être :

  • exécutées manuellement ou via un appel API ;
  • planifiées pour s'exécuter à un moment donné (CRON).

Lors de la création de workflows, vous pouvez organiser les actions en stages afin de personnaliser le traitement de vos données : les stages s'exécutent séquentiellement et les actions en parallèle.

À chaque lancement d'un workflow, vous pouvez suivre son exécution en consultant les logs.

Créer un workflow

La Platform propose une interface simple, en pointer-cliquer, pour orchestrer vos actions au sein de workflows planifiés. La création d'un workflow comporte 2 étapes principales :

  • Stages : configurez les stages successifs du workflow. Les actions de chaque stage peuvent être ajoutées lors de la création du workflow ou ultérieurement.
  • Préférences : vous pouvez définir différents paramètres et informations concernant le workflow.
Créer un workflow — Nouveau workflow

Stages

Au sein d'un workflow, les actions sont organisées en stages séquentiels. À l'intérieur d'un stage, les actions s'exécutent en parallèle (elles peuvent donc s'exécuter en parallèle sur plusieurs instances).

Stages — Organisation des traitements

Si un workflow contient des actions comportant plusieurs versions de langage, il s'exécute avec la version de langage la plus récente qu'il contient. Vous pouvez modifier ce comportement depuis les préférences du workflow.

Warning

Pour le moment, un même workflow ne peut pas contenir à la fois des actions PySpark et des actions classiques.

Info

Un workflow doit contenir au moins une action pour pouvoir être démarré. Les workflows vides ne peuvent pas être exécutés.

Préférences

L'onglet des préférences permet de donner au workflow un nom, une description et des tags, ainsi que de définir plusieurs paramètres d'exécution.

Préférences — Préférences du workflow
Info

À quoi sert l'« Auto Flushall » ? La plateforme stocke le résultat des requêtes en cache (autrement dit, elles sont « pré-calculées ») afin d'améliorer les performances lors de l'utilisation d'une application. L'exécution du « Flush all » relance les requêtes et actualise les données de l'application. Cette option est donc activée par défaut et ajoute généralement 5 à 10 secondes de traitement à votre workflow. Pour des workflows de traitement de données successifs et complexes, vous pouvez la désactiver et l'exécuter une seule fois à la fin, dans un workflow distinct.

Mode avancé

Vous pouvez également aller plus loin en utilisant notre IDE intégré dans le mode avancé : l'onglet Avancé permet de personnaliser davantage votre workflow à l'aide des fichiers de configuration JSON.

Découvrez comment configurer un workflow via le mode avancé

Gérer les workflows

Depuis l'écran des workflows, vous voyez rapidement quels workflows sont en cours d'exécution, se sont exécutés avec succès ou ont rencontré des erreurs lors de leur exécution.

En survolant l'icône More (les « ... ») sur la ligne d'un workflow, vous pouvez également :

  • Supprimer un workflow ;
  • Éditer un workflow existant ;
  • Exécuter un workflow ;
  • Consulter les logs d'un workflow.
Gérer les workflows — Opérations CRUD sur un workflow

Lorsque le nombre de workflows augmente, vous pouvez organiser l'affichage à l'aide des Folders ou rechercher un workflow précis grâce à la barre de recherche située en haut à droite de l'écran. Pour ranger des workflows dans des dossiers, glissez-déposez simplement un workflow dans le dossier voulu.

Gérer les workflows — Actions de base sur un workflow

Superviser un workflow

Logs

Pour suivre la progression d'un workflow, vous pouvez ouvrir ses logs en cliquant sur l'icône Console. Le Logs Explorer du Control Center s'ouvre alors dans une nouvelle fenêtre.

Notez que dans les préférences d'un workflow, vous pouvez définir le niveau d'information disponible dans les logs (debug, info, notice, warning, error, critical).

Logs — Log ETL

Alertes

Comme pour les actions, vous pouvez superviser l'exécution d'un workflow en définissant des alertes sur certaines métriques d'exécution clés (réussite du job, durée d'exécution, mémoire utilisée, etc.). Cela crée une alerte dans le Control Center.

Alertes — Alerte ETL

Aller plus loin

Si vous avez besoin d'une formation ou d'une assistance technique pour la mise en oeuvre de nos solutions, contactez votre commercial ou cliquez sur ce lien pour obtenir un devis et demander une analyse personnalisée de votre projet à nos experts de l’équipe Professional Services.

Posez vos questions, faites-nous part de vos commentaires et interagissez directement avec l’équipe qui développe la Data Platform sur le canal Discord dédié.

Si vous avez besoin d'une assistance concernant vos services OVHcloud, créez une demande depuis notre centre d'aide.

Rejoignez notre communauté d'utilisateurs.

Cette page vous a-t-elle aidé ?