Filtrer l'exécution d'un job avec le périmètre de données

Objectif

Lors de l'exécution d'un job de traitement de données, lorsque vous atteignez de gros volumes de données à traiter, il peut être nécessaire de filtrer l'exécution d'une action. Le perimeter vous permet de définir un champ sur lequel filtrer le périmètre des données à traiter par l'action.

1. En fonction d'un attribut d'une table du Projet

Si vous souhaitez filtrer une action par rapport à une liste de données présentes dans la colonne d'une table du Lakehouse Manager, par exemple :

Reference Table	Source Table	Destination Table

Vous souhaitez agréger les données de l'attribut "income" contenues dans la table source "orders" dans la table de destination "aggr_date" groupées par "date_order". La table tmp_date contient une liste de dates à agréger allant du 2019-01-01 au 2019-01-03.

En activant ce mode de périmètre, un pré-stage sera créé automatiquement, dont l'objectif est de constituer la liste des valeurs de périmètre contenues dans la table tmp_date, attribut date, et filtrera l'action entre toutes les valeurs trouvées.

Compatibilité

Cette option de périmètre est uniquement compatible avec les actions et sources suivantes :

Configuration

Pour configurer cette option de périmètre, sélectionnez Based on an attribute of a Project table dans le menu déroulant "Perimeter Type".

Si vous utilisez l'interface en mode avancé, vous devrez ajouter les champs suivants à la configuration JSON de votre action :

"perimeter": {
  "active": true,
  "type": "dwh_attributes",
  "values": "dwh/default_dataset/tmp_dates/date",
  "var_name": "date_order",
  "attribute": "date",
  "attribute_type": "map"
}

2. En fonction d'un ensemble de valeurs prédéfinies

Ce mode vous permet de saisir une liste de valeurs sur lesquelles filtrer un attribut de source/table.

Compatibilité

Cette option de périmètre est uniquement compatible avec les actions et sources suivantes :

Configuration

Pour configurer cette option de périmètre, sélectionnez Based on predefined set dans le menu déroulant "Perimeter Type".

Si vous utilisez l'interface en mode avancé, vous devrez ajouter les champs suivants à la configuration JSON de votre action :

"perimeter": {
        "active": true,
        "type": "predefined_set",
        "var_name": "value_2",
        "values": [
          "10",
          "15"
        ]
      }

3. En fonction du périmètre de dates du workflow

Si vos données source possèdent un attribut de date, il est possible de filtrer le traitement de votre action par rapport aux dates définies dans votre workflow.

Compatibilité

Cette option de périmètre est uniquement compatible avec les actions et sources suivantes :

Configuration

Pour configurer cette option de périmètre, sélectionnez Based on the date perimeter of the workflow dans le menu déroulant "Perimeter Type".

Vous devez passer en mode avancé pour configurer cette option. Il vous suffit d'ajouter les champs suivants à la configuration JSON de votre action :

"perimeter":{
	"active":true,
	"type":"workflow/dates",
	"var_name":"date"
}

Retrouvez plus de détails sur nos options Segmentation et Perimeter pour les actions DPE dans les articles Additional Remarks des paramètres des actions DPE. Vocabulaire de la segmentation et du périmètre

Aller plus loin

Si vous avez besoin d'une formation ou d'une assistance technique pour la mise en oeuvre de nos solutions, contactez votre commercial ou cliquez sur ce lien pour obtenir un devis et demander une analyse personnalisée de votre projet à nos experts de l’équipe Professional Services.

Posez vos questions, faites-nous part de vos commentaires et interagissez directement avec l’équipe qui développe la Data Platform sur le canal Discord dédié.

Si vous avez besoin d'une assistance concernant vos services OVHcloud, créez une demande depuis notre centre d'aide.

Rejoignez notre communauté d'utilisateurs.