Nettoyez automatiquement vos données grâce aux règles de blueprint

Objectif

La Platform fournit des « règles de blueprint » par défaut qui consistent en une logique de nettoyage simple (comme le formatage des dates, les séparateurs de milliers, etc.) pour aider les utilisateurs à réaliser une préparation de données simple. Vous pouvez choisir parmi les transformations disponibles dans le Platform store et les appliquer si la condition définie est remplie.

Il n'est pas obligatoire d'utiliser les règles de blueprint lorsque vous utilisez la platform. Si elles sont utilisées, les règles seront automatiquement ajoutées aux actions Load du Data Processing Engine que vous définirez pour ingérer les données dans votre dataset.

Comment fonctionne une règle

Une règle s'applique à chaque ligne indépendamment et permet plusieurs choses.

Si une condition est spécifiée, la règle ne s'appliquera que sous certaines conditions exprimées dans condition et condition_value(s).

Si une transformation est renseignée, l'action de transformation sur chaque ligne sera effectuée, sinon, elle est considérée comme une règle de filtrage (keep).

Si aucune condition n'est renseignée, celle définie par défaut est ALL, qui autorise toute ligne.

Si aucune transformation ni condition n'est renseignée, alors nous considérons qu'il s'agit d'une transformation par défaut. Sinon, si aucune transformation n'est renseignée et qu'il y a une condition, l'action par défaut est keep. L'action ne s'applique qu'aux lignes qui répondent à la règle définie par condition.

Champs

Configurer une règle de blueprint

La configuration d'une règle nécessite 3 étapes :

1. Information : nom de l'attribut
2. Transformation : si la condition est confirmée, quelle action de transformation appliquer aux données (peut être choisie depuis le Platform store)
3. Condition : quelle règle appliquer pour la condition

Pour ajouter une règle sur un attribut, sur le champ concerné, cliquez sur le bouton suivant :

Transformations

Différentes transformations sont disponibles dans le Platform store :

• Replace by : les valeurs sont remplacées par une valeur unique

• Substring : les valeurs seront tronquées

• Date format : remplace les formats de date

• Keep line : conserve les valeurs correspondantes

• Skip line : ignore les valeurs correspondantes

• Throw error : les valeurs correspondantes déclencheront une erreur

• Replace substring : remplace les sous-chaînes correspondantes

• Apply regexp : une nouvelle regexp sera appliquée aux valeurs correspondantes

• Stop workflow : arrête le workflow en cours

Conditions

Différentes conditions sont disponibles :

La Platform vous propose une variété de conditions que vous pouvez appliquer à la transformation choisie. La liste comprend : Equal, Not Equal, Between, Not Between, Lower than, Lower or Equal than, Greater than, Greater or Equal than, REGEXP, NOT REGEXP, Is a number, Is not a number, Is a date, Is not a date, Is null, Is not null

Référence

Les noms ci-dessous sont les valeurs écrites dans la règle elle-même, ce sont donc celles que vous utilisez lorsque vous éditez des règles en JSON, par exemple dans le mode avancé Load ou le mode avancé Aggregate.

[
    {
        "attribute_name": "date",
        "action": "date_replace",
        "action_values": ["%d/%m/%Y", "%Y-%m-%d"]
    }
]

[
    {
        "attribute_name": "year",
        "condition": "IN",
        "condition_values": ["2015", "2016"],
        "action": "add",
        "action_values": ["year", 1]
    }
]

[
    {
        "attribute_name": "year",
        "condition": "LT",
        "condition_value": "2015",
        "action": "default",
        "action_value": "2015"
    }
]

[
    {
        "action": "default",
        "action_value": "$today",
        "attribute_name": "date"
    }
]

[
    {
        "action": "sub",
        "action_values": [
            "temp_min",
            273.15
        ],
        "attribute_name": "temp_min"
    }
]

[
    {
        "action": "date_replace",
        "action_values": [
            "%a %b %d %H:%M:%S +0000 %Y",
            "%Y-%m-%d %H:%M:%S"
        ],
        "attribute_name": "statuses_created_at"
    }
]

Aller plus loin

Si vous avez besoin d'une formation ou d'une assistance technique pour la mise en oeuvre de nos solutions, contactez votre commercial ou cliquez sur ce lien pour obtenir un devis et demander une analyse personnalisée de votre projet à nos experts de l’équipe Professional Services.

Posez vos questions, faites-nous part de vos commentaires et interagissez directement avec l’équipe qui développe la Data Platform sur le canal Discord dédié.

Si vous avez besoin d'une assistance concernant vos services OVHcloud, créez une demande depuis notre centre d'aide.

Rejoignez notre communauté d'utilisateurs.