Exporter ou importer la configuration d'un projet

Il est possible d'exporter et/ou importer les configurations de vos projets pour chaque composant

Objectif

Il est possible d'exporter et/ou importer les configurations de vos projets pour chaque composant. Les configurations sont un ensemble de fichiers (généralement des fichiers JSON et de code) qui contiennent toutes les informations sur la façon dont un composant donné a été configuré dans votre projet. Ceci est particulièrement utile lorsque vous essayez de réutiliser un ensemble d'actions ou de requêtes d'un projet à un autre.

Info

Nous recommandons d'utiliser un outil de développement d'API comme Postman ou Insomnia pour exécuter des appels cURL. Ce guide utilise spécifiquement Insomnia, un programme gratuit et sécurisé pour tester les appels d'API.

Obtenir un token d'accès temporaire

Pour exécuter tous les scripts d'import et d'export, vous aurez besoin d'un token d'accès temporaire.

Pour obtenir facilement un token d'accès, commencez par vous connecter à la platform via l'interface, et ouvrez n'importe quel composant, comme ici le Data Processing Engine. Faites un clic droit sur votre écran et sélectionnez Inspect.

Cela ouvrira la fenêtre de console de votre navigateur : naviguez vers l'onglet Network. Si aucun appel n'est visible, il vous suffit d'appuyer sur F5 ou de rafraîchir votre page. Vous devriez voir une liste d'appels disponibles comme sur la capture d'écran ci-dessus.

Faites un clic droit sur celui commençant par « workflows » ou « actions », naviguez vers l'option Copy et sélectionnez Copy as cURL. Vous avez maintenant copié dans votre presse-papier un appel cURL contenant déjà votre token d'accès secret.

Ouvrez maintenant Insomnia et collez le cURL dans l'en-tête principal en haut de la fenêtre (à droite du titre Insomnia, à côté du bouton déroulant Get) :

Lorsque vous copiez-collez le cURL, Insomnia va détecter automatiquement tous les paramètres de l'appel et remplir le formulaire pour vous. La seule chose qu'il vous reste à faire est simplement de changer l'appel d'API principal, à la place de celui que vous venez de coller, en conservant la même liste de paramètres Header.

Comment exporter/importer une configuration avec un appel d'API

Cette section montre comment utiliser un appel d'API pour exporter ou importer la configuration d'un composant spécifique de votre projet.

Info

La liste détaillée des appels par composant est disponible dans la section suivante.

En règle générale, veillez à :

utiliser une méthode GET pour un appel d'Export
utiliser une méthode POST pour un appel d'Import

L'exemple suivant va parcourir toute la procédure d'export puis d'import de la configuration du Data Processing Engine.

Comment exporter une configuration

Tout d'abord, exportez la configuration en copiant-collant l'URL correspondante, en changeant pour GET et en cliquant sur Send.
Si l'appel réussit, vous verrez sur le côté droit le fichier TGZ dans la réponse retournée, que vous pouvez télécharger sur votre machine locale. Vous pouvez voir sur la capture d'écran ci-dessous que le fichier TGZ (tar gzipped) n'est pas lisible car il est compressé.

Comment importer une configuration

Maintenant, importons le même fichier TGZ qui contient la configuration du Data Processing Engine. Changez la méthode GET en POST et changez le type de Body en Multipart Form comme indiqué sur la capture d'écran ci-dessous.

En choisissant Multipart Form, vous avez la possibilité d'ajouter des paramètres dans le body et notamment de charger le fichier TGZ que vous avez exporté plus tôt dans le cadre de la requête.

Dans le premier champ, saisissez archive, et dans la flèche déroulante à côté de value, sélectionnez l'option File. Cela vous permettra de sélectionner directement un fichier depuis votre ordinateur à charger.

Sélectionnez le fichier TGZ que vous souhaitez charger dans votre projet :

Appuyez sur Send

C'est tout ! Rafraîchissez maintenant la page de votre projet et vous devriez voir la configuration de tous les composants mise à jour.

Appels API d'export/import par composant

Voici la liste des différents appels d'API pour exporter/importer la configuration de chaque composant de votre projet.

En règle générale, veillez à :

utiliser une méthode GET pour un appel d'Export
utiliser une méthode POST pour un appel d'Import

Warning

N'oubliez pas de remplacer datademo par le nom de votre projet et le token d'accès par sa valeur réelle. Vous pouvez trouver la version slugifiée du nom de votre projet dans le Control Center.

Connectors et Lakehouse Manager

Export

curl --url 'https://datademo.eu.dataplatform.ovh.net/dwh/v4/configuration/export' \
 --request GET \
 --header 'Authorization: Bearer TOKEN' \
 --output dwh-settings.tgz

Import

curl --url 'https://datademo.eu.dataplatform.ovh.net/dwh/v4/configuration/import' \
 --request POST \
 --header 'Authorization: Bearer TOKEN' \
 --form archive=@dwh-settings.tgz

Data Processing Engine

Export

curl --url 'https://datademo.eu.dataplatform.ovh.net/dpe/v3/configuration/export' \
     --request GET \
     --header 'Authorization: Bearer TOKEN' \
     --output dpe-settings.tar

Paramètres de requête :

Paramètre	Description
`filters`	Le type de ressources que vous souhaitez extraire (actions, workflows ou environments), et les ressources que vous souhaitez exporter par nom. Par défaut, tous les types de ressources seront exportés. Exemple : `filters : {"action" : ["action1", "action2"]}`
`notebook_data`	Optionnel. Si défini sur `true`, tous les fichiers stockés dans le data store du notebook seront exportés en plus des fichiers `.ipynb`. Par défaut, ce paramètre est `false`, et seuls les fichiers notebook `.ipynb` sont exportés. Une limite de 100 Mo est appliquée à la taille totale des fichiers notebook (y compris `notebook_data` si exporté).

Info

Il est également possible d'appeler /dpe/v3/configuration/export en POST et de passer les paramètres dans un objet JSON. Cela est utile pour filters et notebook_data lorsque l'URL devient trop longue ou pour des raisons de sécurité.

curl --url 'https://datademo.eu.dataplatform.ovh.net/dpe/v3/configuration/export' \
     --request POST \
     --header 'Authorization: Bearer TOKEN' \
     --header 'Content-Type: application/json' \
     --data '{"filters":{"action" : ["action1", "action2"]}, "notebook_data":true}' \
     --output dpe-settings.tar

Import

curl --url 'https://datademo.eu.dataplatform.ovh.net/dpe/v3/configuration/import' \
 --request POST \
 --header 'Authorization: Bearer TOKEN' \
 --form archive=@dpe-setting.tar

Paramètres de requête :

Paramètre	Description
`sourceType`	Peut être `tar` (par défaut), `tgz` (tar compressé), ou `url`
`sourceParam`	Lors de l'utilisation de `sourceType=url`, l'URL de l'archive à importer
`response`	Par défaut, l'import DPE est asynchrone. Réglez sur `true` pour le rendre synchrone

Paramètres de body

Paramètres	Description
`sourceParam`	Lors de l'utilisation de `sourceType=url`, l'URL de l'archive à importer
`archive`	L'archive contenant vos configurations si `sourceType=tar` ou `tgz`

Notebook Manager (export/import autonome)

Pour exporter et importer spécifiquement des notebooks, vous pouvez également utiliser l'endpoint dédié du Notebook Manager. Cet endpoint ne prend actuellement pas en charge les filtres comme l'export DPE principal.

Export

curl --url 'https://datademo.eu.dataplatform.ovh.net/notebook-manager/v1/configuration/export' \
     --request GET \
     --header 'Authorization: Bearer TOKEN' \
     --output notebooks-settings.tar

(Cet endpoint ne prend en charge que le paramètre de requête notebook_data comme l'export DPE principal.)

Import

curl --url 'https://datademo.eu.dataplatform.ovh.net/notebook-manager/v1/configuration/import' \
 --request POST \
 --header 'Authorization: Bearer TOKEN' \
 --form archive=@notebooks-settings.tar

(Les paramètres d'import (sourceType, sourceParam, response) sont les mêmes que pour l'endpoint d'import DPE principal.)

Analytics Manager

Export

curl --url 'https://datademo.eu.dataplatform.ovh.net/query-admin/v3/configuration/export' \
 --request GET \
 --header 'Authorization: Bearer TOKEN' \
 --output am-settings.tgz

Import

curl --url 'https://datademo.eu.dataplatform.ovh.net/query-admin/v3/configuration/import' \
 --request POST \
 --header 'Authorization: Bearer TOKEN' \
 --form archive=@am-settings.tgz

Identity Access Manager - IAM

Export

curl --globoff --url 'https://datademo.eu.dataplatform.ovh.net/iam/v4/backup/export?filters[applications]=true&filters[configuration]=true&filters[groups]=true&filters[mails]=true&filters[roles]=true&filters[authentication_providers]=true&filters[users]=true&filters[service_accounts]=true' \
 --request GET \
 --header 'Authorization: Bearer TOKEN' \
 --output iam-settings.json

La réponse est un JSON complet de toutes les configurations de l'IAM (format .json). Il est possible de sélectionner des sous-ensembles de la configuration en utilisant filters[] dans les Paramètres de requête.

Import

Warning

Faites attention lors de l'import de la configuration IAM car cela va : réinitialiser la clé privée du projet, réinitialiser les sessions en cours, tous les mots de passe (en utilisant le Project Auth Provider), et toutes les API Key / Secret Key.

Cela va supprimer les configurations, applications, utilisateurs, groupes, etc. existants. Ceci est fait sur la base de la configuration importée, il se peut donc que cela ne concerne qu'un sous-ensemble de configuration sélectionné lors de l'export.

curl --url 'https://datademo.eu.dataplatform.ovh.net/iam/v4/backup/import' \
 --request POST \
 --header 'Authorization: Bearer TOKEN' \
 --header "Content-Type: application/json" 
 --data @iam-settings.json

Le JSON à importer se trouve directement dans la partie Body.

Aller plus loin

Si vous avez besoin d'une formation ou d'une assistance technique pour la mise en oeuvre de nos solutions, contactez votre commercial ou cliquez sur ce lien pour obtenir un devis et demander une analyse personnalisée de votre projet à nos experts de l’équipe Professional Services.

Posez vos questions, faites-nous part de vos commentaires et interagissez directement avec l’équipe qui développe la Data Platform sur le canal Discord dédié.

Si vous avez besoin d'une assistance concernant vos services OVHcloud, créez une demande depuis notre centre d'aide.

Rejoignez notre communauté d'utilisateurs.

Cette page vous a-t-elle aidé ?