Objectif

L'action MySQL to Parquet offre un moyen simplifié de transférer une table depuis une source MySQL, configurée dans vos Connectors, directement vers un bucket du Projet. Les données de votre table MySQL seront stockées dans un format de fichier Parquet hautement efficace au sein du bucket de stockage objet de votre choix.

Configurer une action MySQL to Parquet

Pour créer une nouvelle action MySQL to Parquet, suivez ces étapes au sein du Data Processing Engine (DPE) :

1. Accédez à l'onglet Action au sein de l'interface du Data Processing Engine (DPE).
2. Cliquez sur le bouton « Nouvelle action ».
3. Dans la liste des actions disponibles, sélectionnez « MySQL to Parquet ».

Choisir une table MySQL

Tout d'abord, vous devez sélectionner la table MySQL spécifique que vous souhaitez transférer.

1. Une liste des tables disponibles depuis vos sources MySQL connectées dans les Connectors s'affichera.
2. Important : Si cette liste est vide, cela signifie que vous n'avez aucune source MySQL connectée ou configurée dans vos Connectors. Veuillez vous assurer que vous avez ajouté et connecté votre base de données MySQL en tant que source avant d'essayer d'utiliser cette action.
3. Sélectionnez la table MySQL souhaitée dans cette liste.

Sélectionner le bucket et le chemin de destination

Ensuite, vous définirez le bucket de destination et le chemin du dossier où votre ou vos fichiers Parquet seront stockés.

1. Choisir le bucket de destination : Sélectionnez un bucket du Projet disponible dans la liste où votre ou vos fichiers Parquet seront stockés.

2. Spécifier le chemin du dossier : Dans le champ situé sous la sélection du bucket de destination, vous spécifierez le chemin de dossier souhaité au sein du bucket.
   • Exemple : Si vous souhaitez que vos données soient stockées dans un dossier nommé my_mysql_data à l'intérieur d'un répertoire raw_data, vous saisiriez raw_data/my_mysql_data/.
   • Le système créera automatiquement tous les dossiers nécessaires s'ils n'existent pas déjà dans le chemin spécifié.
   • Convention de nommage des fichiers : Les données exportées seront toujours stockées dans un ou plusieurs fichiers nommés part-1.parquet, part-2.parquet, et ainsi de suite, selon la taille de votre table.
   • Comportement par défaut : Si vous laissez le chemin du dossier vide, l'action créera, par défaut, un dossier nommé d'après la table MySQL que vous avez sélectionnée (par exemple, si votre table s'appelle users, elle créera un dossier users/ à la racine du bucket). Dans ce dossier par défaut, les données seront stockées sous forme de part-1.parquet, part-2.parquet, etc.
   
3. Exécuter l'action : Une fois que votre table MySQL et votre destination sont configurées, cliquez sur le bouton « Run » pour lancer le transfert.

Vérifier votre transfert

Une fois l'action MySQL to Parquet terminée avec succès, vous pouvez confirmer visuellement le transfert en accédant à la section Buckets au sein du Lakehouse Manager. Vous y trouverez votre ou vos nouveaux fichiers Parquet au chemin spécifié dans votre bucket de destination.

Aller plus loin

Si vous avez besoin d'une formation ou d'une assistance technique pour la mise en oeuvre de nos solutions, contactez votre commercial ou cliquez sur ce lien pour obtenir un devis et demander une analyse personnalisée de votre projet à nos experts de l’équipe Professional Services.

Posez vos questions, faites-nous part de vos commentaires et interagissez directement avec l’équipe qui développe la Data Platform sur le canal Discord dédié.

Si vous avez besoin d'une assistance concernant vos services OVHcloud, créez une demande depuis notre centre d'aide.

Rejoignez notre communauté d'utilisateurs.