Connecteur Buckets de la Data Platform

Objectif

Se connecter au Datastore

Afin d'interagir avec le Datastore, vous devez d'abord vous y connecter, comme indiqué dans le code ci-dessous :

from forepaas.dwh import connect

cn_datastore = connect('data_store')

Après cela, vous pouvez utiliser la méthode cn_datastore.list() pour voir les buckets disponibles dans votre Datastore, puis vous connecter au bucket de votre choix pour interagir avec lui.

Vous pouvez vous connecter directement à un bucket spécifique du Datastore comme indiqué dans le code ci-dessous :

from forepaas.dwh import connect

bucket_name = "name"
cn_bucket = connect('data_store/' + bucket_name)

Le connecteur datastore renverra un objet Data Store Connector et se connecter directement à un bucket renverra un objet Bucket Connector.

Consultez la section suivante de cet article pour plus de détails sur les méthodes de chaque connecteur.

Méthodes du connecteur Datastore

datastore.list(return_type = 'array')

Liste tous les buckets du Datastore.

Paramètres d'entrée

Sortie

datastore.get_buckets()

Récupère tous les buckets du Datastore

Sortie

datastore.get_bucket(name)

Récupère une instance de bucket à partir de son nom.

Paramètres d'entrée

Sortie

datastore.create_bucket(name)

Ajoute un bucket dans le Data Store.

Paramètres d'entrée

Sortie

datastore.remove_bucket(name)

Supprime un bucket du Data Store.

Paramètres d'entrée

Sortie

datastore.bucket_exists(name)

Détermine si un bucket existe ou non.

Paramètres d'entrée

Sortie

Méthodes du connecteur Bucket

bucket.list(bool metadata=True, bool recursive=True, **kwargs)

Liste les fichiers du bucket du Data Store.

Paramètres d'entrée

Sortie

Exemple rapide

from forepaas.dwh.connect import connect
import logging

bucket_name = "name"
bucket = connect('data_store/' + bucket_name)
files = bucket.list()
logger.info(f"Bucket contents: {files}")

bucket.list_filename(return_type='array', contains='', recursive=True, **kwargs)

Liste les noms de fichiers du bucket du Data Store.

Paramètres d'entrée

Sortie

Exemple rapide

filenames = bucket.list_filename()
logger.info(f"Filenames: {filenames}")

bucket.get(file_name, **kwargs)

Récupère le contenu brut d'un fichier depuis un bucket du Data Store.

Paramètres d'entrée

Sortie

Exemple rapide

file_data = bucket.get('uploads/file.csv')
logger.info(f"Stream: {file_data.stream(1024)}")

bucket.fget(object_name, file_path, **kwargs)

Récupère un objet depuis le bucket du Datastore vers un chemin local.

Paramètres d'entrée

Sortie

Exemple rapide

bucket.fget("uploads/file.csv", "/tmp/file.csv")
logger.info("File downloaded to /tmp/file.csv")

bucket.put(object_name, data, int length, **kwargs)

Dépose un objet dans le bucket du Data Store.

Paramètres d'entrée

Sortie

Exemple rapide

import io
data = io.BytesIO(b"name,age\nJohn,30")
etag = bucket.put("people.csv", data, data.getbuffer().nbytes)
logger.info(f"Uploaded with ETag: {etag}")

bucket.fput(object_name, file_path, **kwargs)

Dépose un fichier dans le bucket du Data Store.

Paramètres d'entrée

Sortie

Exemple rapide

bucket.fput("people.csv", "/tmp/people.csv")
logger.info("Uploaded /tmp/people.csv")

bucket.put_request(url, path, data={}, method='GET', headers={}, **kwargs)

Récupère un objet depuis une requête HTTP et le dépose dans le bucket du Datastore.

Paramètres d'entrée

Exemple rapide

bucket.put_request(
    url="https://example.com/file.csv",
    path="remote/file.csv"
)
logger.info("File fetched from URL and uploaded to bucket.")

bucket.delete(path, **kwargs)

Supprime un ou plusieurs fichiers dans le bucket du Data Store.

Paramètres d'entrée

Exemple rapide

bucket.delete("people.csv")
logger.info("File deleted from bucket.")

bucket.fcopy_to(new_bucket, object_name, object_source, **kwargs)

Copie un fichier d'un bucket vers un nouveau bucket dans le Data Store.

Paramètres d'entrée

Exemple rapide

bucket.fcopy_to("archive", "people_backup.csv", "people.csv")
logger.info("File copied to archive bucket.")

bucket.exists(filename, **kwargs)

Vérifie si un fichier existe dans le bucket.

Paramètres d'entrée

Sortie

Exemple rapide

if bucket.exists("people.csv"):
    logger.info("File exists.")

bucket.get_content(file_name, **kwargs)

Récupère le contenu complet d'un fichier depuis le bucket.

Paramètres d'entrée

Sortie

Exemple rapide

content = bucket.get_content("people.csv")
logger.info(f"File content: {content.decode()}")

bucket.get_path(path)

Renvoie le chemin complet qualifié (URL ou référence) d'un objet dans le bucket.

Paramètres d'entrée

Sortie

Exemple rapide

full_path = bucket.get_path("people.csv")
logger.info(f"Full path: {full_path}")

bucket.remove_path(path)

Supprime un chemin spécifique du bucket.

Paramètres d'entrée

Sortie

Exemple rapide

bucket.remove_path("people.csv")
logger.info("Removed specific path from bucket.")

Méthodes obsolètes

Méthodes supplémentaires

Le Datastore de la Data Platform est construit sur la technologie Minio. Veuillez consulter la documentation technique de Minio pour plus d'informations sur les paramètres avancés des fonctions du SDK.

Aller plus loin

Si vous avez besoin d'une formation ou d'une assistance technique pour la mise en oeuvre de nos solutions, contactez votre commercial ou cliquez sur ce lien pour obtenir un devis et demander une analyse personnalisée de votre projet à nos experts de l’équipe Professional Services.

Posez vos questions, faites-nous part de vos commentaires et interagissez directement avec l’équipe qui développe la Data Platform sur le canal Discord dédié.

Si vous avez besoin d'une assistance concernant vos services OVHcloud, créez une demande depuis notre centre d'aide.

Rejoignez notre communauté d'utilisateurs.