For AI agents: the complete documentation index is available at https://docs.ovhcloud.com/fr/llms.txt, the full documentation bundle is available at https://docs.ovhcloud.com/fr/llms-full.txt, and this page is available as Markdown at https://docs.ovhcloud.com/fr/guides/public-cloud/data-platform/developers-python-sdk-quick-start-source.md.

Action Custom avec une source Connectors directement

Voir en Markdown

Cet exemple vous montrera comment récupérer un fichier directement depuis une source Connectors, le traiter et insérer les données traitées dans une Table du Lakehouse Manager

Objectif

Cet exemple vous montrera comment récupérer un fichier directement depuis une source Connectors, le traiter et insérer les données traitées dans une Table du Lakehouse Manager.

Le code est écrit dans le contexte d'une action Custom et utilise la source chicago_files du tutoriel de démarrage. Si vous avez suivi ce tutoriel, vous pouvez simplement copier-coller le code ci-dessous pour le tester, sinon vous devez l'adapter à vos tables et sources de données.

Tip

Cela fonctionne avec tout protocole Source tel que FTP, Dropbox, etc.

import sys
from forepaas.dwh.connect import connect
from forepaas.dwh import bulk_insert
import logging

logger = logging.getLogger(__name__)

def customfunc(event):
    try:
        # ici, on se connecte à une source nommée 'chicago_files'
        source_address = "dwh/chicago_files_artur/"

        # spécifie le nom de fichier non pris en charge dans la liste des fichiers de la source
        filename_w_extension = "stations_rides.csv"

        # se connecte au fichier pour obtenir l'adresse 
        source_file_connector = connect(source_address + filename_w_extension) 

        # se connecte directement au fichier
        file_address = source_file_connector.get()
        file_connector = connect(file_address) 

        # extrait et traite le fichier pour le rendre utilisable
        df = file_connector.extract(return_type='dataframe') 

        # traite les données
        # - - - - 

        # se connecte au Lakehouse Manager
        dm_connector = connect("dwh/default_dataset/")

        # insère dans une table de destination existante
        stats = bulk_insert(dm_connector, "chicago_calendar_full", df) 

        logger.info(stats)

        # se déconnecte du datastore et de la source distante
        del source_connector
        del dm_connector

    except Exception as err:
            raise Exception(f"err:{err} L:{sys.exc_info()[2].tb_lineno}")

Aller plus loin

Si vous avez besoin d'une formation ou d'une assistance technique pour la mise en oeuvre de nos solutions, contactez votre commercial ou cliquez sur ce lien pour obtenir un devis et demander une analyse personnalisée de votre projet à nos experts de l’équipe Professional Services.

Posez vos questions, faites-nous part de vos commentaires et interagissez directement avec l’équipe qui développe la Data Platform sur le canal Discord dédié.

Si vous avez besoin d'une assistance concernant vos services OVHcloud, créez une demande depuis notre centre d'aide.

Rejoignez notre communauté d'utilisateurs.

Cette page vous a-t-elle aidé ?