For AI agents: the complete documentation index is available at https://docs.ovhcloud.com/fr/llms.txt, the full documentation bundle is available at https://docs.ovhcloud.com/fr/llms-full.txt, and this page is available as Markdown at https://docs.ovhcloud.com/fr/guides/public-cloud/data-platform/developers-python-sdk-quick-start-source.md.

Action Custom avec une source Connectors directement

Voir en Markdown

Cet exemple vous montrera comment récupérer un fichier directement depuis une source Connectors, le traiter et insérer les données traitées dans une Table du Lakehouse Manager

Objectif

Cet exemple vous montrera comment récupérer un fichier directement depuis une source Connectors, le traiter et insérer les données traitées dans une Table du Lakehouse Manager.

Le code est écrit dans le contexte d'une action Custom et utilise la source chicago_files du tutoriel de démarrage. Si vous avez suivi ce tutoriel, vous pouvez simplement copier-coller le code ci-dessous pour le tester, sinon vous devez l'adapter à vos tables et sources de données.

Tip

Cela fonctionne avec tout protocole Source tel que FTP, Dropbox, etc.

import sys
from forepaas.dwh.connect import connect
from forepaas.dwh import bulk_insert
import logging

logger = logging.getLogger(__name__)

def customfunc(event):
    try:
        # ici, on se connecte à une source nommée 'chicago_files'
        source_address = "dwh/chicago_files_artur/"

        # spécifie le nom de fichier non pris en charge dans la liste des fichiers de la source
        filename_w_extension = "stations_rides.csv"

        # se connecte au fichier pour obtenir l'adresse 
        source_file_connector = connect(source_address + filename_w_extension) 

        # se connecte directement au fichier
        file_address = source_file_connector.get()
        file_connector = connect(file_address) 

        # extrait et traite le fichier pour le rendre utilisable
        df = file_connector.extract(return_type='dataframe') 

        # traite les données
        # - - - - 

        # se connecte au Lakehouse Manager
        dm_connector = connect("dwh/default_dataset/")

        # insère dans une table de destination existante
        stats = bulk_insert(dm_connector, "chicago_calendar_full", df) 

        logger.info(stats)

        # se déconnecte du datastore et de la source distante
        del source_connector
        del dm_connector

    except Exception as err:
            raise Exception(f"err:{err} L:{sys.exc_info()[2].tb_lineno}")

Aller plus loin

Pour une formation ou une assistance technique sur la mise en œuvre de nos solutions, contactez votre commercial ou consultez la page Professional Services pour obtenir un devis et faire analyser votre projet par nos experts.

Posez vos questions, faites-nous part de vos commentaires et interagissez directement avec l’équipe qui développe la Data Platform sur le canal Discord dédié.

Si vous avez besoin d'une assistance concernant vos services OVHcloud, créez une demande depuis notre centre d'aide.

Rejoignez notre communauté d'utilisateurs.

Cette page vous a-t-elle aidé ?