--- title: "Action Custom PySpark" description: "Utiliser notre Software Development Kit (SDK) pour interagir facilement avec les différents composants de la platform" url: https://docs.ovhcloud.com/fr/guides/public-cloud/data-platform/dpe-actions-custom-pyspark lang: fr lastUpdated: 2026-09-14 --- > For AI agents: the complete documentation index is available at https://docs.ovhcloud.com/fr/llms.txt, the full documentation bundle is available at https://docs.ovhcloud.com/fr/llms-full.txt. # Action Custom PySpark ## Objectif Une _action Custom PySpark_ vous permet d'exécuter des scripts PySpark personnalisés dans un environnement de cluster cloud évolutif à l'aide d'[Apache Spark™](https://spark.apache.org/). En utilisant notre [Software Development Kit (SDK)](https://docs.ovhcloud.com/fr/guides/public-cloud/data-platform/landing-page-developers-python-sdk.md) pour interagir facilement avec les différents composants de la platform, les _actions Custom PySpark_ peuvent être utilisées pour mettre en œuvre une variété de cas d'usage tels que : - Exécuter un algorithme de manipulation ou une tâche ETL sur votre entrepôt de données - Exécuter une analyse de données simple ou un algorithme de machine learning - Extraire des données depuis des sources de données non disponibles sur la marketplace de la Data Platform sans avoir à créer de connecteurs pour cela - Extraire des données en temps réel (comme MQTT, Kafka, etc.) :::info Les actions Custom PySpark peuvent être orchestrées au sein de [workflows](https://docs.ovhcloud.com/fr/guides/public-cloud/data-platform/dpe-workflows.md) et déclenchées immédiatement ou selon une planification. À l'heure actuelle, un même workflow **ne peut pas** contenir à la fois des actions PySpark et des actions normales. ::: ## Configurer une action Custom PySpark Dans le Data Processing Engine de votre Projet, allez dans l'onglet Actions et cliquez sur le bouton **New Action**. Choisissez le type d'action _Custom PySpark_. ![Écran de création d'une action personnalisée](/images/public-cloud/data-platform/product/dpe/actions/custom-pyspark/picts/custom-pyspark.png) Glissez-déposez votre script PySpark _.py_ dans la section « Drag and drop ».\ Sinon, sélectionnez l'option **Start with a boilerplate** pour démarrer directement sur l'interface Python de la Platform avec des exemples de snippets de code. ![Écran de création d'une action personnalisée](/images/public-cloud/data-platform/product/dpe/actions/custom-pyspark/picts/custom-pyspark2.png) Vous pourrez modifier votre fichier source directement dans l'interface d'édition (ou déposer un nouveau fichier si nécessaire). Consultez la documentation PySpark ci-dessous : [Portail de documentation PySpark](http://spark.apache.org/docs/latest/api/python/) Notez que vous pouvez également utiliser n'importe quelle fonction fournie dans le [Software Development Kit (SDK)](https://docs.ovhcloud.com/fr/guides/public-cloud/data-platform/landing-page-developers-python-sdk.md) pour interagir facilement avec les autres composants de la platform. Pour en savoir plus sur toutes les fonctions du SDK disponibles, consultez l'article ci-dessous : [Découvrir toutes les méthodes du SDK](https://docs.ovhcloud.com/fr/guides/public-cloud/data-platform/landing-page-developers-python-sdk.md) ## Utiliser le panneau d'aide ![Panneau d'aide de l'action DPE Custom PySpark](/images/public-cloud/data-platform/product/dpe/actions/custom-pyspark/picts/custom-action-helper.png) L'éditeur de l'action Custom PySpark inclut un panneau d'aide, vous permettant de trouver de l'assistance sans quitter votre script : - **Scenarios** : scripts d'action prêts à l'emploi organisés par catégorie, à copier et adapter à votre cas d'usage. - **SDK guides** : documentation des méthodes du [SDK](https://docs.ovhcloud.com/fr/guides/public-cloud/data-platform/landing-page-developers-python-sdk.md) que vous pouvez appeler depuis votre script. - **Data** : parcourez les données de votre projet directement depuis l'éditeur, pour vérifier les noms et les structures pendant que vous écrivez votre code. - **FAQ** : réponses aux questions fréquentes sur les actions. :::info Le contenu d'aide est le même catalogue en direct qui alimente la [Data Platform Extension](https://docs.ovhcloud.com/fr/guides/public-cloud/data-platform/dpe-notebooks-data-platform-extension.md) dans les notebooks, il est donc toujours à jour. ::: ## Gérer la parallélisation Faites évoluer votre tâche en ajoutant davantage d'instances de worker parallèles dans les [préférences](https://docs.ovhcloud.com/fr/guides/public-cloud/data-platform/dpe-jobs-preferences.md) de l'action. Saisissez simplement le nombre souhaité d'**instances**, qui correspond au nombre d'exécuteurs Spark. La taille CPU et RAM de chaque instance peut être gérée en modifiant le nombre de [DPU](https://docs.ovhcloud.com/fr/guides/public-cloud/data-platform/dpe-jobs-resources.md) alloués à chacune. ![Écran de création d'une action personnalisée](/images/public-cloud/data-platform/product/dpe/actions/custom-pyspark/picts/custom-pyspark-pref.png) Spécifiez comment répartir la charge de travail de votre tâche sur ces différents workers au sein de votre script PySpark. :::warning Contrairement aux actions qui utilisent le moteur de traitement de données propriétaire de la Platform, les actions PySpark ne disposent pas de paramètres pour la [segmentation](https://docs.ovhcloud.com/fr/guides/public-cloud/data-platform/dpe-jobs-preferences.md#segmentation) et le [périmètre](https://docs.ovhcloud.com/fr/guides/public-cloud/data-platform/dpe-jobs-preferences.md#perimeter) dans les préférences de l'action. Ceux-ci doivent être gérés directement dans votre code PySpark. ::: ## Gérer les dépendances ### Installer des packages Python Vous pourriez avoir besoin d'installer des packages spécifiques non inclus par défaut. Vous pouvez les ajouter dans le champ « Python Requirements » en respectant le format utilisé dans un fichier requirements basique pour « pip » (gestionnaire de packages Python), puis appuyer sur « ENTER » sur votre clavier. Voici à quoi cela devrait ressembler une fois que vous avez appuyé sur « ENTER » : ![Écran de création d'une action personnalisée](/images/public-cloud/data-platform/product/dpe/actions/custom-pyspark/picts/action-requirements.png) ### Installer des packages depuis un dépôt Git Vous pouvez installer des packages Python directement depuis un dépôt GitHub ou GitLab en utilisant le préfixe `git+` dans vos requirements : ``` git+https://github.com/{OWNER}/{REPO}.git ``` Pour figer une version spécifique, ajoutez un tag ou un hash de commit : ``` git+https://github.com/{OWNER}/{REPO}.git@ ``` #### Installer automatiquement la dernière version Pour toujours installer la dernière version publiée sans suivre manuellement les tags de version, utilisez `@latest` : ``` git+https://github.com/{OWNER}/{REPO}.git@latest ``` La platform détecte le préfixe `git+` et le suffixe `@latest`, puis résout et substitue automatiquement le dernier tag de version avant l'installation. :::info Après avoir ajouté ou modifié une dépendance Git, cliquez sur **Force Build** pour réinstaller. Vous n'avez plus besoin de mettre à jour manuellement le tag ou le hash de commit à chaque publication d'une nouvelle version de votre module, mais notez que la dernière version n'est pas prise en compte automatiquement à l'exécution, un **Force Build** manuel est toujours requis. ::: ### Liste par défaut des dépendances :::warning La Data Platform bloque les versions mineures, ce qui permet l'installation des correctifs de bugs. Si vous avez besoin d'une version plus récente d'une bibliothèque, vous pouvez la surcharger manuellement en ajoutant le même package avec la nouvelle version dans le champ « Requirements ». ::: Voici la liste de tous les packages et de leur version (tels que vous pourriez les trouver dans un fichier requirements pour pip) livrés avec les workers du Data Processing Engine : [Découvrir tous les packages Python par défaut](https://docs.ovhcloud.com/fr/guides/public-cloud/data-platform/dpe-actions-custom-default-packages.md) ## Aller plus loin Si vous avez besoin d'une formation ou d'une assistance technique pour la mise en oeuvre de nos solutions, contactez votre commercial ou cliquez sur [ce lien](https://www.ovhcloud.com/fr/professional-services/) pour obtenir un devis et demander une analyse personnalisée de votre projet à nos experts de l’équipe Professional Services. Posez vos questions, faites-nous part de vos commentaires et interagissez directement avec l’équipe qui développe la Data Platform sur le [canal Discord](https://discord.gg/ovhcloud) dédié. Si vous avez besoin d'une assistance concernant vos services OVHcloud, créez une demande depuis notre [centre d'aide](https://help.ovhcloud.com/csm?id=csm_get_help). Rejoignez notre [communauté d'utilisateurs](https://community.ovhcloud.com/).