Dimensionner les ressources du Data Processing Engine
La Platform est conçue pour évoluer facilement au fur et à mesure que les besoins de votre Projet de données changent
Objectif
La Platform est conçue pour évoluer facilement au fur et à mesure que les besoins de votre Projet de données changent.
Dans le Data Processing Engine, chaque action ou workflow peut être dimensionné à la fois horizontalement et verticalement, ce qui signifie que vous pouvez paralléliser les tâches de traitement et ajouter indéfiniment davantage de puissance de calcul à chacune d'elles.
Dimensionner vos tâches horizontalement
Vous pouvez paralléliser la charge de travail de votre action ou workflow en sélectionnant le nombre d'instances parallèles dans lesquelles votre job sera exécuté. Généralement, plusieurs instances sont utilisées pour les processus suivants :
- L'utilisation de la segmentation pour un job
- L'exécution de workflows avec plusieurs actions dans le même stage
- L'exécution de plusieurs occurrences concurrentes de la même action/workflow Always-up
Si vous n'allouez pas plusieurs instances pour les processus ci-dessus, les tâches décomposées seront simplement exécutées les unes après les autres sur l'instance unique.
Pour changer le nombre d'instances parallèles allouées à une action ou un workflow, rendez-vous dans son onglet Preferences.
Changez le nombre d'instances dans le panneau Ressources.
Dimensionner vos tâches verticalement
Vous pouvez allouer davantage de puissance de calcul à une action ou un workflow en augmentant le nombre de Data Platform Units (DPU) de chaque instance de calcul. Le DPU est une unité de capacité de traitement, représentant l'accès à une certaine quantité de CPU et de mémoire, comme suit :
- DPU : - correspond approximativement à 1 vCPU et 4 Go de RAM, selon la disponibilité du matériel.
Par défaut, les actions ou workflows nouvellement créés se voient allouer 2 DPU.
Pour changer la quantité de DPU allouée à une action ou un workflow, rendez-vous dans son onglet Preferences.
Définissez la taille de DPU de chaque instance parallèle dans le panneau Ressources. Le panneau affiche le total de DPU de l'exécution au fur et à mesure de vos modifications.
La quantité totale finale de DPU allouée à un job DPE correspond au nombre d'instances parallèles multiplié par la taille de DPU de chacune.
Actions PySpark
Pour les actions PySpark, le panneau Ressources dimensionne séparément les exécuteurs Spark et le driver Spark :
- Executors : le nombre d'exécuteurs et la taille de DPU de chacun. Les exécuteurs traitent la partie distribuée de votre job.
- Driver : une instance unique avec sa propre taille de DPU. Le driver coordonne les exécuteurs et exécute la partie non distribuée de votre script. Dimensionnez-le donc indépendamment des exécuteurs.
Le total de DPU de l'exécution est la somme des DPU des exécuteurs et du DPU du driver, tel qu'affiché dans le panneau.
Le nombre de drivers est fixé à 1 ; seule sa taille peut être modifiée.
Si vous utilisez le mode d'exécution Always-up, vous pouvez tout de même mettre à jour vos ressources. La mise à jour prendra effet peu après le changement de vos paramètres et vos workflows/actions ne seront pas interrompus dans le processus.
Aller plus loin
Pour une formation ou une assistance technique sur la mise en œuvre de nos solutions, contactez votre commercial ou consultez la page Professional Services pour obtenir un devis et faire analyser votre projet par nos experts.
Posez vos questions, faites-nous part de vos commentaires et interagissez directement avec l’équipe qui développe la Data Platform sur le canal Discord dédié.
Si vous avez besoin d'une assistance concernant vos services OVHcloud, créez une demande depuis notre centre d'aide.
Rejoignez notre communauté d'utilisateurs.