Dimensionner les ressources du Data Processing Engine
La Platform est conçue pour évoluer facilement au fur et à mesure que les besoins de votre Projet de données changent
Objectif
La Platform est conçue pour évoluer facilement au fur et à mesure que les besoins de votre Projet de données changent.
Dans le Data Processing Engine, chaque action ou workflow peut être dimensionné à la fois horizontalement et verticalement, ce qui signifie que vous pouvez paralléliser les tâches de traitement et ajouter indéfiniment davantage de puissance de calcul à chacune d'elles.
Dimensionner vos tâches horizontalement
Vous pouvez paralléliser la charge de travail de votre action ou workflow en sélectionnant le nombre d'instances parallèles dans lesquelles votre job sera exécuté. Généralement, plusieurs instances sont utilisées pour les processus suivants :
- L'utilisation de la segmentation pour un job
- L'exécution de workflows avec plusieurs actions dans le même stage
- L'exécution de plusieurs occurrences concurrentes de la même action/workflow Always-up
Si vous n'allouez pas plusieurs instances pour les processus ci-dessus, les tâches décomposées seront simplement exécutées les unes après les autres sur l'instance unique.
Pour changer le nombre d'instances parallèles allouées à une action ou un workflow, rendez-vous dans son onglet Preferences.
Changez le nombre d'instances dans le panneau Ressources.
Dimensionner vos tâches verticalement
Vous pouvez allouer davantage de puissance de calcul à une action ou un workflow en augmentant le nombre de Data Platform Units (DPU) de chaque instance de calcul. Le DPU est une unité de capacité de traitement, représentant l'accès à une certaine quantité de CPU et de mémoire, comme suit :
- DPU : - correspond approximativement à 1 vCPU et 4 Go de RAM, selon la disponibilité du matériel.
Par défaut, les actions ou workflows nouvellement créés se voient allouer 2 DPU.
Pour changer la quantité de DPU allouée à une action ou un workflow, rendez-vous dans son onglet Preferences.
Utilisez le curseur pour définir la taille de DPU souhaitée pour chaque instance parallèle de l'exécution.
La quantité totale finale de DPU allouée à un job DPE correspond au nombre d'instances parallèles multiplié par la taille de DPU de chacune.
Si vous utilisez le mode d'exécution Always-up, vous pouvez tout de même mettre à jour vos ressources. La mise à jour prendra effet peu après le changement de vos paramètres et vos workflows/actions ne seront pas interrompus dans le processus.
Aller plus loin
Si vous avez besoin d'une formation ou d'une assistance technique pour la mise en oeuvre de nos solutions, contactez votre commercial ou cliquez sur ce lien pour obtenir un devis et demander une analyse personnalisée de votre projet à nos experts de l’équipe Professional Services.
Posez vos questions, faites-nous part de vos commentaires et interagissez directement avec l’équipe qui développe la Data Platform sur le canal Discord dédié.
Si vous avez besoin d'une assistance concernant vos services OVHcloud, créez une demande depuis notre centre d'aide.
Rejoignez notre communauté d'utilisateurs.