Déployer une application GPU sur OVHcloud Managed Kubernetes Service
Découvrez comment déployer une application GPU sur OVHcloud Managed Kubernetes
Objectif
Dans ce tutoriel, nous allons vous montrer comment déployer une application GPU sur un cluster OVHcloud Managed Kubernetes.
Les GPU fournissent la puissance de calcul nécessaire aux tâches d'IA/ML et de Deep Learning impliquant des calculs intensifs, comme la reconnaissance d'image, le traitement du langage naturel (NLP), ainsi que d'autres tâches gourmandes en calcul comme le transcodage vidéo et le traitement d'image.
L'utilisation de GPU avec Kubernetes vous permet d'étendre la scalabilité de Kubernetes aux applications d'IA/ML.
Avant de commencer
Ce tutoriel suppose que vous disposez déjà d'un cluster OVHcloud Managed Kubernetes fonctionnel, ainsi que de connaissances de base sur son utilisation. Pour en savoir plus sur ces sujets, consultez le guide de démarrage rapide d'OVHcloud Managed Kubernetes Service.
Vous devez également avoir Helm installé sur votre poste de travail et sur votre cluster. Consultez le tutoriel comment installer Helm sur OVHcloud Managed Kubernetes Service.
Prérequis
Pour tirer le meilleur parti des GPU sur OVHcloud Managed Kubernetes, de la manière la plus économique possible, et pour profiter de l'autoscaling du cluster, nous recommandons de créer des pools de nœuds GPU distincts dans vos clusters Kubernetes.
Les pools de nœuds GPU regroupent des nœuds de même flavor GPU et peuvent être configurés avec l'autoscaling pour gérer efficacement des charges de travail variables.
L'opérateur GPU que vous allez installer doit s'exécuter sur des nœuds Kubernetes équipés de GPU.
Créez un pool de nœuds qui utilise un flavor GPU. La liste des flavors de worker nodes indique les flavors GPU et leurs régions, et la page des tarifs Public Cloud indique le modèle de GPU de chaque flavor. Le pilote installé plus loin dépend de l'architecture :
- Architectures actuelles :
A100-180,H100-*,L4-*,L40S-*etRTX5000-*(Ampere, Hopper, Ada et Turing). - Tesla V100 et V100S :
T1-*etT2-*(Volta).
Si vous disposez déjà d'un cluster OVHcloud Kubernetes avec un pool de nœuds GPU, vous pouvez ignorer l'étape suivante « Création d'un pool de nœuds GPU avec autoscaling ».
Les machines virtuelles GPU sont extrêmement puissantes et significativement plus coûteuses que les nœuds standards. Si vous utilisez généralement OVHcloud Public Cloud à petite échelle et/ou si vous êtes un nouvel utilisateur, vous devrez peut-être augmenter votre quota Public Cloud pour accéder à ce type de machines pour votre projet. Notez également que ces machines ne sont disponibles que dans certaines de nos régions Public Cloud.
Notez aussi que si les worker nodes (qu'ils soient ajoutés manuellement ou via l'autoscaler du cluster) sont créés en quelques minutes, le passage au statut prêt de nos worker nodes GPU peut prendre un peu plus d'une heure.
Accès à la console OVHcloud
- Lien direct :
- Pour accéder à vos services :
Public Cloud> Sélectionnez votre projet >Conteneurs>Managed Kubernetes Service
En pratique
Création d'un pool de nœuds GPU avec autoscaling
Cliquez sur le nom de votre cluster, puis sur l'onglet Pools de nœuds.
Vous allez créer votre pool de nœuds GPU spécial.
Cliquez sur Ajouter un pool de nœuds.
Sur la page Créer un pool de nœuds, saisissez un Nom du pool de nœuds pour votre pool GPU (par exemple, gpu-node-pool).
À l'étape de sélection du flavor, cliquez sur l'onglet GPU. Pour un GPU actuel, choisissez un flavor tel que H100, L4, L40S, A100-180 ou RTX5000. Pour une Tesla V100 ou V100S, choisissez un flavor T1 ou T2, par exemple T1-45.
Définissez le Nombre de nœuds et, si vous le souhaitez, activez Autoscaling, puis définissez la taille minimale et maximale du pool (par exemple, 3 au minimum et 10 au maximum).
Sélectionnez À l'heure comme mode de facturation pour ce pool de nœuds GPU, puis cliquez sur Créer le pool de nœuds.
La création du pool de nœuds est maintenant en cours. Il devrait être disponible en quelques minutes dans la console OVHcloud.
Une fois que le statut du pool de nœuds affiche Prêt dans la console OVHcloud, vous pouvez vérifier que les nœuds GPU sont correctement étiquetés à l'aide de la commande ci-dessus.
NVIDIA GPU Operator
Le NVIDIA GPU Operator utilise l'Operator Framework au sein de Kubernetes pour automatiser la gestion de tous les composants logiciels NVIDIA nécessaires au provisionnement des GPU. Ces composants incluent les pilotes NVIDIA (pour activer CUDA), le device plugin Kubernetes pour les GPU, le NVIDIA Container Runtime, l'étiquetage automatique des nœuds, la supervision basée sur DCGM, et d'autres.

Si cet opérateur vous intéresse, n'hésitez pas à consulter la documentation officielle du NVIDIA GPU operator.
Installer le chart Helm du NVIDIA GPU Operator
Pour ce tutoriel, nous utilisons le chart Helm NVIDIA GPU Operator disponible sur le dépôt NVIDIA. Le chart est entièrement configurable. Les commandes ci-dessous ne définissent que les options de pilote requises par l'architecture GPU de votre pool de nœuds.
Ajoutez le dépôt Helm NVIDIA :
Le chart Helm Nvidia a changé d'emplacement. Si vous avez déjà ajouté un dépôt nommé nvidia, vous pouvez le supprimer : helm repo remove nvidia.
Cela ajoutera le dépôt NVIDIA et mettra à jour tous vos dépôts :
Installez le GPU Operator dans le namespace gpu-operator. Choisissez l'onglet qui correspond au flavor GPU du pool de nœuds. Par défaut, l'opérateur compile les modules du pilote pour le noyau du nœud.
Dans le catalogue de pilotes NGC, sélectionnez le dernier tag Ubuntu 22.04 de la forme <version>-ubuntu22.04. Passez cette version à driver.version (par exemple 595.91.07).
Pour éviter la compilation, utilisez plutôt une image de pilote précompilé. NVIDIA ne publie ces images que pour certains noyaux Ubuntu 22.04. Relevez le noyau de chaque nœud GPU :
Dans le catalogue de pilotes NGC, cherchez pour chacun de ces noyaux un tag de la forme <branch>-<kernel>-ubuntu22.04 (par exemple 595-5.15.0-187-generic-ubuntu22.04), et passez la branche à driver.version (par exemple 595). Si l'un des noyaux n'a pas de tag, gardez la commande ci-dessus : sinon, les GPU de ce nœud restent indisponibles. Dans un pool de nœuds avec autoscaling, de nouveaux nœuds peuvent démarrer sur un noyau plus récent qui n'a pas encore de tag.
Si le cluster mélange des nœuds Tesla V100 et d'autres flavors GPU, utilisez la commande Tesla V100 : cette branche de pilotes prend aussi en charge les architectures actuelles. Si l'un des flavors est une RTX 5000, créez également la ConfigMap et ajoutez les options driver.kernelModuleType et driver.kernelModuleConfig.name de l'onglet RTX 5000.
Si le cluster mélange des nœuds RTX 5000 et des nœuds L4, L40S, H100 ou A100, utilisez la commande RTX 5000.
La compilation des modules prend quelques minutes. Le pod nvidia-driver-daemonset reste non prêt jusqu'à la fin de la compilation.
Vous devriez avoir un GPU operator installé et en cours d'exécution :
Vérifier l'installation du GPU Operator
Lorsque le GPU operator est actif et en cours d'exécution, il ajoute des labels nvidia.com/gpu sur les nœuds GPU.
Vous pouvez vérifier les nouveaux labels avec la commande :
Les nouveaux labels ne devraient apparaître que sur vos nœuds GPU :

Exécuter des applications GPU d'exemple
Vous pouvez maintenant exécuter une application/workload GPU sur votre cluster.
Pour configurer les Pods afin qu'ils consomment des GPU, vous devez utiliser une limite de ressource dans votre fichier manifeste YAML. Vous devez spécifier une limite de ressource dans une spécification de Pod à l'aide de la paire clé-valeur suivante :
Créez un fichier manifeste YAML vector.yaml avec le contenu suivant :
Appliquez-le :
Puis observez le démarrage du Pod :
Vous devriez obtenir un résultat comme celui-ci :
Une fois que cuda-vectoradd a démarré, exécuté et terminé sa tâche, consultez les logs avec la commande suivante :
Notre premier workload GPU vient de démarrer et a terminé sa tâche dans notre cluster OVHcloud Managed Kubernetes.
Dépannage
Si le pod nvidia-driver-daemonset reste non prêt après la compilation, exécutez nvidia-smi dans ce pod :
S'il renvoie No devices were found, consultez le journal du noyau :
Des lignes telles que Cannot initialize GSP firmware RM, kgspWaitForGfwBootOk, RmFetchGspRmImages: No firmware image found ou RmInitAdapter failed indiquent que le firmware GPU n'a pas démarré. Cela se produit sur les nœuds RTX 5000 installés sans les options de l'onglet RTX 5000, ou avec un pilote de la branche 615 ou ultérieure. Désinstallez l'opérateur, puis réinstallez-le avec la commande de l'onglet RTX 5000.
Aller plus loin
Pour en savoir plus sur l'utilisation pratique de votre cluster Kubernetes, consultez notre documentation OVHcloud Managed Kubernetes.
Pour toutes les options du GPU Operator, comme la configuration du pilote, les mises à jour et la supervision, consultez la documentation du NVIDIA GPU Operator.
Pour une formation ou une assistance technique sur la mise en œuvre de nos solutions, contactez votre commercial ou consultez la page Professional Services pour obtenir un devis et faire analyser votre projet par nos experts.
Échangez avec notre communauté d'utilisateurs.