FAQ - Produits IA

La CLI (interface de ligne de commande) ovhai est un outil fourni par OVHcloud qui permet aux utilisateurs d'interagir avec leurs solutions IA (notebooks, jobs, apps, registres, données, etc.), directement depuis la ligne de commande. C'est le moyen d'interaction recommandé avec AI Notebooks, AI Training et AI Deploy.

Pour installer la CLI ovhai, vous pouvez suivre les instructions d'installation fournies par OVHcloud dans la documentation officielle d'installation d'ovhai.

Une fois l'installation de la CLI ovhai terminée, pensez à vous connecter à votre utilisateur de la plateforme AI. Cela vous permettra de gérer les notebooks, jobs et apps associés à cet utilisateur. Pour vous connecter, exécutez la commande ovhai login et saisissez les identifiants de votre utilisateur de la plateforme AI.

Vous devrez utiliser ovhai login avec les identifiants de votre utilisateur de la plateforme AI pour vous authentifier. Le paramètre --token a été créé pour l'usage des solutions IA (par exemple l'authentification à une app) et n'est pas destiné à votre première utilisation de la CLI.

Vous pouvez utiliser le flag -h ou --help après la commande. Cela vous fournira une liste des commandes possibles ainsi que leurs instructions d'utilisation (options disponibles, arguments, etc.). La commande de base est : ovhai -h. Vous pouvez également consulter le pense-bête de la CLI ovhai pour un aperçu complet des commandes disponibles.

Bien que ces produits soient tous dédiés à l'IA, vous donnant accès à des ressources puissantes et la capacité d'interagir avec vos données, ils ont chacun leur propre usage spécifique :

Les notebooks sont des fichiers contenant à la fois du code informatique (par exemple Python) et des éléments de texte enrichi (paragraphes, équations, figures, liens, etc.). C'est pourquoi les notebooks sont principalement utilisés pour l'exploration de données, les études et la comparaison de solutions. OVHcloud AI Notebooks vous fournit des notebooks Jupyter ou VSCode managés, livrés avec des bibliothèques préinstallées. Ainsi, vous n'avez pas à vous soucier de votre environnement, ce qui vous fera gagner du temps.

AI Training est dédié à l'entraînement de modèles. Une fois votre environnement configuré, vous pouvez lancer une session d'entraînement de modèle en quelques clics. Dès que l'entraînement est terminé, le job s'arrête automatiquement. C'est donc l'outil parfait pour entraîner vos modèles sans vous soucier de la facture.

AI Deploy vous permet de déployer vos applications et modèles IA avec une haute disponibilité. Si vous recherchez un outil pour effectuer de l'inférence, c'est le produit qu'il vous faut.

Pour plus d'informations sur ces produits, veuillez lire le guide comparatif des solutions IA.

Actuellement, le matériel disponible pour les AI Tools est :

• CPU : vCores CPU Intel
• GPU : NVIDIA Tesla V100S, NVIDIA Ampere A100, NVIDIA Ampere A10, NVIDIA L4, NVIDIA L40s, NVIDIA H100, NVIDIA H200

Vous pouvez obtenir la liste des flavors disponibles en utilisant la CLI ovhai et la commande suivante : ovhai capabilities flavor list. Notez que les flavors disponibles dépendent de la région sur laquelle vous êtes connecté (ovhai config set <region>).

Chaque projet Public Cloud accorde par défaut à un client un nombre maximum de GPU utilisés simultanément. Contactez notre support si vous avez besoin d'augmenter cette limitation. Pour votre information, les limites actuelles sont :

• CPU : 12 par notebook / job / app
• GPU : 4 par notebook / job / app pour V100S, A10, L4, L40s et H100 ; 2 pour A100 ; le H200 n'est disponible que par lots de 4 GPU NVLinked (le nombre de --gpu doit être un multiple de 4 pour ce flavor).

Chaque outil fournit un stockage local. Cependant, celui-ci est limité et n'est pas la méthode recommandée pour gérer vos données. En effet, si vous supprimez votre notebook, job ou app, tous les fichiers contenus dans ce stockage local seront perdus. Une meilleure pratique consiste à attacher des conteneurs Object Storage.

Consultez cette documentation OVHcloud sur les données pour plus d'informations. Vous pouvez également consulter la documentation de conformité compatible S3¹ si vous êtes intéressé par les buckets Object Storage compatibles S3.

Vous pouvez téléverser n'importe quel fichier ou répertoire vers l'OVHcloud Object Storage sans aucune contrainte de format.

Selon la façon dont vous construisez votre container, assurez-vous que le mapping entre vos données (par exemple /workspace/mybucket) n'existe pas déjà au sein de votre environnement.

Au sein des AI Tools, le code et les utilisateurs ne disposent d'aucun privilège root/sudo. Pour accéder à vos fichiers, assurez-vous de monter votre objet data à un emplacement disponible pour les utilisateurs non-root. Pour les images prédéfinies fournies par OVHcloud, il est recommandé que le chemin de destination soit de la forme /workspace/<your-path> afin d'éviter ce type d'erreur.

Cependant, les jobs dans AI Training et les apps dans AI Deploy sont fondamentalement des containers Docker, une bonne compréhension pratique de Docker est donc nécessaire pour profiter pleinement du service. Si vous prévoyez d'utiliser des images personnalisées, vous pouvez procéder de la même façon en ajoutant RUN chown -R 42420:42420 /workspace à votre Dockerfile.

Bien qu'AI Notebooks n'offre pas cette possibilité, cela est possible avec AI Training et AI Deploy. Votre image doit se trouver soit sur le registre partagé, un registre privé managé, DockerHub, ou GitHub packages. Vous trouverez plus d'informations ici. Gardez à l'esprit que votre image doit respecter l'architecture linux/amd64.

Le registre privé est actuellement disponible en Europe de l'Ouest (régions GRA/DE) et en Amérique du Nord (régions BHS/US-EAST-VA).

Les informations essentielles sur la construction d'une image Docker personnalisée se trouvent dans le guide Construire et utiliser une image Docker personnalisée. Des informations avancées sont disponibles dans la documentation officielle de Docker.

Pour des raisons de sécurité, nous imposons l'utilisateur linux par défaut, qui est ovh, et le groupe ovh, avec les identifiants 42420:42420. Construire une image Docker avec un répertoire associé à cet utilisateur et à ce groupe devrait vous aider. Vous pouvez utiliser la commande suivante pour copier un dossier local avec les droits ovh:ovh.

COPY --chown=42420:42420 my_local_folder my_folder_embeded_in_image

Commencez par récupérer l'ID de la task avec cette commande : ovhai <task> list. Veillez à remplacer task par notebook, job ou app.

Une fois que vous avez l'ID de votre task, récupérez simplement ses informations avec : ovhai <task> get <task-id> Vous verrez, entre autres informations, l'état de la task et, si elle s'est terminée, son code de sortie. Il y a également le stateInfo, dans lequel vous pouvez évaluer le message d'erreur, c'est-à-dire si une commande a échoué ou si l'image Docker n'a pas été trouvée.

Pour plus d'informations sur l'échec d'une task IA, vous devriez consulter l'Info Url de votre task, ou ses logs, dans le cas d'un job ou d'une app : ovhai <task> logs <task-id>, ce qui est très utile pour voir vos prints et messages d'erreur.

Pour maintenir la plateforme sécurisée et à jour, les hôtes sont redémarrés périodiquement. Tout AI Notebook et job AI Training s'exécutant en continu pendant plus de 7 jours consécutifs dans un état RUNNING est automatiquement arrêté. Si vous avez besoin d'une durée d'exécution plus longue, vous pouvez contacter notre support pour étendre la limite jusqu'à 28 jours.

Votre AI Task peut se trouver dans cet état pour 2 raisons principales :

• Vous utilisez un registre externe et l'image met plus de temps à être récupérée (pull). Résolution potentielle : attendez un peu plus longtemps que l'AI Tool récupère l'image externe, ou recompilez l'image sur un registre managé OVHcloud.
• L'AI Tool attend que des ressources soient disponibles. Résolution potentielle : essayez de lancer le job avec moins de ressources, ou attendez que des ressources soient disponibles.

Assurez-vous que votre AI Task est dans un état RUNNING et que votre interface est exposée soit sur le port par défaut, soit sur le port correct que vous avez spécifié dans votre URL (voir ports publics). Seule la couche HTTP est accessible ; vérifiez également que votre interface est correctement liée aux interfaces réseau (par exemple avec tensorboard en utilisant le flag --bind-all).

Lors du lancement d'une AI Task via l'espace client, assurez-vous de sélectionner Accès public durant l'étape Confidentialité pour AI Notebooks et Training, ou durant l'étape Configurez votre app pour AI Deploy. Si vous utilisez la CLI ovhai, assurez-vous d'utiliser l'attribut --unsecure-http. Ainsi, le lien HTTP de votre AI Tool ne nécessitera aucune authentification pour y accéder.

• Le réseau public peut être utilisé pour tous les AI Tools.
• Le réseau privé (OVHcloud vRack) n'est pas pris en charge.

Chaque notebook, job et app expose une URL publique qui utilise par défaut le port 8080. Ce port par défaut peut être configuré lorsque vous soumettez votre job AI Training ou votre app AI Deploy, mais il est fixé à 8080 pour AI Notebooks et ne peut pas être modifié.

Cependant, vous pouvez accéder à d'autres ports que celui par défaut en ajoutant leur numéro à l'URL publique de votre notebook, job ou app. Par exemple, si vous souhaitez accéder au port 8501 depuis votre notebook, vous devrez ajouter -8501 à l'URL de votre notebook (en commençant par l'ID du notebook, ici rempli de 0). L'URL permettant d'accéder au port 8501 sera https://00000000-0000-0000-0000-000000000000-8501.job.gra.ai.cloud.ovh.net/

Il en va de même pour les jobs AI Training et les apps AI Deploy, où d'autres ports peuvent être accédés même après le lancement du job ou de l'app.

Pour les notebooks, seule la couche HTTP est accessible.

Bien que non disponible avec AI Notebooks, vous pouvez utiliser gRPC sur vos jobs AI Training et vos apps AI Deploy. Pour cela, spécifiez un port lors du lancement de votre AI Task avec la CLI, en utilisant l'attribut --grpc-port <GRPC_PORT>. Vous obtiendrez ensuite votre gRPC Address dans les informations de votre task.

Oui, vous pouvez utiliser l'outil de visualisation TensorBoard. Pour savoir comment faire avec AI Notebooks, consultez ce tutoriel. Pour AI Training, reportez-vous à cette documentation.

Oui, vous pouvez utiliser le dashboard Weights & Biases au sein de votre notebook. Pour savoir comment faire avec AI Notebooks, consultez ce tutoriel. Pour AI Training, reportez-vous à cette documentation.