For AI agents: the complete documentation index is available at https://docs.ovhcloud.com/fr/llms.txt, the full documentation bundle is available at https://docs.ovhcloud.com/fr/llms-full.txt, and this page is available as Markdown at https://docs.ovhcloud.com/fr/guides/public-cloud/ai-machine-learning/ai-deploy-capabilities.md.

AI Deploy - Caractéristiques, capacités et limites

Voir en Markdown

Découvrez les principales caractéristiques, capacités et limites de AI Deploy

Info

AI Deploy est couvert par les Conditions particulières OVHcloud Public Cloud.

Objectif

Cette page présente les capacités techniques et les limites de l’offre AI Deploy de Public Cloud.

Fonctionnalités

Fonctionnalités disponibles

AI Deploy vous permet de déployer vos applications et modèles IA avec des ressources de calcul (CPU, GPU) et une haute disponibilité.

FonctionnalitéDétails
Environnements AI
Environnements de Machine Learning préinstallésAI Deploy est livré avec un environnement Python générique (Conda) ou des environnements préinstallés, tels que Pytorch, Tensorflow, FastAI, HuggingFace et bien d’autres.
Personnalisation facileAI Deploy permet l’installation de presque tous les paquets Conda ou Pip. Vous pouvez facilement personnaliser votre environnement selon vos besoins. Il vous permet également d’utiliser votre propre environnement en spécifiant votre image Docker.
Gestion
Plusieurs façons de gérer vos apps déployéesVous pouvez gérer vos apps AI Deploy via le Control Panel OVHcloud, l’API ou la CLI. Selon vos besoins, vous pouvez également automatiser facilement leur création et leur suppression.
Démarrage et arrêt facilesVous pouvez démarrer et arrêter une app en un clic.
Consulter les logs de votre appVous pouvez également consulter les logs de votre app déployée via le Control Panel OVHcloud, l’API ou la CLI.
Ressources de calcul
Ressources de calcul garantiesSélectionnez le nombre de CPU ou de GPU nécessaires lors de la création de l’app AI Deploy. Une fois lancée, vous conserverez ces ressources tant que votre app est en cours d’exécution.
Exécution en arrière-planVos tâches peuvent être exécutées en arrière-plan, ce qui signifie que la fermeture de votre navigateur web n’aura aucun effet sur votre travail.
Aucune durée d’exécution maximaleVos tâches peuvent durer aussi longtemps que votre app est en cours d’exécution.
Outils de suiviChaque app AI Deploy est fournie avec un dashboard Grafana natif, vous permettant de suivre et de surveiller vos ressources CPU, GPU, RAM et de stockage.
Stockage
Stockage rapide et flexibleChaque service AI Deploy est fourni avec un stockage local, mais offre également la possibilité de rattacher un stockage distant depuis Object Storage. De quelques GiB à plusieurs TiB, nous rapprochons vos données de notre puissance de calcul sur un stockage SSD rapide pour de meilleures performances.
Importation de dépôts GitLors de la création de votre app AI Deploy, vous pouvez spécifier un ou plusieurs dépôts Git à télécharger dans l’environnement de votre app.
Sécurité
Authentification ouverte ou restreinteLors de la création de votre app AI Deploy, vous pouvez soit sélectionner l’accès public, permettant à tout le monde d’accéder à votre application, soit l’accès restreint, permettant l’accès via des tokens de sécurité ou des identifiants.
Valeurs européennesNous respectons votre vie privée et n’utiliserons jamais vos données personnelles à des fins internes.
Disponibilité et facturation
Facturation simpleVous ne payez que ce que vous consommez, facturé à la minute.
Disponible dans de nombreux paysAI Deploy nécessite un compte OVHcloud. Nous acceptons actuellement des dizaines de pays. Une fois votre compte créé, vous aurez accès à l’ensemble des fonctionnalités.

Logs et outils de suivi

Interface en ligne de commande (CLI)

AI Deploy est compatible avec la CLI AI d’OVHcloud. Découvrez comment installer la CLI AI d’OVHcloud.

Logs

Pour consulter les logs de votre app, vous pouvez le faire via la CLI ovhai avec la commande suivante :

ovhai app logs <app-id>
Outils de suivi

Pour consulter les informations de votre app, vous pouvez le faire avec la CLI ovhai en utilisant la commande ci-dessus :

ovhai app get `<app-id>`

Vous pouvez ensuite accéder à vos métriques via la Monitoring Url.

Vous pouvez également le vérifier depuis le Control Panel OVHcloud, dans les informations de votre app, en cliquant sur le bouton Go to Graph Dashboard.

Gestion via l’API

Vous pouvez gérer vos apps AI Deploy avec l’appel API suivant :

GET/cloud/project/{serviceName}/ai/app

Fonctionnalités prévues

Nous améliorons continuellement nos offres. Vous pouvez suivre, voter et soumettre des idées à ajouter à notre roadmap sur https://github.com/ovh/public-cloud-roadmap/projects/4.

Capacités et limites

Régions prises en charge et déploiements multi-AZ

AI Deploy peut être utilisé depuis n’importe quel pays du monde, à condition de disposer d’un compte OVHcloud. Physiquement, deux datacenters sont disponibles :

  • BHS (Beauharnois, Canada, Amérique)
  • GRA (Gravelines, France, Europe)

L’ensemble des instances AI Deploy doit se trouver dans la même région. Le multi-AZ n’est actuellement pas pris en charge.

Ressources rattachées

Ressources de calcul

Type de réplica

Vous pouvez choisir soit le nombre de GPUs, soit le nombre de CPUs pour une app AI Deploy, mais pas les deux. Par défaut, une app utilise une instance CPU. La ressource mémoire n’est pas personnalisable.

Plages de réplicas disponibles

Si vous choisissez GPU :

  • Les ressources de CPU, de mémoire et de stockage local ne sont pas personnalisables mais évoluent linéairement avec chaque GPU supplémentaire.

Si vous choisissez CPU :

  • La ressource de mémoire et de stockage local n’est pas personnalisable mais évolue linéairement avec chaque CPU supplémentaire.

La quantité maximale de CPU/GPU, de mémoire par CPU/GPU et de stockage local est disponible sur le site OVHcloud, le Control Panel et la CLI ovhai.

ovhai capabilities flavor list

Pour votre information, les limites actuelles sont :

  • CPU : 12 par app.
  • GPU : 4 par app pour V100S, A10, L4, L40s et H100 ; 2 pour A100 ; le H200 n'est disponible que par lots de 4 GPU NVLinked (le nombre de --gpu doit être un multiple de 4 pour ce flavor).
Matériel disponible pour AI Deploy

La disponibilité du matériel dépend de la région du datacenter :

  • GRA (Gravelines) : NVIDIA H200, NVIDIA H100, NVIDIA Ampere A100, NVIDIA Ampere A10, NVIDIA Tesla V100S, NVIDIA L4, NVIDIA L40s, Intel CPU vCores
  • BHS (Beauharnois) : NVIDIA Tesla V100S, Intel CPU vCores

Exécutez ovhai capabilities flavor list après vous être connecté à la région que vous souhaitez utiliser (ovhai config set <region>) pour obtenir la liste exacte et à jour.

Les tarifs sont disponibles sur la page des tarifs Public Cloud.

Scaling

AI Deploy offre la possibilité de choisir entre deux stratégies de scaling : statique ou automatique.

Si vous choisissez le scaling statique :

  • Vous pouvez aller de 1 à 10 réplicas.

Si vous choisissez l’autoscaling :

  • Vous pouvez choisir à la fois le nombre minimum de réplicas (1 par défaut) et le nombre maximum de réplicas.
  • Vous pouvez définir la métrique surveillée qui déclenchera l’autoscaling : CPU ou RAM.
  • Vous pouvez choisir le seuil du pourcentage d’utilisation moyenne : un nombre entier entre 1 et 100 %.

Stockage disponible

Stockage local

Chaque app AI Deploy est fournie avec un espace de stockage local, qui est éphémère. Lorsque vous supprimez votre app, cet espace de stockage est également supprimé. Cet espace de stockage dépend des instances sélectionnées lors du déploiement de l’app AI Deploy. Reportez-vous à la section sur les ressources de calcul pour plus d’informations.

Info

Le stockage local est limité et n’est pas la méthode recommandée pour gérer les données ; consultez la documentation OVHcloud sur les données pour plus d’informations.

Stockage rattaché

Vous pouvez rattacher des volumes de données depuis Object Storage de Public Cloud. Pour de meilleures performances, nous recommandons de conserver le bucket Object Storage dans la même région que votre app AI Deploy. Rattacher un bucket situé dans une autre région fonctionne également, mais ajoute de la latence réseau inter-régions. Le stockage rattaché vous permet de travailler sur plusieurs To de données, tout en restant persistant lorsque vous supprimez votre app AI Deploy.

Durée d’exécution maximale

Il n’y a aucune limitation de durée sur l’exécution des apps AI Deploy.

Personnalisation de l’environnement et déploiement autorisé

Chaque environnement peut être personnalisé directement avec PIP ou CONDA (nous prenons en charge presque tous les paquets et librairies).

AI Deploy autorise le déploiement de vos propres images Docker, ainsi que d’applications issues du portfolio OVHcloud.

Les images Docker peuvent être hébergées dans un registre public ou privé.

L’utilisation de docker-compose n’est pas possible.

Veuillez noter que les images doivent être construites avec une architecture AMD.

Haute disponibilité

Votre application est déployée simultanément sur le nombre d’instances sélectionné. Pour bénéficier de la haute disponibilité, un minimum de deux instances est requis. En cas de panne d’une instance, une nouvelle est automatiquement créée.

Rolling upgrade

Vous pouvez mettre à jour l’image Docker de votre application pour fournir une version actualisée de votre service. Les mises à jour sont incrémentales et n’entraîneront aucune interruption de service. Votre configuration actuelle sera également préservée, comme votre endpoint HTTP et votre politique de déploiement. Il n’est pas nécessaire d’arrêter et de redémarrer l’application pour que la mise à jour de l’image prenne effet.

Réseau

  • Le réseau public peut être utilisé pour tous les outils AI.

  • Le réseau privé (vRack) n’est pas pris en charge.

  • Ports : vous pouvez mapper votre app AI Deploy sur un seul port. Le port par défaut est 8080.

  • Le trafic entrant et sortant est inclus dans les plans de service et n’est pas facturé à l’usage.

Quotas par projet Public Cloud

Chaque projet Public Cloud accorde par défaut à un client un maximum de 4 GPU utilisés simultanément. Contactez notre support si vous avez besoin d’augmenter cette limite.

Aller plus loin

Parcourez la documentation AI Deploy complète pour mieux comprendre les concepts principaux et démarrer.

Si vous avez besoin d'une formation ou d'une assistance technique pour la mise en oeuvre de nos solutions, contactez votre commercial ou cliquez sur ce lien pour obtenir un devis et demander une analyse personnalisée de votre projet à nos experts de l’équipe Professional Services.

Nous voulons vos retours !

Nous serions ravis de répondre à vos questions et apprécions tout retour que vous pourriez nous faire.

Vous êtes sur Discord ? Rejoignez notre chaîne via https://discord.gg/ovhcloud et interagissez directement avec l’équipe qui développe nos services AI !

Cette page vous a-t-elle aidé ?