For AI agents: the complete documentation index is available at https://docs.ovhcloud.com/fr/llms.txt, the full documentation bundle is available at https://docs.ovhcloud.com/fr/llms-full.txt, and this page is available as Markdown at https://docs.ovhcloud.com/fr/guides/public-cloud/ai-machine-learning/ai-data.md.

Données - Concepts et bonnes pratiques

Voir en Markdown

Comprendre les bonnes pratiques sur les données avec les AI Tools

Définition

  • Data désigne tout type de fichier (binaire, texte, code, image, etc.) que vous souhaitez utiliser avec les AI tools OVHcloud.
  • Object Storage est un espace de stockage évolutif, résilient et sécurisé, accessible depuis n'importe où via des API HTTPS. C'est l'endroit idéal pour stocker des fichiers statiques sur le long terme.
  • Volumes désigne des unités de stockage de type système de fichiers, montées et utilisées au sein des jobs AI Training et des AI notebooks.

Bonnes pratiques

OVHcloud Object Storage doit être utilisé pour persister toute donnée nécessaire à vos jobs AI Training ou à vos AI notebooks.

Il existe deux façons de gérer vos données :

Info

Votre conteneur Object Storage n'a pas besoin d'être dans la même région que le job AI Training, l'AI Notebook ou l'app AI Deploy qui l'utilise. Monter un conteneur situé dans une autre région fonctionne, mais ajoute de la latence réseau inter-régions. Nous recommandons donc de les garder dans la même région pour de meilleures performances. Si vous utilisez un datastore S31 externe, gardez à l'esprit qu'il n'est enregistré que pour le contexte régional du CLI ovhai sous lequel il a été créé, voir gérer vos données avec la CLI.

Fonctionnement

Les jobs AI Training et les AI Notebooks peuvent lire et écrire des données depuis et vers l'OVHcloud Object Storage. Voici ce qui se passe en coulisses.

AI Training

  1. Avant le démarrage du job, les données sont synchronisées depuis l'object storage vers un volume de système de fichiers sous-jacent. Cette synchronisation a lieu pendant la phase INITIALIZING.
  2. Au démarrage du job, le volume est attaché dans le répertoire souhaité. Les données sont ensuite disponibles dans le job tant que dure la phase RUNNING.
  3. Après l'arrêt du job, les données sont resynchronisées depuis le volume de système de fichiers sous-jacent vers l'OVHcloud Object Storage. Cette synchronisation a lieu pendant la phase FINALIZING.
Schéma des phases de données d'un job montrant la synchronisation depuis OBJECT STORE vers VOLUME pendant INITIALIZING puis les interactions du système de fichiers entre VOLUME et JOB pendant RUNNING puis la synchronisation de retour vers OBJECT STORE pendant FINALIZING

AI Notebooks

  1. Avant le démarrage du notebook, les données sont synchronisées depuis l'object storage vers un volume de système de fichiers sous-jacent. Cette synchronisation a lieu pendant la phase STARTING.
  2. Au démarrage du notebook, le volume est attaché dans le répertoire souhaité. Les données sont ensuite disponibles dans le job tant que dure la phase RUNNING.
  3. Après l'arrêt du notebook, les données sont resynchronisées depuis le volume de système de fichiers sous-jacent vers l'OVHcloud Object Storage. Cette synchronisation a lieu pendant la phase STOPPING.

Cela s'applique à votre /workspace interne ainsi qu'aux volumes d'object storage distants.

Schéma des phases de données d'un notebook montrant la synchronisation depuis OBJECT STORE vers VOLUME pendant STARTING puis les interactions du système de fichiers entre VOLUME et NOTEBOOK pendant RUNNING puis la synchronisation de retour vers OBJECT STORE pendant STOPPING

Capacités

Droits d'accès

Les utilisateurs peuvent accorder 3 droits d'accès différents sur les volumes de système de fichiers attachés aux jobs et notebooks :

  • Read Only (abrégé en RO) : vous pouvez uniquement lire les données de votre job ou notebook. Il est interdit d'écrire, de modifier ou de supprimer des données dans ce conteneur.

Quand attacher un volume en lecture seule RO ?

L'objectif des permissions en lecture seule est de garantir que vous ne modifiez pas vos données par erreur. Cette permission est recommandée pour vos données d'entrée : images, vidéos, sons, fichiers texte ou csv, etc.

Warning

Les volumes en mode lecture seule ne sont pas synchronisés avec l'Object Storage pendant la phase FINALIZING ou STOPPING, car il n'y a aucun intérêt à synchroniser des données qui n'ont pas changé durant la vie d'un job ou d'un notebook.

Info

Si vous avez ajouté directement des données depuis l'Object Storage vers le conteneur connecté en RO, vous pouvez demander une synchronisation intermédiaire. Sinon, vos données seront synchronisées au prochain démarrage de votre job ou notebook.

  • Read Write (abrégé en RW) : vous disposez d'un accès complet à vos données dans votre job ou notebook. Vous pouvez donc écrire, modifier ou ajouter des données dans ce conteneur.

Quand attacher un volume en lecture-écriture RW ?

L'objectif de la permission en lecture-écriture est de pouvoir modifier le contenu du conteneur d'objets. Cette permission est recommandée si votre conteneur contient du code (par exemple un fichier Python), un notebook, ou si vous souhaitez sauvegarder un modèle ou des poids de connexion après votre entraînement.

Info

Les volumes en lecture-écriture ne vous permettent pas de supprimer des données de votre Object Storage. Si vous les supprimez depuis un job ou un notebook, elles resteront présentes dans votre conteneur d'objets, même après synchronisation.

Si vous avez besoin de supprimer des données de votre conteneur d'objets, vous pouvez monter votre volume en RWD.

  • Read Write Delete (abrégé en RWD) : vous disposez d'un accès complet à vos données dans votre job ou notebook. Vous pouvez donc écrire, modifier, ajouter ou supprimer des données dans ce conteneur.

Quand attacher un volume en lecture-écriture-suppression RWD ?

L'objectif de la permission en lecture-écriture-suppression est de pouvoir modifier ou supprimer le contenu du conteneur d'objets. Vous pouvez non seulement apporter des modifications aux différents fichiers de votre conteneur (code Python, fichier requirements, etc.), mais aussi, et surtout, supprimer des données de celui-ci. Le RWD vous permettra de supprimer définitivement les données dont vous n'avez plus besoin de votre conteneur d'objets. Cette permission peut être utilisée en particulier si vous souhaitez supprimer d'anciens codes ou poids de connexion, qui peuvent être des fichiers volumineux.

Warning

Après la phase de synchronisation, vos données supprimées depuis votre notebook ou job seront définitivement supprimées dans l'Object Storage.

Info

Pour un volume en RW ou RWD : tant que votre job ou notebook est dans l'état FINALIZING ou STOPPING, cela signifie que le téléversement est toujours en cours. Une fois que l'état passe à INTERRUPTED ou STOPPED, cela signifie que toutes les données ont été téléversées vers votre Object Storage.

Mise en cache et partage de volume

Par défaut, les volumes de système de fichiers sont créés et supprimés à la volée pour chaque job en ayant besoin.

Les utilisateurs peuvent activer une fonctionnalité de cache qui permet aux jobs et notebooks de réutiliser des volumes disponibles au lieu d'en créer un nouveau à chaque fois. Cette fonctionnalité sert plusieurs objectifs :

  • Réduire le temps de synchronisation pour des données déjà téléchargées précédemment.
  • Partager les mêmes volumes entre plusieurs jobs ou notebooks.
Warning

Les données d'un volume inutilisé sont supprimées après 3 jours. Les utilisateurs ne doivent pas se reposer sur cette fonctionnalité de cache pour une persistance de longue durée.

Aller plus loin

Si vous avez besoin d'une formation ou d'une assistance technique pour la mise en oeuvre de nos solutions, contactez votre commercial ou cliquez sur ce lien pour obtenir un devis et demander une analyse personnalisée de votre projet à nos experts de l’équipe Professional Services.

Nous voulons vos retours !

N’hésitez pas à nous faire part de vos questions, retours et suggestions pour améliorer le service :

1 : S3 est une marque déposée appartenant à Amazon Technologies, Inc. Les services de OVHcloud ne sont pas sponsorisés, approuvés, ou affiliés de quelque manière que ce soit.

Cette page vous a-t-elle aidé ?