AI Notebooks - Se servir de données dans un notebook via l'espace client (UI)
Découvrez comment gérer et accéder aux données de votre Object Storage depuis votre AI Notebooks
Objectif
Ce guide montre comment accéder aux données de l'Object Storage depuis vos notebooks via l'espace client OVHcloud.
Prérequis
- un projet Public Cloud dans votre compte OVHcloud
- un accès à l'
- un utilisateur Public Cloud avec le rôle
AdministratorouAI Training operator, voir ici pour plus d'informations
Envoyer des données vers votre Object Storage
Vous devez d'abord envoyer des données vers l'Object Storage avant d'y accéder depuis le notebook.
Vous pouvez accéder à la section Object Storage de votre projet Public Cloud depuis l'espace client OVHcloud.
Vous pouvez envoyer différents types de données : jeux de données, code, notebooks, poids de connexion, fichiers texte ou csv, etc.
Pour envoyer vos données, rendez-vous sur Créer un conteneur d'objets.
Supposons qu'un fichier nommé my-dataset.zip existe localement sur votre ordinateur et contient votre jeu de données. Vous pourrez l'envoyer dans un conteneur d'objets de votre Object Storage en suivant ces étapes.
1- Sélectionnez votre solution
Si vous choisissez une solution Object Storage compatible S3*, notez qu'elles ne sont pas encore compatibles avec nos produits AI depuis l'espace client (UI). Pour utiliser des buckets compatibles S3, vous devrez utiliser ovhai. L'espace client ne permet d'utiliser que des conteneurs Swift.
Si vous souhaitez en savoir plus sur les différentes solutions de stockage, référez-vous à cette page.
2- Sélectionnez une région
Pour optimiser les temps de téléchargement et d'envoi, nous vous conseillons de stocker vos données au même endroit que votre notebook (GRA ou BHS).
3- Sélectionnez un type de conteneur
Choisissez le type de vos données en fonction de ce que vous souhaitez faire.
Exemple : pour un jeu de données que vous utilisez pour entraîner votre modèle, le type Private est approprié
4- Nommez votre conteneur
Vous avez créé votre conteneur pour héberger votre jeu de données.
Vous êtes maintenant prêt(e) à charger vos données !
5- Ajoutez des objets à votre conteneur
Afin d'envoyer votre jeu de données dans votre conteneur d'objets my-dataset, vous devez aller sur Ajouter des objets et sélectionner votre fichier local my-dataset.zip.
Vous verrez maintenant votre fichier my-dataset.zip affiché dans votre conteneur d'objets.
Vous pouvez également créer un nouveau conteneur vide my-weights dans lequel vous pourrez sauvegarder vos poids de connexion (ou votre modèle validé) à la fin de votre entraînement.
Nous supposons que nous disposons désormais de deux conteneurs d'objets disponibles :
my-dataset, contenant le fichiermy-dataset.zipmy-weights, vide
Vous êtes maintenant prêt(e) à lancer un notebook avec vos données !
Lancer un notebook avec des données attachées
Pour lancer un AI notebook, accédez à la section AI Notebooks de votre projet Public Cloud dans l'espace client OVHcloud.
Pour les 4 premières étapes de la création du notebook, veuillez vous référer à ce tutoriel.
Choisissez l'emplacement du notebook
Vous pouvez choisir entre 2 datacenters pour le stockage de votre notebook : GRA ou BHS.
Attachez un conteneur ou un dépôt Git
Vous pouvez attacher différents types de données à votre notebook.
Comme mentionné précédemment, les buckets compatibles S3 ne sont pas encore compatibles avec nos produits AI depuis l'espace client. Pour utiliser des solutions compatibles S3, vous devrez utiliser la CLI ovhai.
Accès avec des permissions Read-Only
Vous pouvez charger le conteneur my-dataset dans le répertoire /workspace/dataset, avec la permission Read-only.
Vous ne pourrez pas modifier le jeu de données depuis ce notebook car vous l'avez chargé avec la permission Read-only.
Les permissions Read-only permettent de garantir que vous ne modifiez pas vos données par erreur. Si vous souhaitez modifier des données depuis vos
notebooks, pour sauvegarder un réseau de neurones entraîné par exemple, vous pouvez utiliser la permission Read-write à la place.
Accès avec des permissions Read-Write
Comme pour le mode Read-only, vous pouvez charger des données avec la permission Read-write.
Une fois que vous disposez de données que vous souhaitez sauvegarder du notebook vers l'Object Storage (des poids de connexion dans cet exemple), il vous suffit de les écrire dans le dossier /workspace/weights.
Ce dossier sera envoyé vers votre Object Storage lorsque vous arrêterez votre notebook.
Tant que votre notebook est à l'état STOPPING, cela signifie que l'envoi est toujours en cours. Une fois que l'état passe à STOPPED, cela signifie que toutes les données ont été envoyées vers votre Object Storage.
Attacher un dépôt Git public
Si du code Python, des notebooks ou d'autres fichiers sont disponibles sur un dépôt GitHub public, vous pouvez les attacher à votre notebook. Pour pouvoir les modifier facilement, utilisez la permission Read-write.
La commande est la suivante :
Pour que votre commande soit valide, n'oubliez pas d'ajouter .git à la fin de l'URL du dépôt GitHub.
Utiliser des volumes en cache
Lors du chargement de fichiers volumineux depuis l'Object Storage, le téléchargement vers vos notebooks peut prendre du temps. Dans ces cas, vous pouvez mettre les volumes en cache afin qu'ils n'aient pas besoin d'être téléchargés à nouveau lorsque vous démarrez de nouveaux notebooks utilisant les mêmes données.
Pour cela, vous pouvez cocher Cache.
Les volumes en cache seront supprimés au moins 72 heures après l'arrêt du dernier notebook les utilisant. Notez que le cache est partagé entre tous les utilisateurs de votre projet. La principale conséquence à laquelle vous devez faire attention est que si une autre personne modifie les données de votre volume en cache, vous verrez également les modifications de votre côté.
Lancer et accéder au notebook
Votre notebook est maintenant prêt à être lancé avec vos données !
Vous pouvez consulter la page Bien démarrer pour savoir comment retrouver cette URL.
Dès que vous accédez à votre notebook, vous verrez vos différents dossiers contenant vos données.
Votre avis nous intéresse !
N’hésitez pas à nous faire part de vos questions, retours et suggestions pour améliorer le service :
- Sur le serveur Discord OVHcloud
Pour une formation ou une assistance technique sur la mise en œuvre de nos solutions, contactez votre commercial ou consultez la page Professional Services pour obtenir un devis et faire analyser votre projet par nos experts.
*: S3 est une marque déposée d'Amazon Technologies, Inc. Le service d'OVHcloud n'est ni sponsorisé, ni approuvé, ni autrement affilié à Amazon Technologies, Inc.