For AI agents: the complete documentation index is available at https://docs.ovhcloud.com/fr/llms.txt, the full documentation bundle is available at https://docs.ovhcloud.com/fr/llms-full.txt, and this page is available as Markdown at https://docs.ovhcloud.com/fr/guides/public-cloud/ai-machine-learning/ai-notebooks-weights-biases.md.

AI Notebooks - Tutoriel - Intégration de Weights & Biases

Voir en Markdown

Comment utiliser Wandb dans vos AI Notebooks

Objectif

L'objectif de ce tutoriel est de montrer comment il est possible d'utiliser Weights & Biases, l'un des outils de développement les plus connus pour le machine learning, avec les AI Notebooks OVHcloud.

Weights & Biases vous permet de suivre vos expérimentations de machine learning, de versionner vos datasets et de gérer facilement vos modèles, comme illustré ci-dessous :

Espace de travail Weights and Biases comparant sept runs d'entraînement avec les graphiques Test error rate loss acc val_loss val_acc et epoch

Ce tutoriel présente deux exemples d'utilisation de Weights & Biases. Dans le premier notebook, nous utiliserons TensorFlow et dans le second, une image Docker PyTorch.

Prérequis

  • un accès à l' ;
  • un projet Public Cloud créé ;
  • un utilisateur Public Cloud disposant des droits pour démarrer des AI Notebooks ;
  • un compte Weights & Biases, que vous pouvez créer sur leur site web. Il est gratuit pour les particuliers.

En pratique

Lancer et accéder à un notebook Jupyter

La première étape consiste à créer un notebook Jupyter avec les AI Notebooks OVHcloud.

Commencez par installer la CLI OVHAI, puis choisissez simplement le nom du notebook (<notebook-name>) et le nombre de GPU (<nb-gpus>) à utiliser pour votre job, et exécutez la commande suivante :

  • TensorFlow image docker:
ovhai notebook run tensorflow jupyterlab \
    --name <notebook-name> \
    --gpu <nb-gpus>
  • PyTorch image docker:
ovhai notebook run pytorch jupyterlab \
    --name <notebook-name> \
    --gpu <nb-gpus>

Quelle que soit la méthode choisie, vous devriez maintenant pouvoir accéder à l'URL de votre notebook (voir le champ Url: dans le résultat de la commande).

Expérimenter avec les notebooks d'exemple OVHcloud

Une fois le dépôt cloné, trouvez le notebook de votre choix.
Les instructions sont directement indiquées à l'intérieur des notebooks. Vous pouvez les exécuter avec le bouton "Play" standard de l'interface du notebook.

Le notebook utilisant TensorFlow et Weights & Biases est basé sur le dataset MNIST

Le notebook utilisant TensorFlow et Weights & Biases est basé sur le dataset MNIST. Pour y accéder, suivez ce chemin :

ai-training-examples > notebooks > computer-vision > image-classification > tensorflow > weights-and-biases > notebook_Weights_and_Biases_MNIST.ipynb

L'objectif de ce tutoriel est de montrer comment il est possible, grâce à Weights & Biases, de comparer les résultats des entraînements selon les hyperparamètres choisis.

Par exemple, vous pouvez afficher les courbes d'accuracy et de loss pour vos données de validation et d'entraînement. Ces métriques seront affichées pour chaque epoch de chaque entraînement.

Espace de travail Weights and Biases avec une section Valid data affichant val_loss et val_acc et une section Train data affichant loss et acc pour les sept runs d'entraînement

Vous pouvez ensuite comparer vos entraînements à l'aide du type de graphique Parallel coordinates :

Graphique Parallel coordinates de Weights and Biases reliant les axes loss learning_rate et epochs à la valeur acc obtenue avec une échelle de couleurs allant de 0.984 à 1.000

Vous pouvez également comparer les Test error rates :

Diagramme en barres Test error rate de Weights and Biases comparant les runs training_1 à training_7 avec des valeurs comprises entre environ 1.2 et 1.9

Un aperçu de ce notebook est disponible sur GitHub.

Le notebook utilisant PyTorch et Weights & Biases est basé sur YOLOv5 et le dataset COCO

Le notebook utilisant PyTorch et Weights & Biases est basé sur YOLOv5 et le dataset COCO. Pour y accéder, suivez ce chemin :

ai-training-examples > notebooks > computer-vision > object-detection > miniconda > weights-and-biases > notebook_Weights_and_Biases_yolov5.ipynb

L'objectif de ce tutoriel est de montrer comment Weights & Biases peut être utilisé avec le framework de détection d'objets en temps réel YOLOv5. Pour cela, les performances des modèles YOLOv5 s, m, l et x seront comparées sur le dataset COCO pour le même nombre d'epochs.

Espace de travail Weights and Biases avec une section train affichant obj_loss cls_loss et box_loss et une section val affichant les trois mêmes pertes pour les quatre runs yolov5x_results yolov5l_results yolov5m_results et yolov5s_results

Une autre possibilité offerte par Weights & Biases est d'afficher l'utilisation de vos ressources de calcul :

Section System de Weights and Biases affichant GPU Power Usage en watts et en pourcentage GPU Memory Allocated GPU Time Spent Accessing Memory GPU Temp et GPU Utilization au fil du temps pour les quatre runs YOLOv5

Vous pouvez également créer votre rapport avec vos courbes et vos images, et le partager avec votre équipe !

Rapport Weights and Biases intitulé YOLOv5 model comparaison avec une ligne Images montrant la même photo annotée par chacun des quatre runs et une ligne Results montrant leurs courbes précision rappel PR_curve.png

Un aperçu de ce notebook est disponible sur GitHub.

Conclusion

En résumé, Weights & Biases vous permet de suivre rapidement vos expérimentations, de versionner et d'itérer sur vos datasets, d'évaluer les performances des modèles, de reproduire des modèles, de visualiser les résultats, de repérer les régressions et de partager les résultats avec vos collègues.

Vous pouvez l'utiliser directement sur les AI Notebooks OVHcloud en quelques minutes.

Aller plus loin

  • Vous pouvez également utiliser l'outil Weights & Biases dans un job AI Training en suivant ce tutoriel.
  • Il est possible d'intégrer Weights and Biases pour comparer les performances de modèles pré-entraînés comme ResNet50 pour la classification d'images. Consultez ce notebook.

Pour une formation ou une assistance technique sur la mise en œuvre de nos solutions, contactez votre commercial ou consultez la page Professional Services pour obtenir un devis et faire analyser votre projet par nos experts.

Votre avis nous intéresse !

N’hésitez pas à nous faire part de vos questions, retours et suggestions pour améliorer le service :

Cette page vous a-t-elle aidé ?