AI Deploy - Tutoriel - Déployer une app pour de l'analyse de sentiment avec Hugging Face et Flask

Objectif

L’objectif de ce tutoriel est de vous montrer comment déployer un service web d’analyse de sentiment sur du texte à l’aide de modèles pré-entraînés Hugging Face.
Pour cela, vous utiliserez Flask, un micro framework open source pour le développement web en Python. Vous apprendrez également à construire et utiliser une image Docker personnalisée pour une application Flask.

Aperçu de l’app :

Pour plus d’informations sur Hugging Face, rendez-vous sur https://huggingface.co/.

Prérequis

• Accès à l’espace client OVHcloud ;
• un projet AI Deploy créé au sein d’un projet Public Cloud dans votre compte OVHcloud ;
• un utilisateur pour AI Deploy ;
• Docker installé sur votre ordinateur local ;
• des connaissances sur la construction d’images et sur le Dockerfile ;

Nous vous suggérons également de faire des tests pour déterminer quel modèle Hugging Face convient à votre cas d’usage. Retrouvez des exemples sur notre dépôt GitHub.

En pratique

Tout d’abord, l’arborescence de votre dossier doit être la suivante :

Retrouvez plus d’informations sur l’application Flask ici pour vous préparer à l’utiliser.

Écrire l’application Flask

Créez un fichier Python nommé app.py.

Dans ce fichier, importez les modules nécessaires :

from flask import Flask, jsonify, render_template, request, make_response
import transformers

Créez l’app Flask :

app = Flask(__name__)

Chargez les modèles Hugging Face :

# create a python dictionary for your models d = {<key>: <value>, <key>: <value>, ..., <key>: <value>}
dictOfModels = {"BERT" : transformers.pipeline('sentiment-analysis', model="nlptown/bert-base-multilingual-uncased-sentiment")}
# create a list of keys to use them in the select part of the html code
listOfKeys = []
for key in dictOfModels :
        listOfKeys.append(key)

Écrivez la fonction d’inférence :

def get_prediction(message,model):
    # inference
    results = model(message)  
    return results

Définissez la méthode GET :

@app.route('/', methods=['GET'])
def get():
    # in the select we will have each key of the list in option
    return render_template("home.html", len = len(listOfKeys), listOfKeys = listOfKeys)

Définissez la méthode POST :

@app.route('/', methods=['POST'])
def predict():
    message = request.form['message']
    # choice of the model
    results = get_prediction(message, dictOfModels[request.form.get("model_choice")])
    print(f'User selected model : {request.form.get("model_choice")}')
    my_prediction = f'The feeling of this text is {results[0]["label"]} with probability of {results[0]["score"]*100}%.'
    return render_template('result.html', text = f'{message}', prediction = my_prediction)

Démarrez votre app :

if __name__ == '__main__':
    # starting app
    app.run(debug=True,host='0.0.0.0')

Écrire le fichier requirements.txt de l’application

Le fichier requirements.txt nous permettra d’indiquer tous les modules nécessaires au fonctionnement de notre application. Ce fichier sera utile lors de l’écriture du Dockerfile.

Flask==2.1.0

transformers==4.4.2

torch==1.6.0

Nous verrons ici principalement comment écrire le code app.py, le fichier requirements.txt et le Dockerfile. Si vous souhaitez voir le code complet, reportez-vous au dépôt GitHub.

Écrire le Dockerfile de l’application

Votre Dockerfile doit commencer par l’instruction FROM indiquant l’image parente à utiliser. Dans notre cas, nous choisissons de partir d’une image Python :

FROM python:3.8

Créez le répertoire personnel et ajoutez-y vos fichiers :

WORKDIR /workspace
ADD . /workspace

Installez le fichier requirements.txt qui contient les modules Python nécessaires à l’aide d’une commande pip install ... :

RUN pip install -r requirements.txt

Définissez votre commande de lancement par défaut pour démarrer l’application :

CMD [ "python" , "/workspace/app.py" ]

Donnez les droits d’accès nécessaires à l’utilisateur ovhcloud (42420:42420) :

RUN chown -R 42420:42420 /workspace
ENV HOME=/workspace

Construire l’image Docker depuis le Dockerfile

Depuis le répertoire contenant votre Dockerfile, exécutez l’une des commandes suivantes pour construire l’image de votre application :

# Build the image using your machine's default architecture
docker build . -t sentiment_analysis_app:latest

# Build image targeting the linux/amd64 architecture
docker buildx build --platform linux/amd64 -t sentiment_analysis_app:latest .

• La première commande construit l’image en utilisant l’architecture par défaut de votre système. Cela peut fonctionner si votre machine utilise déjà l’architecture linux/amd64, requise pour exécuter des containers avec nos produits AI. Cependant, sur des systèmes avec une architecture différente (par exemple ARM64 sur Apple Silicon), l’image résultante ne sera pas compatible et ne pourra pas être déployée.
• La seconde commande cible explicitement l’architecture linux/amd64 afin de garantir la compatibilité avec nos services AI. Elle nécessite buildx, qui n’est pas installé par défaut. Si vous n’avez jamais utilisé buildx, vous pouvez l’installer en exécutant : docker buildx install

Tester en local (optionnel)

Lancez la commande Docker suivante pour lancer votre application localement sur votre ordinateur :

docker run --rm -it -p 5000:5000 --user=42420:42420 sentiment_analysis_app:latest

Une fois démarrée, votre application devrait être disponible à l’adresse http://localhost:5000.

Envoyer l’image vers le registre partagé

Trouvez l’adresse de votre registre partagé en lançant cette commande :

ovhai registry list

Connectez-vous au registre partagé avec vos identifiants habituels d’utilisateur AI Platform :

docker login -u <user> -p <password> <shared-registry-address>

Envoyez l’image compilée vers le registre partagé :

docker tag sentiment_analysis_app:latest <shared-registry-address>/sentiment_analysis_app:latest
docker push <shared-registry-address>/sentiment_analysis_app:latest

Lancer l’app AI Deploy

La commande suivante démarre une nouvelle app exécutant votre application Flask :

ovhai app run --default-http-port 5000 --cpu 4 <shared-registry-address>/sentiment_analysis_app:latest

Aller plus loin

• Vous pouvez également imaginer déployer un modèle de détection d’objets avec Flask dans ce tutoriel.
• Découvrez un autre outil pour déployer facilement des modèles d’IA : Gradio. Reportez-vous à cette documentation.

Pour une formation ou une assistance technique sur la mise en œuvre de nos solutions, contactez votre commercial ou consultez la page Professional Services pour obtenir un devis et faire analyser votre projet par nos experts.

Votre avis nous intéresse !

N’hésitez pas à nous faire part de vos questions, retours et suggestions pour améliorer le service :

• Sur le serveur Discord OVHcloud