Démarrage rapide avec Logs Data Platform

Objectif

Bienvenue dans le tutoriel de démarrage rapide de Logs Data Platform. Ce guide de démarrage rapide vous aidera à comprendre les concepts fondamentaux de Logs Data Platform et à envoyer vos premiers logs au moteur.

Accès à l'espace client OVHcloud

• Lien direct : Logs Data Platform
• Pour accéder à vos services : Identité, Sécurité & Opérations > Logs Data Platform > Sélectionnez la plateforme concernée

En pratique

La création d'un compte Logs Data Platform est gratuite : avec le modèle de facturation à l'usage, vous ne payez que ce que vous consommez.

Pour configurer votre compte, utilisez l'IAM OVHcloud afin d'activer les identités IAM et les politiques IAM. L'IAM gère tous les aspects de sécurité de Logs Data Platform. Une fois l'IAM activé, vous arriverez sur l'espace client Logs Data Platform :

Le nom de votre service Logs Data Platform se trouve en haut à gauche de la page (comme indiqué par le cadre orange sur la capture). Ce nom de service est utilisé dans l'URN IAM du service Logs Data Platform, de la manière suivante :

urn:v1:eu:resource:ldp:ldp-ag-03980

Dans la section de configuration, vous pouvez :

1. Identifier le point d'accès attribué à ce compte ainsi que votre type de service.
2. Identifier la région de votre service.
3. Lister le nombre de vos clés de chiffrement PGP pour l'archivage en stockage à froid et les modifier. Vous trouverez plus d'informations à ce sujet dans la documentation dédiée.

La page principale vous permet également de consulter les certificats SSL utilisés sur votre point d'accès dans le panneau Configuration SSL, ainsi que de passer en revue les ports disponibles et les formats pris en charge. Le panneau Abonnement vous permet de modifier le nom affiché de votre compte, ce qui peut être utile si plusieurs comptes sont rattachés au même identifiant client OVHcloud.

En haut de la page, vous pouvez voir le menu de configuration des deux éléments principaux :

1. Les flux de données sont les destinataires de vos logs. Lorsque vous envoyez un log avec le jeton de flux approprié, il arrive automatiquement dans votre flux au sein d'un logiciel puissant nommé Graylog. Lorsque vous accédez à votre flux dans Graylog, vous pouvez rechercher vos logs et les analyser immédiatement.

2. Le tableau de bord est la vue globale de vos logs. Un tableau de bord fournit une vue d'ensemble de vos logs. C'est un moyen efficace d'analyser vos logs et de consulter des métriques et des tendances de haut niveau sans être submergé par le détail des logs. Au-dessous, vous avez accès à différentes sections :

3. L'onglet Outils de collecte vous permet de demander à OVHcloud d'héberger votre propre collecteur dédié, tel que Logstash ou Flowgger.

4. L'onglet Index vous permet de créer votre index OpenSearch dédié ou de récupérer ceux utilisés pour stocker les paramètres de vos OpenSearch Dashboards.

5. L'onglet Alias donne accès à vos données directement depuis vos OpenSearch Dashboards ou à l'aide d'une requête OpenSearch.

6. L'onglet OpenSearch Dashboards crée votre instance OpenSearch Dashboards personnelle, afin d'exploiter les alias et index depuis la puissante interface OpenSearch Dashboards.

7. L'onglet Politiques IAM vous permet de modifier les droits d'accès à votre contenu.

Envoyons quelques logs !

• Créez d'abord un flux afin d'obtenir votre jeton à l'aide de Ajouter un flux de données dans le panneau des flux de données. Vous serez redirigé vers une page où vous pourrez ajouter un nom et une description pour le flux :

Sur cette même page, vous pouvez activer la fonctionnalité websocket de live-tail. Cela permet l'indexation de vos logs afin de les explorer dans Graylog, de choisir la rétention des données de ce flux et de limiter la quantité de logs stockés dans ce flux pour maîtriser votre budget.

• Une fois cette étape effectuée, cliquez sur le bouton bleu Sauvegarder et c'est terminé ! Vous avez créé votre premier flux. Le bouton vous redirigera vers la page du flux, où vous pourrez copier le jeton X-OVH-TOKEN. Cette valeur est le seul jeton dont vous aurez besoin pour router les logs vers votre flux. Sous ce jeton, vous trouverez la liste des flux que vous avez créés.

Le menu « ... » situé à droite vous donne accès à plusieurs fonctionnalités :

• Modifier vous permet de modifier le nom et la description de votre flux.
• Accès Graylog vous donne un accès direct à votre flux et à ses logs.
• Copier le jeton d'écriture récupère votre jeton et vous permet de l'utiliser dans vos différents collecteurs de logs.
• Superviser en temps réel vous permet de voir en temps réel les logs qui arrivent dans votre flux. Notez que Graylog propose également cette fonctionnalité. Sur cette page, vous pouvez également tester différents formats de logs depuis votre ordinateur vers votre flux. En savoir plus
• Gérer les alertes vous permet de définir vos conditions d'alerte sur les logs routés vers le flux. En savoir plus
• Archives vous permet de télécharger les archives stockées à froid. En savoir plus
• Supprimer retire votre flux du système, ainsi que tout le contenu associé.

Logs Data Platform prend en charge plusieurs formats de logs, chacun ayant ses avantages et ses inconvénients. Voici les différents formats disponibles :

• GELF : il s'agit du format de logs natif utilisé par Graylog. Ce format JSON vous permettra d'envoyer vos logs très facilement. Voir : https://go2docs.graylog.org/4-x/getting_in_log_data/gelf.html?tocpath=Getting%20in%20Log%20Data%7CLog%20Sources%7CGELF%7C_____0#GELFPayloadSpecification. L'input GELF n'accepte qu'un délimiteur null (\0).
• LTSV : ce format simple est très efficace tout en restant lisible par un humain. Vous pouvez en apprendre davantage ici. LTSV propose deux inputs, qui acceptent soit un délimiteur de ligne, soit un délimiteur null.
• RFC 5424 : ce format est couramment utilisé par les utilitaires de logs tels que syslog. Il est suffisamment extensible pour vous permettre d'envoyer toutes vos données. Vous trouverez davantage d'informations à ce sujet sur ce lien : RFC 5424.
• Cap'n'Proto : le format de logs le plus efficace. Il s'agit d'un format binaire qui vous permet de conserver une faible empreinte et des performances élevées. Pour plus d'informations, consultez le site officiel : Cap'n'Proto.
• Beats : un protocole sécurisé et fiable utilisé par la famille beats dans l'écosystème Elasticsearch (ex. : Filebeat, Metricbeat, Winlogbeat).

Voici les ports que vous pouvez utiliser sur votre cluster pour envoyer vos logs. Vous pouvez soit utiliser les ports sécurisés avec SSL activé (TLS >= 1.2), soit utiliser les ports non sécurisés si vous ne pouvez pas utiliser un transport SSL.

Comme indiqué précédemment, vous pouvez récupérer les ports et l'adresse de votre cluster sur la page Home (dans le panneau Configuration SSL).

Pour envoyer vos logs vers Logs Data Platform, vous pouvez facilement tester votre flux en effectuant, par exemple, un simple echo suivi d'une commande openssl. Voici 3 exemples : choisissez le format qui vous convient le mieux avec le terminal de votre choix. Notez que chaque format possède son propre format d'horodatage : GELF utilise les secondes depuis l'epoch, RFC 5424 et LTSV utilisent la RFC 3339. N'oubliez pas de remplacer le timestamp par votre heure actuelle afin de voir vos logs (par défaut, Graylog affiche les logs récents ; vous pouvez modifier la portée de la recherche à l'aide du sélecteur de plage horaire situé en haut à gauche). Veillez également à remplacer le token par le bon jeton.

GELF :

$ ubuntu@server:~$ echo -e '{"version":"1.1",  "_X-OVH-TOKEN":"d93eee2a-697f-4bac-a452-705416b98a04", "host": "example.org", "short_message": "A short message that helps you identify what is going on", "full_message": "Backtrace here\n\nmore stuff", "timestamp": 1385053862.3072, "level": 1, "_user_id": 9001, "_some_info": "foo", "some_metric_num": 42.0 }\0' | \
openssl s_client -quiet -no_ign_eof -connect `<your_cluster>`.logs.ovh.com:12202

Pour ce format, l'heure est exprimée en secondes, avec des millisecondes facultatives en décimales.

LTSV :

$ ubuntu@server:~$ echo -e 'X-OVH-TOKEN:d93eee2a-697f-4bac-a452-705416b98a04\thost:example.org\ttime:2016-03-08T14:44:01+01:00\tmessage:A short message that helps you identify what is going on\tfull_message:Backtrace here\n\nmore stuff\tlevel:1\tuser_id:9001\tsome_info:foo\tsome_metric_num:42.0\0'| \
openssl s_client -quiet -no_ign_eof -connect `<your_cluster>`.logs.ovh.com:12200

Pour ce format, l'heure est au format RFC 3339.

RFC 5424 :

$ ubuntu@server:~$ echo -e '<6>1 2016-03-08T14:44:01+01:00 149.202.165.20 example.org - - [exampleSDID@8485 X-OVH-TOKEN="d93eee2a-697f-4bac-a452-705416b98a04" user_id="9001"  some_info="foo" some_metric_num="42.0" ] A short message that helps you identify what is going on\n' | \
openssl s_client -quiet -no_ign_eof -connect `<your_cluster>`.logs.ovh.com:6514

Pour ce format, l'heure est au format RFC 3339.

• Pour voir vos logs dans Graylog, cliquez sur le bouton de menu ... situé à droite de votre flux dans la liste des flux. Cliquez sur le lien Accès Graylog pour accéder directement à Graylog.

La page de connexion Graylog se présente ainsi :

Sur cette page, vous pouvez sélectionner le fournisseur d'identité disponible pour ce cluster. Sélectionnez le fournisseur adapté à votre service : vous serez redirigé vers la page de connexion OVHcloud ou, si vous êtes déjà connecté, vous arriverez sur la page de confirmation.

Une fois connecté, vous serez redirigé vers cette page :

Sur cette page, vous pouvez déjà rechercher les différentes valeurs présentes dans les logs à l'aide de la barre de recherche (en haut de la page). Vous pouvez également sélectionner la plage horaire de votre recherche en utilisant le sélecteur de plage horaire situé en haut à gauche de la page. Par exemple, pour rechercher tous les logs des 5 dernières minutes qui contiennent 42 pour la valeur some_metric_num, vous pouvez saisir ceci dans la barre de recherche après avoir sélectionné Last 5 minutes dans la liste déroulante du sélecteur de plage horaire en haut :

some_metric_num:42

Appuyez sur Enter ou cliquez sur le bouton vert pour lancer la recherche et attendez vos résultats.

Il est possible de rechercher une partie de votre message en saisissant :

helps going

Ce qui vous renvoie tous les messages contenant les termes helps et going.

Graylog vous permet de rechercher de manière approfondie dans vos logs sans compromettre la simplicité d'utilisation. Pour plus d'informations sur la façon de construire des recherches pertinentes dans Graylog, consultez la documentation de recherche Graylog.

Envoyez par exemple plusieurs logs avec des valeurs différentes pour user_id. À gauche de la page, vous verrez les champs présents dans votre flux : vous pouvez cocher la case user_id pour afficher toutes les valeurs de ce champ à côté des logs.

Créons un tableau de bord

Revenons à l'espace client Logs Data Platform : nous allons maintenant créer un tableau de bord qui vous permettra d'explorer vos données de manière graphique. Créer un tableau de bord est encore plus simple : cliquez simplement sur le bouton Ajouter un tableau de bord puis, sur la page suivante, ajoutez une description et un titre pour votre tableau de bord. Une fois créé, vous pouvez utiliser le menu ... pour y accéder immédiatement.

Votre tableau de bord est vide au départ ; nous allons maintenant y ajouter des widgets. Pour ce faire, retournez sur votre flux : vous pouvez utiliser le lien dans Graylog (sous l'onglet Stream) ou celui de votre console, comme vous le souhaitez. Supposons que vous souhaitiez d'abord obtenir tous les identifiants d'utilisateur pour lesquels la valeur some_metric_num est supérieure à 30. Vous recherchez ces données :

• Dans la barre de recherche, saisissez ceci : some_metric_num:>30
• Au-dessus de la barre de recherche, sélectionnez la plage horaire relative que vous souhaitez utiliser dans vos widgets. Si vous voulez que le widget affiche la dernière heure, sélectionnez Search in the last Hour
• Dans le panneau de gauche, cliquez sur le bouton en forme de « X » pour ouvrir le menu des champs.
• Déroulez le menu user_id en cliquant sur la valeur et sélectionnez Show top values. Un widget affichera alors la répartition des user_ids les plus fréquents.

Vous pouvez modifier le widget à l'aide de la flèche de son menu en haut à droite. Vous pouvez par exemple changer le type de visualisation en choisissant Pie Chart dans l'option Visualization Type en haut à gauche.

Ce widget vous indique les user_id les plus fréquents dans les logs de la dernière heure dont la valeur some_metric_num est supérieure à 30.

• Pour ajouter cette information vraiment critique à votre tableau de bord, cliquez sur le bouton de menu Copy to Dashboard et sélectionnez le tableau de bord que vous venez de créer. Vous serez ensuite redirigé vers le tableau de bord, contenant votre nouveau widget.

C'est en combinant différents widgets sur un même tableau de bord que cette fonctionnalité prend tout son sens. Pour ajouter un widget à ce tableau de bord, vous pouvez également utiliser directement le bouton « + » du panneau de gauche. Ce bouton vous demandera le type de widget que vous souhaitez créer (Aggregation, Message Count ou Message Table). L'option Aggregation vous permet de créer différents types de visualisation pour vos données.

Sur cette capture d'écran, vous pouvez voir que nous avons ajouté un widget représentant les valeurs moyennes de some_metric_num (en utilisant generate chart au lieu de quick values pour le champ some_metric dans l'onglet Stream).

Notez que les tableaux de bord sont interactifs : vous pouvez utiliser la barre de recherche en haut et le sélecteur de date pour n'afficher que les widgets correspondant à un type d'événement particulier.

Aller plus loin

Vous n'avez fait qu'effleurer ce que Logs Data Platform peut vous apporter. Vous découvrirez bientôt comment :

• Envoyer des logs correctement formatés afin d'utiliser des types personnalisés comme les nombres, les booléens et bien d'autres.
• Configurer votre syslog-ng pour envoyer vos logs Linux vers Logs Data Platform.
• Gérer les politiques IAM afin de permettre à d'autres utilisateurs de la plateforme de consulter vos tableaux de bord ou d'explorer vos flux eux-mêmes, plutôt que de le faire à leur place.
• Utiliser OpenSearch Dashboards et les alias pour exploiter toute la puissance d'OpenSearch
• Si vous souhaitez maîtriser Graylog, c'est ici qu'il faut aller : documentation Graylog
• Documentation : Guides
• Créer un compte : Essayez !
• Rejoignez notre communauté d'utilisateurs sur la communauté OVHcloud ou sur notre canal Discord