Objectif

Ce guide va vous aider à comprendre comment utiliser les inputs mutualisés de Logs Data Platform pour ingérer vos logs sur la plateforme.

Les inputs sont les composants de Logs Data Platform que vous connectez pour ingérer vos logs sur la plateforme. Dans ce guide, nous nous concentrons spécifiquement sur les inputs mutualisés, disponibles pour tous par défaut.

Prérequis

Avant de lire cette documentation, vous devez :

• Avoir lu l'introduction à Logs Data Platform
• Avoir lu le démarrage rapide de Logs Data Platform
• Avoir créé et configuré un compte Logs Data Platform
• Avoir créé un flux Logs Data Platform

En pratique

Pourquoi différents inputs ?

Logs Data Platform impose quelques contraintes quant à la structuration de vos logs, afin de garantir une indexation efficace et optimale des logs que vous nous envoyez. Les différents inputs ont pour rôle de faire respecter ces contraintes, quel que soit le format compatible que vous donnez à vos logs, et de les convertir dans un format commun avant de les stocker sur la plateforme.

Les formats de logs acceptés par Logs Data Platform sont les suivants :

• GELF : il s'agit du format natif des logs utilisé par Graylog. Ce format JSON vous permet d'envoyer des logs très facilement. Consultez les spécifications de la charge utile GELF. L'input GELF n'accepte qu'un délimiteur nul (\0).
• LTSV : ce format simple est très efficace et facile à lire. Vous pouvez en apprendre plus ici. LTSV dispose de deux inputs qui acceptent un délimiteur de ligne ou un délimiteur nul.
• RFC 5424 : ce format est couramment utilisé par des utilitaires de logs tels que syslog. Il est suffisamment extensible pour vous permettre d'envoyer toutes vos données. Plus d'informations à ce sujet sont disponibles ici.
• Cap'n'Proto : le format de logs le plus efficace. Il s'agit d'un format binaire qui permet de conserver une faible empreinte et des performances élevées. Pour plus d'informations, consultez le site officiel : Cap'n'Proto.
• Beats : un protocole sécurisé et fiable utilisé par la famille des beats dans l'écosystème Elasticsearch (par exemple : Filebeat, Metricbeat, Winlogbeat).

Inputs mutualisés et inputs dédiés

Ce guide décrit les inputs mutualisés, inclus par défaut dans le fonctionnement de la plateforme. Avant de poursuivre, voici un rappel des quelques caractéristiques des inputs dédiés qui les différencient des inputs mutualisés :

• Ils sont optionnels et facturés à l'input.
• Vous pouvez choisir le port sur lequel ils écoutent.
• Vous pouvez filtrer les adresses IP autorisées à envoyer des logs.
• Vous pouvez choisir d'exécuter Logstash ou Flowgger. Vous pouvez configurer leurs sources ainsi que transformer les logs qu'ils ingèrent avant de les stocker sur Logs Data Platform.

Comme vous pouvez le constater, les inputs mutualisés vous offrent davantage de flexibilité dans la gestion de vos logs à l'ingestion, ainsi que des fonctionnalités de sécurité supplémentaires. Si vous avez besoin de l'une de ces fonctionnalités, consultez la documentation relative aux inputs dédiés.

Ingestion des logs

Il existe deux principales façons d'ingérer les logs générés par vos systèmes ou applications dans Logs Data Platform :

• Utiliser des logiciels d'export de logs qui analysent les fichiers de logs stockés localement sur votre système de fichiers, formatent les logs si nécessaire et se connectent aux inputs de Logs Data Platform pour envoyer les logs. Vous trouverez des documentations dédiées pour ces logiciels largement utilisés : Filebeat, syslog-ng, NXLog, et la documentation suivante devrait vous permettre de configurer tout autre logiciel similaire.
• Utiliser des bibliothèques dans votre propre logiciel pour envoyer directement des logs à Logs Data Platform. Nous avons de la documentation pour vous accompagner dans cette démarche si vous utilisez Python 2, Python 3 ou Rust, bien que toute autre bibliothèque compatible avec l'API OpenSearch puisse être utilisée.

Quel que soit votre choix, vous devrez configurer correctement votre logiciel ou vos bibliothèques pour envoyer vos logs à Logs Data Platform. La section suivante vous aidera à trouver les informations nécessaires à cet effet.

Configuration de votre logiciel

Pour configurer votre logiciel, vous avez besoin des informations suivantes :

• URL de l'endpoint de l'input : l'URL de l'endpoint est de la forme XXX.logs.ovh.com, XXX correspondant au cluster qui vous est attribué. Vous la trouverez dans votre espace client OVHcloud, sur la page d'accueil de votre compte Logs Data Platform.

• Port de l'endpoint de l'input : le port auquel votre logiciel doit se connecter dépend du format de vos logs et de l'utilisation ou non d'une couche de transport sécurisée. Le tableau ci-dessous décrit la correspondance entre le port et le format de logs ; vous trouverez également cette information dans votre espace client OVHcloud.

• Certificat : si vous utilisez une couche de transport sécurisée, les certificats sont également disponibles dans l'espace client OVHcloud.

• X-OVH-TOKEN : le X-OVH-TOKEN est utilisé pour aiguiller les logs que vous ingérez dans Logs Data Platform vers le bon flux de logs. Vous trouverez le X-OVH-TOKEN correspondant à votre flux dans la section Data stream de l'espace client OVHcloud.

Si votre logiciel interagit directement avec l'API OpenSearch, veuillez suivre cette documentation.

Vous devriez maintenant disposer de toutes les informations nécessaires pour configurer votre logiciel afin d'ingérer des logs dans Logs Data Platform.

Aller plus loin

Ingérer vos logs avec Filebeat
Ingérer vos logs avec syslog-ng
Ingérer vos logs avec NXLog
Envoyer vos logs avec l'API OpenSearch
SDK Python 2
SDK Python 3
SDK Rust
Ingérer les logs de votre cluster Kubernetes