For AI agents: the complete documentation index is available at https://docs.ovhcloud.com/fr/llms.txt, the full documentation bundle is available at https://docs.ovhcloud.com/fr/llms-full.txt, and this page is available as Markdown at https://docs.ovhcloud.com/fr/guides/manage-and-operate/observability/logs-data-platform/logstash-input.md.

Input dédié - Logstash

Voir en Markdown

Faites héberger un collecteur Logstash dédié par OVHcloud pour transformer vos logs avant leur ingestion.

Objectif

Logstash est un logiciel open source développé par Elastic. Grâce à ses fonctionnalités, il est possible d'envoyer des messages depuis plusieurs inputs vers différents types de sortie en utilisant une grande variété de codecs, tout en les traitant et en les transformant au passage. Vous pouvez en apprendre beaucoup plus sur le site officiel.

Ce guide va vous montrer comment déployer un Logstash personnalisé avec une configuration spécifique, et envoyer des logs depuis n'importe quelle source vers votre flux directement sur Logs Data Platform.

Prérequis

Si vous découvrez Logs Data Platform, il est vivement recommandé de suivre le tutoriel de démarrage rapide.

Les liens suivants peuvent vous aider à prendre une longueur d'avance sur Logstash afin de démarrer avec les bases :

Voici « Tout ce que vous devez savoir sur le collecteur Logstash sur Logs Data Platform » !

En pratique

Qu'est-ce que Logstash

Logstash est un pipeline de traitement de données qui vous permet de recevoir des informations depuis plusieurs sources, en les transformant si nécessaire avant de les envoyer vers une grande variété de logiciels. Dans le fichier de configuration, il y a trois parties principales à configurer :

  • La partie Input : elle précise d'où proviennent vos logs. Par exemple, certains inputs peuvent attendre des logs et, dans certains cas, les inputs sont capables de les récupérer depuis une base de données.
  • La partie Filter : elle précise comment Logstash doit analyser et transformer vos messages de logs.
  • La partie Output : elle spécifie le format et leur destination.

Voici un petit exemple de fichier de configuration :

 #input
 #The input part just launch tcp server that will listen on port 5000
 #Each incoming line of log will be tagged as a syslog type.
 input {
     tcp {
         port => 5000
         type => syslog
     }
 }

 #Filter
 #The filter part applies a grok filter that will parse the message
 #It will also create new fields with information contained in the message.
 filter {
     grok {
         match => { "message" => "%{SYSLOGBASE}" }
     }
     date {
         match => [ "timestamp", "MMM dd HH:mm:ss" ]
         target => "timestamp"
         timezone => "Europe/Paris"
     }
 }

 #Output
 #The output part will then encode everything in a gelf format and send it to Logs Data Platform on the TCP GELF endpoint
 #Note that you need to change the token to use the one of your stream.
 output {
     gelf {
         host => "<your_cluster>.logs.ovh.com"
         protocol => "TCP"
         port => 2202
         custom_fields => ['X-OVH-TOKEN', 'da819874-5562-4a5f-b34e-fa8e708e8f16']
     }
 }

Il s'agit d'un des nombreux exemples de configuration que vous pouvez utiliser dans votre propre Logstash pour envoyer des logs de type syslog vers Logs Data Platform. De nombreux filtres et plugins sont disponibles dans Logstash, et la liste ne cesse de s'allonger ! Par exemple, en envoyant ce type de lignes dans ce Logstash :

 Mar 25 13:20:36 bdiasse-wsant docker[7406]: time="2016-03-25T13:20:36.038884464+01:00" level=info msg="IPv6 enabled; Adding default IPv6 external servers : [nameserver 2001:4860:4860::8888 nameserver 2001:4860:4860::8844]"
 Mar 25 13:20:36 bdiasse-wsant systemd[1]: Started docker container 5164ae90f489bc4479081c788b69b533a1e7a0be7e456f123cb05bb0542fc71b.
 Mar 25 13:20:36 bdiasse-wsant systemd[1]: Starting docker container 5164ae90f489bc4479081c788b69b533a1e7a0be7e456f123cb05bb0542fc71b.
 Mar 25 13:20:36 bdiasse-wsant avahi-daemon[743]: Withdrawing workstation service for veth4c25f95.
 Mar 25 13:20:36 bdiasse-wsant systemd[1]: Stopping ifup for veth4c25f95...
 Mar 25 13:20:36 bdiasse-wsant kernel: [337824.157113] eth0: renamed from veth4c25f95
 Mar 25 13:20:36 bdiasse-wsant ifdown[2091]: /sbin/ifdown: interface veth4c25f95 not configured
 Mar 25 13:20:36 bdiasse-wsant systemd[1]: Stopped ifup for veth4c25f95.
 Mar 25 13:20:36 bdiasse-wsant NetworkManager[777]: <info> devices removed (path: /sys/devices/virtual/net/veth4c25f95, iface: veth4c25f95)
 Mar 25 13:20:36 bdiasse-wsant kernel: [337824.172875] IPv6: ADDRCONF(NETDEV_CHANGE): vethd7be492: link becomes ready
 Mar 25 13:20:36 bdiasse-wsant kernel: [337824.172973] docker0: port 1(vethd7be492) entered forwarding state
 Mar 25 13:20:36 bdiasse-wsant kernel: [337824.172992] docker0: port 1(vethd7be492) entered forwarding state
 Mar 25 13:20:36 bdiasse-wsant NetworkManager[777]: <warn> (vethd7be492): enslaved to unknown device 3 docker0
 Mar 25 13:20:36 bdiasse-wsant NetworkManager[777]: <info> (vethd7be492): link connected
 Mar 25 13:20:36 bdiasse-wsant docker[7406]: time="2016-03-25T13:20:36.478880100+01:00" level=info msg="POST /v1.21/containers/5164ae90f489bc4479081c788b69b533a1e7a0be7e456f123cb05bb0542fc71b/resize?h=57&w=207"
 Mar 25 13:20:37 bdiasse-wsant avahi-daemon[743]: Joining mDNS multicast group on interface vethd7be492.IPv6 with address fe80::8808:c4ff:fea6:becc.
 Mar 25 13:20:37 bdiasse-wsant avahi-daemon[743]: New relevant interface vethd7be492.IPv6 for mDNS.
 Mar 25 13:20:37 bdiasse-wsant avahi-daemon[743]: Registering new address record for fe80::8808:c4ff:fea6:becc on vethd7be492.*.
 Mar 25 13:20:51 bdiasse-wsant kernel: [337839.195284] docker0: port 1(vethd7be492) entered forwarding state
 Mar 25 13:24:02 bdiasse-wsant puppet-agent[1377]: Skipping run of Puppet configuration client; administratively disabled (Reason: 'Disabled by default on new installations');
 Mar 25 13:24:02 bdiasse-wsant puppet-agent[1377]: Use 'puppet agent --enable' to re-enable.

Vous obtiendrez le résultat suivant dans votre flux sur Graylog :

local\_logstash\_graylog

Imaginons que vous ayez de nombreux hôtes et que vous souhaitiez envoyer toutes vos sorties syslog vers Logstash. Une façon de procéder consiste à placer un Logstash sur l'une de vos machines et à y envoyer tous les logs. Cela fonctionnera, mais que se passe-t-il si cet hôte tombe en panne ? Ou s'il n'est pas assez rapide ? Ou s'il n'est pas compatible avec Java ? Ne vous inquiétez pas, le meilleur atout de Logs Data Platform est que nous pouvons héberger votre Logstash pour vous. Nous vous permettons également de configurer l'input et le filtre comme vous le souhaitez, et vous pouvez même définir des Groks personnalisés. La section suivante vous explique comment procéder !

Héberger un collecteur Logstash sur Logs Data Platform

Le collecteur Logstash présente de nombreux avantages :

  • La partie output du Logstash est automatiquement configurée par nos soins.
  • Vous disposez de votre propre certificat pour activer le SSL. Ce certificat peut par exemple être utilisé pour ne faire confiance qu'aux inputs TCP de votre Logstash. Ce certificat et sa clé associée se trouvent aux emplacements suivants : /etc/ssl/private/server.crt pour le certificat et /etc/ssl/private/server.key pour la clé. L'autorité de certification (CA) utilisée pour créer ces inputs se trouve à l'emplacement suivant : /etc/ssl/private/ca.crt. Vous retrouverez cette CA SSL pour référence à la fin de ce document. Pour l'input http avec SSL activé, un keystore contenant la clé, le certificat et la CA au format PKCS12 est présent à l'emplacement suivant : /etc/ssl/private/keystore.jks, avec le mot de passe du keystore « changeit ».
  • Enfin, nous garantissons que votre collecteur est toujours actif et disponible 24 h/24 et 7 j/7.

Pour héberger ce collecteur sur Logs Data Platform, vous devez le configurer dans le Manager de Logs Data Platform :

  • Rendez-vous dans l'onglet Data-gathering tools et cliquez sur le bouton Ajouter un outil de collecte.
  • Le Manager vous demandera alors de fournir un nom élégant et une description merveilleuse.
  • Sélectionnez votre logiciel : sélectionnez Logstash 9.x.
  • Renseignez le port principal de votre input. Nous devons savoir quel port vous allez utiliser dans la configuration de votre input. Nous mettrons 4000 pour l'instant. C'est également un paramètre que vous pourrez modifier ultérieurement.
  • Si vous souhaitez restreindre Logstash à des adresses IP spécifiques, vous pouvez utiliser le champ Trusted Networks pour protéger vos instances par un pare-feu. Ajoutez chaque adresse IP ou sous-réseau que vous souhaitez autoriser, séparés par des virgules. Laissez ce champ vide pour autoriser n'importe quelle adresse IP à le contacter. Votre collecteur disposera d'une adresse IP publique ; vous pouvez utiliser cette fonctionnalité pour empêcher que l'on vous envoie de fausses informations.
  • Sélectionnez l'un de vos flux pour rattacher ce collecteur à ce flux. Cela signifie que chaque message sortant de ce collecteur est automatiquement routé vers le flux.
  • Enfin, sélectionnez le nombre d'instances dont vous aurez besoin pour gérer votre charge. Nous recommandons d'avoir au moins deux instances afin de garantir la haute disponibilité de votre Logstash. Cependant, certains cas d'usage nécessitent de limiter le nombre d'instances à 1.
    • Notez que vous pouvez également choisir de faire évoluer automatiquement le nombre d'instances. Dans ce cas, vous devez sélectionner un nombre minimum et un nombre maximum d'instances. Votre input démarrera alors avec le nombre minimum d'instances sélectionné. Si ces instances font face à une charge importante pendant un certain temps (plus d'une minute), votre input montera automatiquement en charge — une nouvelle instance à la fois — jusqu'à atteindre le nombre maximum d'instances sélectionné. À l'inverse, si la charge diminue, ce nombre d'instances redescendra jusqu'à atteindre le nombre minimum d'instances.
logstash_creation

Le moteur ne vous permettra pas de le démarrer si vous ne le configurez pas correctement.

Configuration du collecteur Logstash

Cliquez sur le bouton Suivant pour afficher la page de configuration de Logstash comme suit :

logstash_creation

Cette page comporte 3 sections :

  • La section Input, où vous placez la partie Input de votre fichier de configuration.
  • La section Filter, où vous placez la partie filter.
  • La section des motifs grok, où vous pouvez créer vos propres motifs grok.

Notez que, contrairement à un fichier de configuration classique, vous n'avez pas ici à entourer la grammaire de configuration de l'input.

input {

}

Nous le ferons automatiquement pour vous.

Si l'on reprend l'exemple de configuration ci-dessus et que l'on active le chiffrement SSL, on obtient la configuration suivante pour la section Input :

 tcp {
     port => 4000
     type => syslog
     ssl_enabled => true
     ssl_client_authentication => "none"
     ssl_certificate => "/etc/ssl/private/server.crt"
     ssl_key => "/etc/ssl/private/server.key"
     ssl_extra_chain_certs => ["/etc/ssl/private/ca.crt"]
 }
logstash_creation

Comme vous pouvez le constater, il s'agit à peu près de la même configuration que précédemment. La configuration SSL nécessite 5 paramètres supplémentaires :

  • ssl_enabled : permet d'activer le SSL. Doit être défini sur true.
  • ssl_client_authentication : désactive le processus de vérification du certificat client, qui nécessite un certificat de confiance côté client.
  • ssl_certificate : l'emplacement du certificat serveur généré automatiquement.
  • ssl_key : l'emplacement de la clé associée.
  • ssl_extra_chain_certs : le tableau contenant le chemin du certificat de la CA.

Tous les inputs disposent de certificats SSL préconfigurés aux emplacements fixes utilisés dans la configuration ci-dessus. Et pour la partie filter, il vous suffit de copier-coller la configuration précédente.

logstash_creation

La dernière section de la configuration est dédiée aux filtres Grok personnalisés. Si vous connaissez Grok, vous pouvez utiliser cette zone de texte pour créer vos propres motifs grok, que vous pourrez utiliser dans la section filter ci-dessus. C'est un usage avancé de Logstash. Rendez-vous à la fin du document pour trouver quelques liens de référence qui peuvent vous aider à utiliser cette fonctionnalité.

Pour valider les paramètres, vous devrez cliquer sur le bouton Tester la configuration. Après quelques calculs sophistiqués, une confirmation verte devrait s'afficher à l'écran.

logstash_testing

Vous pouvez ensuite cliquer sur le bouton Terminer la configuration pour enregistrer votre configuration !

Démarrer l'input

Le démarrage de l'input se fait via le bouton Démarrer dans le menu ... à droite de votre input. Cliquez dessus pour déployer votre collecteur sur Logs Data Platform.

input_start

Informations utiles sur le collecteur

Une fois votre collecteur démarré, vous pouvez copier plusieurs informations dans votre presse-papiers.

  • Le nom d'hôte
  • L'IP publique
  • Le certificat SSL

Le nom d'hôte se présente sous la forme suivante :

<your_cluster>-XXXXXXXXXXXXXXXXXXXXXXX.<your_cluster>.logs.ovh.com

Il s'agit d'une adresse de votre collecteur pour le cluster sur Logs Data Platform. Envoyez vos logs à cette adresse pour qu'ils soient traités par votre collecteur. Utilisez par exemple les lignes syslog précédentes pour tester vos collecteurs. Si vous vous rendez sur Graylog, vous retrouverez vos logs dans le flux rattaché, comme précédemment.

logs_graylog

Informations complémentaires

Version de Logstash

La version hébergée par Logs Data Platform est la dernière version de Logstash 7 (7.8 à la date de juillet 2020). Bien entendu, nous effectuerons les mises à jour vers les nouvelles versions dès qu'elles seront disponibles.

Plugins Logstash

Pour votre information, voici la liste des plugins Logstash que nous prenons en charge. Bien entendu, nous accueillerons avec plaisir toute suggestion de plugins supplémentaires. N'hésitez pas à nous contacter sur le hub communautaire.

Plugins d'input
logstash-input-beats
logstash-input-couchdb_changes
logstash-input-dead_letter_queue
logstash-input-elastic_serverless_forwarder
logstash-input-elasticsearch
logstash-input-ganglia
logstash-input-gelf
logstash-input-generator
logstash-input-graphite
logstash-input-heartbeat
logstash-input-http
logstash-input-http_poller
logstash-input-jms
logstash-input-opensearch
logstash-input-redis
logstash-input-relp
logstash-input-stdin
logstash-input-syslog
logstash-input-tcp
logstash-input-twitter
logstash-input-cloudwatch
logstash-input-s3
logstash-input-sqs
logstash-input-jdbc
logstash-input-logstash
logstash-input-rabbitmq
logstash-input-snmp
logstash-input-snmptrap
Plugin input gelf

Nous avons corrigé l'input gelf pour prendre en charge le TCP+TLS. Exemple de section Input :

 tcp {
     port => 12202
     type => gelf
     ssl_enabled => true
     ssl_client_authentication => "none"
     ssl_certificate => "/etc/ssl/private/server.crt"
     ssl_key => "/etc/ssl/private/server.key"
     ssl_extra_chain_certs => ["/etc/ssl/private/ca.crt"]
     codec => gelf { delimiter => "\x00" }
 }

Plugins filter

logstash-filter-age
logstash-filter-aggregate
logstash-filter-anonymize
logstash-filter-cidr
logstash-filter-clone
logstash-filter-csv
logstash-filter-date
logstash-filter-de_dot
logstash-filter-dissect
logstash-filter-dns
logstash-filter-drop
logstash-filter-fingerprint
logstash-filter-geoip
logstash-filter-grok
logstash-filter-hex
logstash-filter-http
logstash-filter-json
logstash-filter-kv
logstash-filter-math
logstash-filter-memcached
logstash-filter-metrics
logstash-filter-mutate
logstash-filter-opensearch
logstash-filter-prune
logstash-filter-sleep
logstash-filter-split
logstash-filter-syslog_pri
logstash-filter-throttle
logstash-filter-translate
logstash-filter-truncate
logstash-filter-urldecode
logstash-filter-useragent
logstash-filter-uuid
logstash-filter-xml
logstash-filter-jdbc_streaming
logstash-filter-jdbc_static

Plugins codec

logstash-codec-avro
logstash-codec-cef
logstash-codec-collectd
logstash-codec-dots
logstash-codec-edn
logstash-codec-edn_lines
logstash-codec-es_bulk
logstash-codec-fluent
logstash-codec-gelf
logstash-codec-graphite
logstash-codec-json
logstash-codec-json_lines
logstash-codec-line
logstash-codec-msgpack
logstash-codec-multiline
logstash-codec-netflow
logstash-codec-plain
logstash-codec-rfc6587
logstash-codec-rubydebug
logstash-codec-cloudfront
logstash-codec-cloudtrail

Les plugins suivants sont désactivés pour des raisons de sécurité :

logstash-input-exec
logstash-input-file
logstash-input-kafka
logstash-input-pipe
logstash-input-unix
logstash-filter-ruby
Certificat de CA SSL

Le certificat de CA que vous pouvez utiliser pour vérifier l'autorité présentée par nos collecteurs hébergés peut être copié depuis la page d'accueil du Manager de Logs Data Platform.

input_ca
Sortie console

Enfin, si vous avez des doutes sur la façon dont votre Logstash traite vos logs, il peut être intéressant de suivre les messages provenant de votre collecteur. Pour cela, rendez-vous sur la page dédiée en cliquant sur le bouton Sortie console.

input_console

Ressources utiles

Voici quelques liens pour vous aider à aller plus loin avec Logstash

Vous savez maintenant l'essentiel sur le collecteur Logstash de Logs Data Platform.

Aller plus loin

Cette page vous a-t-elle aidé ?