Introduction aux logs Public Cloud

Objectif

Ce guide vous aide à comprendre les concepts et l'utilisation des logs dans OVHcloud Public Cloud. Il explique comment les logs sont générés, collectés et consommés, et fournit des liens vers des guides détaillés pour vous abonner aux logs de chaque service Public Cloud (Compute, Block Storage, Load Balancer, etc.).

Que sont les logs Public Cloud ?

Les services Public Cloud génèrent des logs qui vous aident à surveiller, dépanner et analyser votre infrastructure cloud.

Chaque service peut proposer différents types de logs, appelés kinds (par exemple : access, audit, error), que vous pouvez consommer et stocker selon vos besoins.

Prérequis

Un projet Public Cloud dans votre compte OVHcloud.
Un compte Logs Data Platform.
Au moins un Stream créé dans ce compte.
Au moins une instance d'un produit compatible avec les logs Public Cloud (voir la liste ci-dessous).

Accès via l'espace client OVHcloud

Lien direct :
Chemin de navigation : Public Cloud > Sélectionnez votre projet > Sélectionnez un service > Logs

Cas d'usage

Dépannage applicatif

Les logs Public Cloud vous aident à diagnostiquer les problèmes applicatifs et d'infrastructure en donnant accès aux logs générés par vos services. Vous pouvez filtrer et rechercher ces logs pour identifier les anomalies et les erreurs, ce qui rend le diagnostic et la résolution des problèmes plus efficaces. Dans les architectures cloud distribuées, les logs de différents services peuvent être corrélés pour obtenir une vue complète de votre environnement.

Sécurité et conformité des données

Les logs Public Cloud vous aident à détecter les incidents de sécurité, à suivre les actions administratives et à respecter les exigences des certifications et des réglementations. En conservant un historique des opérations et des événements d'accès, les logs fournissent des preuves essentielles pour les audits et les enquêtes de sécurité.

Selon le service et la destination de logs que vous choisissez, l'accès aux logs peut être restreint via des permissions fines. Vous pouvez ainsi contrôler qui peut consulter ou gérer certains logs, renforcer votre posture de sécurité et améliorer la gouvernance globale des données.

Supervision de l'infrastructure

Les logs Public Cloud fournissent des informations précieuses sur l'état et le comportement de votre infrastructure. En analysant les logs de service et système, vous pouvez détecter des schémas anormaux, des erreurs ou des problèmes de performance et réagir avant qu'ils n'impactent vos workloads ou vos utilisateurs.

Selon les outils et les destinations que vous utilisez pour consommer vos logs, vous pouvez construire des workflows de supervision tels que des alertes ou des visualisations pour mieux comprendre l'activité de vos services Public Cloud et partager ces informations entre vos équipes.

Services Public Cloud compatibles

Le tableau suivant liste les services Public Cloud qui fournissent actuellement des logs et indique où trouver les guides correspondants pour les activer ou les récupérer. La disponibilité et les fonctionnalités peuvent varier selon le service. Cette liste sera mise à jour au fur et à mesure que de nouveaux services deviendront compatibles.

En pratique

Côté produit

Sur les services Public Cloud qui fournissent des fonctionnalités de logging, vous pouvez accéder aux logs depuis l'espace client OVHcloud via un onglet Logs dédié. Cette section vous permet de consulter les logs disponibles et de configurer leur collecte ou leur transfert. Cliquez sur cet onglet pour afficher les deux composants principaux : un panneau de live-tail et un panneau d'abonnement.

Panneau live-tail

Sur la gauche, le panneau live-tail vous permet de voir les logs de ce service en temps réel. Il est utile pour avoir un aperçu rapide de l'activité en cours sur ce service.

Il vous permet de mettre en pause/lecture le live-tail, de vider la session en cours, de défiler et de rechercher :

Panneau d'abonnement

Sur la droite, le panneau d'abonnement vous permet de vous abonner aux logs de ce service pour les rendre disponibles dans votre compte Logs Data Platform, dans le ou les flux de données de votre choix. Ce panneau affiche tous vos abonnements actifs aux logs pour ce service et vous permet d'en créer de nouveaux.

Cliquez sur S'abonner (ou S'abonner à un autre flux de données si vous avez déjà des abonnements). Vous arrivez sur cette page :

C'est ici que vous devez sélectionner le flux Logs Data Platform dans lequel vous souhaitez rendre disponibles les logs de ce service. À l'aide de la liste déroulante en haut à gauche, sélectionnez votre compte Logs Data Platform. Le tableau central affiche tous les flux de données du compte Logs Data Platform sélectionné et vous renseigne sur chacun : son nom/sa description, sa rétention et si l'indexation est activée. Il vous indique également si ce flux de données possède déjà d'autres abonnements actifs aux logs.

La dernière colonne contient les boutons S'abonner et Se désabonner. Cliquez sur S'abonner pour commencer à envoyer les logs vers le flux de données sélectionné, ou sur Se désabonner pour arrêter.

Vous pouvez choisir de créer plusieurs abonnements pour un service donné, afin que les logs de ce service soient disponibles dans plusieurs flux de données. Cela est utile pour les cas d'usage détaillés plus loin dans ce guide.

Info

Seuls les logs de service générés après la création de l'abonnement seront disponibles dans votre flux de données.
Si vous choisissez de vous désabonner, les logs déjà envoyés vers votre flux de données y resteront ; ils ne seront supprimés que lorsqu'ils atteindront la rétention configurée pour votre flux. Vous ne verrez simplement plus les logs nouvellement générés.
Logs Data Platform fonctionne au paiement à l'usage : vous payez en fonction du volume de logs envoyés dans votre flux de données. Si vous vous abonnez à un produit qui ne génère aucun log (parce qu'il n'a pas d'activité), vous ne payez rien.

Types de logs (`kinds`)

Un service Public Cloud peut proposer plusieurs types de logs, appelés kinds. Lorsqu'un produit possède plusieurs kinds de logs, les panneaux live-tail et d'abonnements deviennent contextualisés selon le kind sélectionné :

Dans cet exemple, l'affichage du live-tail et les abonnements listés dans le panneau de droite concernent tous deux le kind REST API audit logs. Sélectionner un autre kind dans la liste déroulante du haut affiche un contenu live-tail et des abonnements différents.

Cette division des logs d'un produit en plusieurs kinds vous offre plus de flexibilité. Par exemple, si un produit possède plusieurs kinds (par exemple access, audit, error et ssh) et que seuls les logs audit vous intéressent, vous pouvez vous abonner uniquement au kind audit et ignorer les autres. Autre exemple : vous êtes intéressé par les logs audit et les logs error, mais vous souhaitez envoyer ces logs dans deux flux de données distincts : c'est possible en créant deux abonnements basés sur deux kinds différents ciblant deux flux de données différents.

Nous abordons ce cas d'usage plus loin dans ce guide.

Côté Logs Data Platform

Maintenant que vous avez créé des abonnements aux logs, vous pouvez consommer ces logs comme vous le souhaitez dans votre flux de données Logs Data Platform. Selon vos besoins, vous pouvez configurer votre flux de données de différentes manières (non exclusives). Par exemple :

Activer l'indexation pour bénéficier des fonctionnalités d'OpenSearch/Graylog.
Activer le stockage longue durée pour conserver vos logs en toute sécurité pendant des années.
Activer le web-socket pour consommer vos logs depuis un logiciel tiers, tel que ldp-tail.

Toutes les manières possibles de consommer vos logs sont résumées dans le guide Introduction à Logs Data Platform.

Info

Dans le cas des logs Public Cloud, toute la « génération de logs » et l'« ingestion de logs » sont gérées par OVHcloud. Vous n'avez qu'à vous préoccuper des parties « Stockage » et « Requête et visualisation ».

Vous pouvez également gérer vos abonnements aux logs du point de vue d'un flux de données. Pour ce faire, rendez-vous dans la section Logs Data Platform de l', sélectionnez un service et cliquez sur l'onglet Flux de données. Dans le tableau listant vos flux, vous pouvez voir une colonne Abonnements indiquant combien d'abonnements aux logs ciblent un flux donné.

Dans ce tableau, cliquez sur le bouton ... puis cliquez sur Gérer les abonnements. La page suivante liste tous les abonnements aux logs ciblant ce flux de données :

Pour chaque abonnement, vous pouvez voir le type de service dont il provient, le nom du service et le kind de logs auquel il est abonné.

Vous pouvez également supprimer un abonnement aux logs depuis cette vue en cliquant sur l'icône de corbeille correspondante.

Utilisation de l'API

Pour faciliter vos intégrations avec les logs Public Cloud, nous avons rendu les endpoints d'API cohérents entre tous les services Public Cloud. Cela signifie que tous les produits compatibles exposent le même ensemble d'endpoints d'API, avec les mêmes suffixes, les mêmes payloads et les mêmes réponses. Les endpoints disponibles sont les suivants :

| Méthode | Chemin | Description | | :--------: | :----------------------------------------------------- | :---------------------------------------------------------------- | | GET | /xxx/{serviceName}/log/kind | Liste les kinds de logs du produit | | GET | /xxx/{serviceName}/log/kind/{name} | Récupère le détail d'un kind de logs | | GET | /xxx/{serviceName}/log/subscription | Liste les abonnements aux logs existants pour cette instance de produit | | POST | /xxx/{serviceName}/log/subscription | Crée un nouvel abonnement aux logs pour cette instance de produit | | GET | /xxx/{serviceName}/log/subscription/{subscriptionId} | Récupère le détail d'un abonnement aux logs | | DELETE | /xxx/{serviceName}/log/subscription/{subscriptionId} | Supprime un abonnement aux logs | | POST | /xxx/{serviceName}/log/url | Génère une URL temporaire pour récupérer les logs (utilisée par le live-tail) |

Logs Public Cloud et délégation de service inter-identité IAM

Vous pouvez rencontrer des cas d'usage où le produit dont vous souhaitez récupérer les logs et le service Logs Data Platform n'appartiennent pas au même compte OVHcloud. Exemple :

Alice est propriétaire d'une instance Managed Kubernetes Service.
Bob est propriétaire d'une instance Logs Data Platform.
Alice souhaite que les logs de ses Managed Kubernetes Services soient disponibles dans le flux de données Logs Data Platform de Bob.

C'est possible grâce à OVHcloud IAM :

Bob doit créer une politique IAM pour autoriser l'identité d'Alice à utiliser l'action IAM ldp:apiovh:output/graylog/stream/forwardTo sur son flux de données Logs Data Platform.
Alice peut alors utiliser l'endpoint d'API POST /cloud/project/{serviceName}/kube/{kubeId}/log/subscription et fournir le streamId de Bob dans le payload de cet endpoint.

Vous trouverez plus d'informations sur les politiques IAM dans le guide Comment utiliser les politiques IAM via l'espace client OVHcloud.

Stratégies intéressantes

Le modèle de logs Public Cloud vous offre de la flexibilité dans la manière de collecter, isoler et consommer vos logs. Dans cette section, nous présentons quelques schémas courants. Ce ne sont que des exemples, ils ne constituent pas une liste exhaustive de toutes les possibilités de configuration des logs Public Cloud.

Plusieurs produits vers un seul flux de données, par environnement

Dans cet exemple, supposons que vous disposiez d'une stack technique composée de plusieurs services Public Cloud. Cette stack est déployée sur plusieurs environnements (développement, production). Une stratégie intéressante peut consister à envoyer les logs de chaque environnement vers un flux de données distinct, et à configurer ces 2 flux de données de manière différente :

Dans la configuration ci-dessus :

Tous les logs de votre environnement de développement sont disponibles dans un flux de données. Seule la fonctionnalité d'indexation est activée sur ce flux.
Tous les logs de votre environnement de production sont disponibles dans un autre flux de données. L'indexation et le stockage longue durée y sont tous deux activés.

Cela signifie que :

Les logs de votre environnement de développement ne sont pas stockés sur le long terme, car vous n'en avez probablement pas besoin et ne souhaitez pas payer pour cela.
Les logs de votre environnement de production sont stockés dans un flux de données dédié, ce qui vous facilite la configuration d'alertes ou de tableaux de bord basés sur ce flux.

Plusieurs produits vers plusieurs flux de données

Reprenons le même exemple, où vous disposez d'une stack technique composée de plusieurs services Public Cloud. Mais dans ce cas, vous avez plusieurs équipes, chacune travaillant sur un composant différent. Pour des raisons de sécurité, vous souhaitez que l'équipe A accède aux logs du Load Balancer mais pas à ceux des Managed Databases. Vous avez également une équipe Sécurité qui doit accéder à tous les logs d'audit de chaque composant. Nous pouvons imaginer une configuration telle que la suivante :