Introduction à OVHcloud Service Logs avec Logs Data Platform
Découvrez comment récupérer les logs de vos produits managés OVHcloud dans Logs Data Platform
Objectif
Ce guide vous aidera à comprendre les concepts et l'utilisation d'OVHcloud Service Logs : comment récupérer et exploiter les logs de vos services OVHcloud.
Qu'est-ce qu'OVHcloud Service Logs ?
OVHcloud Service Logs est une solution qui vous permet de récupérer les logs de vos produits OVHcloud au sein de Logs Data Platform. Elle vous permet de transformer ces logs en données exploitables grâce à l'ensemble des fonctionnalités de Logs Data Platform :
- Indexation : rendez vos logs consultables et interrogez-les à l'aide de puissants moteurs de recherche tels qu'OpenSearch et Graylog
- Tableaux de bord : visualisez vos logs en temps réel ou de manière historique à l'aide de tableaux de bord avancés
- Alertes : soyez notifié lorsque des conditions spécifiques sont réunies
- Stockage à froid : conservez vos logs sur le long terme à moindre coût
Grâce à ces fonctionnalités, vous pouvez orchestrer ces logs comme vous le souhaitez afin de créer votre propre expérience d'observabilité, avec des solutions open source réversibles, une facturation à l'usage et une maîtrise des coûts.
Prérequis
- Un compte Logs Data Platform
- Au moins un flux créé au sein de ce compte
- Au moins une instance d'un produit compatible avec OVHcloud Service Logs (voir la liste ci-dessous).
Cas d'usage
Résolution des incidents applicatifs
OVHcloud Service Logs peut être utilisé pour résoudre les incidents applicatifs et d'infrastructure en donnant un accès en temps réel aux logs provenant de diverses sources. Vous pouvez filtrer et rechercher dans ces logs afin d'identifier les anomalies et les erreurs, ce qui vous aide à diagnostiquer et à résoudre les problèmes plus efficacement. Dans les architectures cloud distribuées, cela peut se révéler particulièrement efficace, car cela vous permet de corréler en un seul endroit les logs provenant de différents services.
Sécurité et conformité des données
OVHcloud Service Logs vous aide à détecter les menaces de sécurité au plus tôt, à respecter les certifications et les réglementations, et à archiver efficacement vos logs pendant des années à moindre coût.
Combiné à des politiques d'accès granulaires, vous obtenez un contrôle précis sur les personnes qui accèdent à des flux de données spécifiques. Ce niveau de contrôle détaillé renforce votre cadre de sécurité et améliore vos stratégies de gestion des données.
Supervision de l'infrastructure
Avec OVHcloud Service Logs, vous pouvez surveiller de près l'état de santé global et les performances de votre infrastructure. Vous pouvez configurer des alertes afin d'être automatiquement notifié lorsque des anomalies sont détectées dans vos logs, ce qui vous permet de prendre des mesures proactives, voire automatiques, pour les traiter avant qu'elles n'affectent vos utilisateurs.
Tirez le meilleur parti de l'interface Graylog et d'OpenSearch Dashboards en construisant des tableaux de bord faciles à comprendre et partageables entre vos équipes.
Produits OVHcloud compatibles
Voici la liste des produits compatibles avec OVHcloud Service Logs à ce jour. Notre ambition est de rendre tous les produits OVHcloud compatibles avec OVHcloud Service Logs. Nous nous efforcerons de mettre ce tableau à jour à mesure que la disponibilité évoluera.
En pratique
Du côté du produit
Sur chaque produit compatible avec OVHcloud Service Logs, vous trouverez un onglet Logs dans l'espace client OVHcloud. Une fois que vous cliquez sur cet onglet, vous voyez les deux composants principaux d'OVHcloud Service Logs : un panneau live-tail et un panneau d'abonnement.
Panneau live-tail
Sur la partie gauche, le panneau live-tail vous permet de voir les logs de ce service en temps réel. Il est utile pour obtenir un aperçu rapide de l'activité en cours sur ce service.
Il vous permet de mettre en pause et de reprendre le live-tail, d'effacer la session en cours, de faire défiler les logs, et intègre également une recherche simple :
Panneau d'abonnement
Sur la partie droite, le panneau d'abonnement vous permet de vous abonner aux logs de ce service afin de les rendre disponibles dans votre compte Logs Data Platform, dans le ou les flux de données de votre choix. Ce panneau affiche tous vos abonnements aux logs actifs pour ce service et vous permet d'en créer de nouveaux.
Si vous cliquez sur le bouton S'abonner (ou S'abonner à un autre flux de données si vous disposez déjà d'abonnements), vous arriverez sur cette page :
C'est ici que vous devez sélectionner le flux Logs Data Platform dans lequel vous souhaitez rendre disponibles les logs de ce service. À l'aide de la liste déroulante en haut à gauche, sélectionnez votre compte Logs Data Platform. Le tableau situé au centre affiche tous les flux de données du compte Logs Data Platform sélectionné et vous présente des informations sur chacun d'eux : son nom et sa description, sa rétention et si l'indexation est activée. Il vous indique également si ce flux de données fait déjà l'objet d'autres abonnements aux logs actifs.
La dernière colonne contient les boutons S'abonner et Se désabonner. Cliquer sur S'abonner lancera l'envoi des logs de votre service dans le flux de données sélectionné, tandis que cliquer sur Se désabonner en arrêtera l'envoi.
Vous pouvez choisir de créer plusieurs abonnements pour un service donné, afin de rendre ses logs de service disponibles dans plusieurs flux de données. Cela peut être utile pour des cas d'usage détaillés plus loin dans ce guide.
- Seuls les logs de service générés après la création de l'abonnement seront disponibles dans votre flux de données.
- Si vous choisissez de vous désabonner, les logs déjà envoyés vers votre flux de données y resteront ; ils ne seront supprimés qu'une fois atteinte la rétention configurée sur votre flux. Vous ne verrez simplement plus les logs nouvellement générés.
- Logs Data Platform est facturée à l'usage : vous payez le volume de logs envoyés dans votre flux de données. Si vous vous êtes abonné à un produit qui ne génère aucun log (parce qu'il n'a aucune activité), vous ne paierez rien.
Types de logs
Un produit OVHcloud donné peut proposer différents types de logs auxquels vous pouvez vous abonner. Ces différents types de logs sont appelés « kinds ». Lorsqu'un produit propose plusieurs types de logs, les panneaux de live-tail et d'abonnement sont contextualisés en fonction du type sélectionné :
Dans cet exemple, l'affichage du live-tail et les abonnements listés dans le panneau de droite concernent tous les deux les « REST API audit logs ». Sélectionner un autre type dans la liste déroulante du haut affichera un contenu de live-tail et des abonnements différents.
Cette répartition des logs d'un produit en plusieurs types vous offre davantage de souplesse. Par exemple, si un produit propose de nombreux types (par exemple access, audit, error et ssh) et que seuls les logs audit vous intéressent, vous pouvez choisir de vous abonner uniquement à ce type audit et pas aux autres. Autre exemple : les logs audit et les logs error vous intéressent, mais vous souhaitez envoyer ces logs dans deux flux de données différents ; c'est possible en créant deux abonnements basés sur deux types différents et ciblant deux flux de données différents.
Nous approfondirons ce cas d'usage plus loin dans ce guide.
Du côté de Logs Data Platform
Maintenant que vous avez créé un ou plusieurs abonnements aux logs, vous pouvez exploiter ces logs comme vous le souhaitez dans votre flux de données Logs Data Platform. Selon vos besoins, vous pouvez configurer votre flux de données de différentes manières (non exclusives). Par exemple :
- Activer l'indexation afin de bénéficier de l'ensemble des fonctionnalités d'OpenSearch et de Graylog.
- Activer le stockage longue durée afin de conserver vos logs en toute sécurité pendant des années.
- Activer le web socket afin d'exploiter vos logs depuis un logiciel tiers, tel que ldp-tail.
Toutes les manières possibles d'exploiter vos logs sont résumées dans le guide Introduction à Logs Data Platform.
Dans le cas d'OVHcloud Service Logs, la « génération des logs » et l'« ingestion des logs » sont entièrement gérées par OVHcloud. Vous n'avez à vous préoccuper que des parties « stockage » et « requêtes et visualisation ».
Vous pouvez également gérer vos abonnements aux logs du point de vue d'un flux de données. Pour ce faire, rendez-vous dans la section Logs Data Platform de l', sélectionnez un service et cliquez sur l'onglet Flux de données. Dans le tableau listant vos flux, vous pouvez voir une colonne Abonnements indiquant combien d'abonnements aux logs ciblent un flux donné.
Dans ce tableau, cliquez sur le bouton ... puis sur Gérer les abonnements. La page suivante listera tous les abonnements aux logs ciblant ce flux de données :
Pour chaque abonnement, vous pouvez voir le type de service dont il provient, le nom du service et le type de logs auquel vous êtes abonné.
Vous pouvez également supprimer un abonnement aux logs depuis cette vue en cliquant sur l'icône de corbeille correspondante.
Utilisation de l'API
Afin de faciliter vos travaux d'intégration avec OVHcloud Service Logs, nous avons rendu les endpoints d'API associés cohérents entre tous les produits OVHcloud. Cela signifie que tous les produits compatibles exposent le même ensemble d'endpoints d'API, avec les mêmes suffixes, les mêmes payloads et les mêmes réponses. Les endpoints disponibles sont les suivants :
OVHcloud Service Logs et la délégation de service inter-identités IAM
Vous pouvez rencontrer des cas d'usage où le produit dont vous souhaitez récupérer les logs et le service Logs Data Platform n'appartiennent pas au même compte OVHcloud. Exemple :
- Alice est propriétaire d'une instance Managed Kubernetes Service.
- Bob est propriétaire d'une instance Logs Data Platform.
- Alice souhaite que les logs de son Managed Kubernetes Service soient disponibles dans le flux de données Logs Data Platform de Bob.
C'est possible grâce à l'IAM OVHcloud :
- Bob doit créer une politique IAM afin d'autoriser l'identité d'Alice à utiliser l'action IAM
ldp:apiovh:output/graylog/stream/forwardTosur son flux de données Logs Data Platform. - Alice pourra alors utiliser l'endpoint d'API
POST /cloud/project/{serviceName}/kube/{kubeId}/log/subscriptionet y indiquer lestreamIdde Bob dans le payload.
Vous trouverez davantage d'informations sur les politiques IAM dans le guide Utiliser les politiques IAM depuis l'espace client OVHcloud.
Stratégies intéressantes
Comme expliqué précédemment, le modèle d'OVHcloud Service Logs vous offre une grande souplesse quant à la manière dont vous souhaitez regrouper, isoler et exploiter vos logs. Dans cette section, nous verrons quelques schémas courants. Il s'agit uniquement d'exemples : ils ne constituent pas une liste exhaustive de toutes les possibilités de configuration d'OVHcloud Service Logs.
Plusieurs produits vers un seul flux de données, par environnement
Dans cet exemple, supposons que vous disposiez d'une stack technique composée de nombreux produits OVHcloud. Cette stack est déployée sur plusieurs environnements (développement, production). Une stratégie intéressante pourrait consister à envoyer les logs de chaque environnement vers un flux de données différent, et à configurer ces 2 flux de données de manière différente :
Dans la configuration ci-dessus :
- Tous les logs de votre environnement de développement sont disponibles dans un flux de données. Seule la fonctionnalité d'indexation est activée sur ce flux de données.
- Tous les logs de votre environnement de production sont disponibles dans un autre flux de données. Les fonctionnalités d'indexation et de stockage longue durée y sont toutes deux activées.
Cela signifie que :
- les logs de votre environnement de développement ne seront pas stockés sur le long terme, car vous n'en avez probablement pas besoin et ne souhaitez pas payer pour cela.
- les logs de votre environnement de production seront stockés dans un flux de données dédié, ce qui vous facilitera la configuration d'alertes ou de tableaux de bord basés sur ce flux.
Plusieurs produits vers plusieurs flux de données
Reprenons le même exemple, où vous disposez d'une stack technique composée de plusieurs produits OVHcloud. Mais dans ce cas, vous avez plusieurs équipes, chacune travaillant sur un composant différent. Pour des raisons de sécurité, vous souhaitez que l'équipe A accède aux logs du Load Balancer mais pas à ceux des Managed Databases.
Vous avez également une équipe Sécurité qui doit accéder à tous les logs d'audit de chaque composant. Nous pouvons imaginer une configuration telle que la suivante :
Dans la configuration ci-dessus :
- Tous les logs applicatifs du Load Balancer et de Managed Kubernetes sont envoyés vers un flux de données (flèche bleue).
- Tous les logs applicatifs des Managed Databases sont envoyés vers un autre flux de données (flèche bleue).
- Tous leurs logs d'audit sont envoyés vers un autre flux de données (flèche rouge).
Cela signifie que :
- vous pouvez autoriser votre équipe Sécurité à consulter uniquement le flux de données contenant tous les logs d'audit de tous les composants de votre stack technique.
- vous pouvez autoriser votre équipe de développement à consulter uniquement le flux de données contenant les logs du Load Balancer et de Managed Kubernetes.
- vous pouvez autoriser votre équipe d'administration de bases de données à consulter uniquement le flux de données contenant les logs de vos Managed Databases.
- vous pouvez configurer l'indexation, le stockage longue durée, etc. comme vous le souhaitez sur chacun de ces flux. Vous pouvez également définir des rétentions différentes pour chaque flux.
Aller plus loin
- Pour bien démarrer : Démarrage rapide
- Documentation : Guides
- Créer un compte : Essayez !
Rejoignez notre communauté d'utilisateurs.