For AI agents: the complete documentation index is available at https://docs.ovhcloud.com/fr/llms.txt, the full documentation bundle is available at https://docs.ovhcloud.com/fr/llms-full.txt, and this page is available as Markdown at https://docs.ovhcloud.com/fr/guides/manage-and-operate/observability/logs-data-platform/archive-cold-storage.md.

Archiver vos logs - Stockage à froid

Voir en Markdown

Cette fonctionnalité de stockage longue durée conserve vos logs de manière sécurisée et économique pendant plusieurs années.

Objectif

Logs Data Platform vous offre un système de rétention personnalisé pour vos logs, que vous pouvez ajuster à la création de votre flux. Mais dans certains cas, vous pouvez souhaiter conserver vos logs au-delà de la durée fournie. Cela peut être pour des raisons légales, à des fins d'analyse, ou simplement pour des raisons historiques. La fonctionnalité de stockage longue durée vous permet de générer une archive quotidienne de n'importe quel flux grâce à quelques étapes de configuration simples.

Prérequis

Comme son nom l'indique, vous aurez besoin d'un flux. Si vous ne savez pas ce qu'est un flux ou si vous n'en avez pas, vous pouvez suivre ce tutoriel de démarrage rapide. Vous devez modifier la configuration du flux pour activer le stockage à froid. Cliquez sur le bouton Modifier dans le menu pour accéder à la page de configuration du flux.

Menu des flux

En pratique

Activer le stockage à froid sur un flux

Sur cette page, vous trouverez le commutateur de stockage longue durée. Une fois activé, vous pourrez choisir différentes options :

  • L'algorithme de compression. Nous prenons actuellement en charge GZIP, DEFLATE (aussi appelé zip), Zstandard ou LZMA (utilisé par 7-Zip).
  • La durée de rétention de vos archives (d'un an à dix ans).
  • Le contenu de vos archives : GELF, un champ spécial X-OVH-TO-FREEZE, ou les deux (vous obtiendrez alors deux archives distinctes)
  • L'activation de la notification pour chaque nouvelle archive disponible.

Le contenu de votre archive est personnalisable. Par défaut, vous obtenez le contenu complet des logs au format GELF. Mais vous pouvez choisir de n'avoir qu'une archive contenant uniquement la valeur du champ personnalisé LDP X-OVH-TO-FREEZE. Ce champ peut par exemple être utilisé pour conserver vos logs dans un format lisible par un humain ou dans leur format d'origine. Vous pouvez aussi choisir d'avoir les deux archives simultanément : l'archive GELF d'origine et l'archive X-OVH-TO-FREEZE.

Menu Modifier

Dès que vous cliquez sur Sauvegarder, le stockage à froid est activé. Voici quelques points supplémentaires à connaître sur cette fonctionnalité :

Warning

Dès que la fonctionnalité est activée, vos logs seront stockés pendant la durée spécifiée. L'effet est immédiat, la facturation de cette fonctionnalité l'est donc également.

  • Désactiver le stockage à froid sur un flux empêchera la production de nouvelles archives, mais ne supprimera pas les archives déjà produites. Ces archives seront conservées pendant la durée configurée.
  • Modifier la durée de rétention SUPPRIMERA toute archive dépassant la nouvelle rétention (par exemple, choisir une rétention d'un an supprimera implicitement toutes les archives de plus d'un an).
  • Nous générons une archive quotidienne des données vieilles de 2 jours que vous avez envoyées. Ainsi, chaque jour, vous obtiendrez l'archive de l'avant-veille.
  • Lorsque vous activez la fonctionnalité pour la première fois, nous ne pouvons pas créer d'archive pour des données antérieures de plus de deux jours à l'activation.
  • Supprimer le flux SUPPRIMERA toute archive associée. Le flux doit rester actif pour pouvoir conserver son archive.

Récupérer les archives

Depuis l'espace client OVHcloud

Sur un flux ayant le stockage à froid activé (vous pouvez rapidement le vérifier grâce à la case à cocher archive), vous disposez d'un nouvel élément Archives en bas du menu du flux. Cliquez dessus pour accéder aux pages d'archives. Sur cette page, vous trouverez la liste des archives produites. Chaque archive porte le nom de sa date, ce qui vous permet de retrouver rapidement l'archive d'un jour particulier.

Page des archives

Pour chaque archive, vous pouvez utiliser l'action Télécharger pour télécharger directement l'archive.

Depuis l'API

Si vous souhaitez télécharger vos logs via l'API (pour les utiliser par exemple dans une plateforme d'analyse Big Data), vous pouvez effectuer toutes ces étapes avec l'.

Vous aurez besoin du nom de service OVHcloud associé à votre compte. Votre nom de service est l'identifiant logs-xxxxx affiché à gauche du Manager OVHcloud.

Récupérer votre flux à l'aide de l'appel API streams

  • Retourner la liste des flux graylog :
GET/dbaas/logs/{serviceName}/output/graylog/stream

Paramètres :

  • serviceName : l'identifiant interne de votre service Logs Data Platform (chaîne de caractères)

Récupérer la liste de vos archives et leurs détails à l'aide des endpoints correspondants

  • Retourner les détails d'une archive spécifiée :
GET/dbaas/logs/{serviceName}/output/graylog/stream/{streamId}/archive/{archiveId}

Paramètres :

  • serviceName : l'identifiant interne de votre service Logs Data Platform (chaîne de caractères)
  • streamId : le flux dont vous voulez les archives
  • archiveId : l'archive dont vous voulez les détails

Vous pouvez générer une URL de téléchargement temporaire à l'aide de l'endpoint suivant

  • Obtenir une URL temporaire publique pour accéder à l'archive :
POST/dbaas/logs/{serviceName}/output/graylog/stream/{streamId}/archive/{archiveId}/url

Paramètres :

  • serviceName : l'identifiant interne de votre service Logs Data Platform (chaîne de caractères)
  • streamId : le flux dont vous voulez les archives.
  • archiveId : l'archive dont vous voulez les détails.

Exemple de résultat :

{
  "expirationDate": "2024-07-31T12:27:22.797Z",
  "url": "string"
}

Le dégivrage de votre archive prendra un certain temps (en fonction de la taille du fichier d'archive). Une fois celui-ci terminé, vous devrez utiliser à nouveau l'appel API. Si votre archive est disponible, vous obtiendrez un résultat de ce type :

{
  "expirationDate": "2024-08-01T15:16:21.914370+00:00",
  "url": "https://archive-<region>.logs.ovh.com/eyJub25jZSI6ICJQbFFmRVpELzJ3TVRhVDM2RHZUSUNsYkZMR0Q0SGlaMiIsICJkYXRhIjogIkxVRmd6czQzeUhiaTZWSnp6d1JuQ1M5UzJrbllYWUp0U1FBOHY0cS9BUlo4cVpIeldZTjJDakN4N1I3Y0FsVi94SUhqTUx4dUNBZmhwQUdpYnpoQ1pWUlhMc2dQTkVHWm9ZZTNLOFlueUFCMFMwNWdmaXJ5YkZyZmpuekZrYkZ4am5EYjE5YlR2ejg0NUlCQW9Ralg2T3JPUFMveXg2UjRiY1lLM0tETlVMZHRtcXRMaG53d2VoZGg3bkZZQzRXbVdmL0lUbjE4czYzQm9Zc1oxNW1VSkNFdVd1MmhlTFM1WWF0WnJzWWVrU0pRVmkwZVFYbi9zd3AwSG1yVzRTTFY5Z21oaG50NEI5akM5eXBzVWFUTlRRSFFkOGpVZk9rWFd2S1pKTDlQQTBkWHJ1OFlFNmNJaCtTSUVONWhybE5adUE2QmxYOUt6NmQrVnBTZGdlS3ByT0hRVFdJalBFZmpQMjhoUkVXKzF5eDY4cjJURXNZeUhMR3FwR3lUa0ZqYkd3PT0ifQ==/<archive-name>.gz"
}

Depuis ldp-archive-mirror

Pour vous permettre d'obtenir une copie locale de toutes vos archives stockées à froid sur Logs Data Platform, nous avons développé un outil open source qui le fait de manière passive : ldp-archive-mirror La procédure d'installation et de configuration est décrite sur la page GitHub correspondante.

Contenu de l'archive

Les données que vous récupérez dans l'archive sont par défaut au format GELF. Elles sont ordonnées par le champ timestamp et conservent tous les champs supplémentaires que vous auriez ajoutés (avec votre collecteur Logstash par exemple). Comme ce format est entièrement compatible avec JSON, vous pouvez l'utiliser immédiatement dans n'importe quel autre système.

 {"_facility":"gelf-rb","_id":11,"_monitoring":"cb1068c485e738655cfe10df5df3a9a185aa8e301b5c8d0747b3502e8fdcc157","_type":"direct","full_message":"monitoring message (11) at 2017-05-17 09:58:08 +0000","host":"shinken","level":1,"short_message":"monitoring msg (11)","timestamp":1.4950150886486998E9}
 {"_facility":"gelf-rb","_id":23,"_monitoring":"490de2b690eaab7aaf647cfaddb95e0fe51617985efad3afcce45ae931c41c97","_type":"direct","full_message":"monitoring message (23) at 2017-05-17 09:58:08 +0000","host":"shinken","level":1,"short_message":"monitoring msg (23)","timestamp":1.4950150888951592E9}
 {"_facility":"gelf-rb","_id":10,"_monitoring":"b6e4749eb577d8534e237f930b4fc9612a74012aab50fc01b2ef317db1125df1","_type":"direct","full_message":"monitoring message (10) at 2017-05-17 10:03:09 +0000","host":"shinken","level":1,"short_message":"monitoring msg (10)","timestamp":1.4950153892895508E9}
 {"_facility":"gelf-rb","_id":22,"_monitoring":"8b08f448859698e35cbcfeaac3a4c2eb21f08230292cbbd7a1dfce625ff1e633","_type":"direct","full_message":"monitoring message (22) at 2017-05-17 10:03:09 +0000","host":"shinken","level":1,"short_message":"monitoring msg (22)","timestamp":1.4950153895357378E9}
 {"_facility":"gelf-rb","_id":9,"_monitoring":"fe7f7c6f36a6a8de0333a8bee7576181448d96a79390bf7018b66dd96582c3ba","_type":"direct","full_message":"monitoring message (9) at 2017-05-17 10:08:09 +0000","host":"shinken","level":1,"short_message":"monitoring msg (9)","timestamp":1.49501568940605E9}
 {"_facility":"gelf-rb","_id":21,"_monitoring":"cc4f1dd33a01800ea95f88807053ad9d0ba6aecfddf5d9a4499230ea598adfb1","_type":"direct","full_message":"monitoring message (21) at 2017-05-17 10:08:09 +0000","host":"shinken","level":1,"short_message":"monitoring msg (21)","timestamp":1.495015689660263E9}
 {"_facility":"gelf-rb","_id":8,"_monitoring":"25c435285c4e5feb23a8997a33b3115e43f3979e17c1d89c5eb7aa209bf6fddb","_type":"direct","full_message":"monitoring message (8) at 2017-05-17 10:13:09 +0000","host":"shinken","level":1,"short_message":"monitoring msg (8)","timestamp":1.4950159899833767E9}
 {"_facility":"gelf-rb","_id":20,"_monitoring":"59d4615fed4a68661a3a154377a938f91cdb621df6b3d700a166f20540ceda31","_type":"direct","full_message":"monitoring message (20) at 2017-05-17 10:13:10 +0000","host":"shinken","level":1,"short_message":"monitoring msg (20)","timestamp":1.495015990229378E9}
 {"_facility":"gelf-rb","_id":7,"_monitoring":"ff558f06ab12e03cd9c5ff23ba0f8bebbdf939d00e5b8c2faaf3f7a03be8a6e0","_type":"direct","full_message":"monitoring message (7) at 2017-05-17 10:18:09 +0000","host":"shinken","level":1,"short_message":"monitoring msg (7)","timestamp":1.495016289332681E9}

N'oubliez pas que vous pouvez aussi utiliser un champ spécial X-OVH-TO-FREEZE sur vos logs afin de générer une archive supplémentaire ne contenant que la valeur de ce champ spécifique à chaque ligne (en plus de l'archive gelf habituelle). Ce fichier peut par exemple être utilisé pour reconstituer un fichier de log classique lisible par un humain.

Aller plus loin

Cette page vous a-t-elle aidé ?