OpenSearch - Premiers pas

Objectif

OpenSearch est une suite open source de recherche et d'analyse utilisée pour de nombreux cas d'usage liés à l'analyse de logs et de données, à la surveillance en temps réel et à la recherche applicative. Dérivée d'Elasticsearch et de Kibana, OpenSearch offre aux utilisateurs un système hautement évolutif avec un accès facile à de grands volumes de données et des métriques intégrées.

Ce guide explique comment configurer avec succès un service Public Cloud Databases pour OpenSearch dans l'espace client OVHcloud.

Prérequis

• un projet Public Cloud dans votre compte OVHcloud

Accès à l'espace client OVHcloud

• Lien direct : Projets Public Cloud
• Chemin de navigation : Public Cloud > Sélectionnez votre projet

En pratique

Souscrire au service

Cliquez sur Databases dans le menu de navigation de gauche, sous Storage.

Cliquez sur le bouton Créer une instance. (Créer un service si votre projet contient déjà des bases de données.)

Étape 1 : sélectionnez votre type de base de données

Cliquez sur le type de base de données que vous souhaitez utiliser, puis sélectionnez la version à installer dans le menu déroulant correspondant. Cliquez sur Suivant pour continuer.

Étape 2 : sélectionnez une solution

À cette étape, choisissez le plan de service approprié. Si nécessaire, vous pourrez faire évoluer le plan après la création.

Consultez la page des caractéristiques du type de base de données sélectionné pour obtenir des informations détaillées sur les propriétés de chaque plan.

Cliquez sur Suivant pour continuer.

Étape 3 : sélectionnez une localisation

Choisissez la région géographique du datacenter dans lequel votre service sera hébergé.

Cliquez sur Suivant pour continuer.

Étape 4 : dimensionnez les nœuds de la base de données

À cette étape, vous pouvez augmenter le nombre de nœuds et choisir le modèle de nœud. Le nombre initial et maximal de nœuds dépend de la solution choisie à l'étape 2.

Consultez la page des caractéristiques du type de base de données sélectionné pour obtenir des informations détaillées sur les ressources matérielles et les autres propriétés de l'installation de la base de données.

Notez les informations tarifaires et cliquez sur Suivant pour continuer.

Étape 5 : configurez vos options

À cette étape, vous pouvez nommer votre base de données et décider de rattacher un réseau public ou privé.

Étape 6 : vérifiez et confirmez

La dernière section affichera un récapitulatif de votre commande ainsi que l'équivalent API de la création de cette instance de base de données avec l'API OVHcloud.

En quelques minutes, votre nouveau service de base de données sera déployé. Des messages dans l'espace client OVHcloud vous informeront lorsque la base de données sera prête à l'emploi.

Configurer le service OpenSearch

Une fois le service Public Cloud Databases pour OpenSearch opérationnel, vous devrez définir au moins un utilisateur et une IP autorisée afin de pouvoir vous connecter pleinement au service.

L'onglet Informations générales devrait vous inviter à créer des utilisateurs et des IPs autorisées.

Étape 1 (obligatoire) : configurer un utilisateur

Basculez sur l'onglet Utilisateurs. Un utilisateur admin est préconfiguré lors de l'installation du service. Vous pouvez ajouter d'autres utilisateurs en cliquant sur le bouton Ajouter un utilisateur.

Saisissez un nom d'utilisateur, puis cliquez sur Créer un utilisateur.

Une fois l'utilisateur créé, le mot de passe est généré. Veuillez le conserver en lieu sûr, car il ne sera plus affiché par la suite.

Les mots de passe peuvent être initialisés pour l'utilisateur admin ou modifiés ensuite pour tous les utilisateurs dans l'onglet Utilisateurs.

Étape 2 (obligatoire) : configurer les IPs autorisées

Basculez sur l'onglet IPs autorisées. Au moins une adresse IP doit y être autorisée avant de pouvoir vous connecter à votre base de données. Il peut s'agir par exemple de l'IP de votre ordinateur portable.

En cliquant sur Ajouter une adresse IP / masque, une nouvelle fenêtre s'ouvre dans laquelle vous pouvez ajouter des adresses IP individuelles ou des blocs pour autoriser l'accès à la base de données.

Vous pouvez modifier et supprimer les accès à la base de données via le bouton ... dans le tableau des IPs.

Si vous ne savez pas comment obtenir votre IP, veuillez consulter un site tel que www.WhatismyIP.com. Copiez l'adresse IP affichée sur ce site et conservez-la pour plus tard.

Votre service OpenSearch est désormais pleinement accessible !

Vous pouvez également configurer des listes de contrôle d'accès (ACL) pour des permissions plus granulaires.

Optionnel : configurer les ACLs

La base de données OpenSearch prend en charge des listes de contrôle d'accès (ACL) au niveau des index pour gérer les permissions. Cette approche permet de limiter les opérations disponibles pour des connexions spécifiques et de restreindre l'accès à certains jeux de données, ce qui améliore la sécurité de vos données.

Vous devez d'abord activer la fonctionnalité ACL, puis vous pourrez ajouter des ACLs pour tous les utilisateurs :

Vous pouvez accorder les permissions suivantes :

• Administrator : accès complet aux API et aux documents
• Read-only : autorise uniquement la recherche et la récupération de documents
• Write : autorise la mise à jour, l'ajout et la suppression de documents
• Read and write : accès complet aux documents
• none : aucun accès

Remarque : la permission Write permet à l'utilisateur du service de créer de nouveaux index correspondant au pattern, mais elle n'autorise pas la suppression de ces index.

Les règles sont définies séparément pour chaque utilisateur sous forme de combinaisons permission / modèle d'index. Le modèle d'index, aussi appelé pattern, définit les index auxquels la permission s'applique. Les patterns suivent une syntaxe de type glob, où * correspond à un nombre quelconque de caractères et ? correspond à un caractère unique.

Lorsque plusieurs règles correspondent, elles sont appliquées dans l'ordre indiqué ci-dessus. Si les ACLs sont activées et qu'aucune règle ne correspond, l'accès est refusé.

Contrôler l'accès aux API de premier niveau

OpenSearch propose plusieurs points de terminaison d'API de « premier niveau » (_mget, _msearch, etc.), pour lesquels vous devez accorder l'accès séparément. Pour ce faire, utilisez des patterns similaires aux patterns d'index, par exemple :

• Administrator/_* accorderait un accès illimité à toutes les API de premier niveau
• Administrator/_msearch accorde un accès illimité uniquement à l'API _msearch

Contrôle d'accès et OpenSearch Dashboards

L'activation des ACLs ne restreint pas l'accès à OpenSearch Dashboards en lui-même, mais toutes les requêtes effectuées par OpenSearch Dashboards sont vérifiées par rapport aux ACLs de l'utilisateur actuel.

En pratique, pour qu'OpenSearch Dashboards fonctionne correctement, vous devez accorder à l'utilisateur un accès de niveau admin à l'interface _msearch (permission : Administrator, pattern : _msearch).

Configuration avancée

Index

Un index contient un schéma de base de données. Chaque donnée repose sur une unité de base qui est un document JSON, indexé avec un identifiant unique. L'indexation est la méthode utilisée pour stocker les données et permettre au moteur de recherche de les récupérer rapidement.

Vous pouvez en apprendre davantage en consultant la documentation officielle d'OpenSearch - Index data

Ce n'est pas obligatoire, mais si besoin, vous pouvez ajouter de nouveaux index dans la base de données OpenSearch.

Veuillez saisir le nom de l'index que vous souhaitez créer.

Sauvegardes automatiques

OVHcloud effectue des sauvegardes quotidiennes pour votre service Public Cloud Databases pour OpenSearch. Pour les consulter, basculez sur l'onglet Sauvegardes. Les sauvegardes sont créées automatiquement et la durée de rétention dépend du plan de service. Consultez la page des caractéristiques de Public Cloud Databases pour OpenSearch pour obtenir des informations détaillées sur les propriétés de chaque plan.

Vous pouvez restaurer et supprimer des sauvegardes via le bouton ....

Connexion à OpenSearch Dashboard

Depuis l'onglet Informations générales du service Public Cloud Databases pour OpenSearch, vous pouvez récupérer l'URI du service Kibana. Utilisez-la en la combinant avec l'identifiant et le mot de passe de l'utilisateur dans un navigateur web, et vous accéderez à cette page :

Charger des données d'exemple

Comme proposé nativement dans OpenSearch, nous pouvons charger des données d'exemple dans la base de données OpenSearch :

Pour l'exemple suivant, nous utiliserons les Sample web logs.

Une fois importé, vous pouvez accéder au tableau de bord OpenSearch principal créé pour cet exemple. Cliquez sur le bouton View Data :

Le tableau de bord et les requêtes peuvent être modifiés directement via cette interface web.

Charger vos données

Si vous souhaitez charger vos propres données, plusieurs méthodes s'offrent à vous. Consultez la documentation officielle : https://opensearch.org/docs/latest/clients/agents-and-ingestion-tools/index/.

Interroger le service OpenSearch

Requêtes DB avec cURL

Une fois le service opérationnel et configuré, vous pouvez essayer de vous y connecter depuis une session distante. Vous avez besoin au minimum :

• de l'identifiant et du mot de passe de l'utilisateur, avec des ACLs appropriées si elles sont activées ;
• de l'URI du service de base de données OpenSearch. Elle se trouve dans l'onglet Informations générales.

Une fois prêt, essayez ceci en ligne de commande, avec votre identifiant et votre mot de passe personnels :

export OPENSEARCH_URI=https://user1:2fakeSVV5wvyPykF@opensearch-682faf00-682faf00.database.cloud.ovh.net:20184

Essayez ensuite de vous connecter :

curl $OPENSEARCH_URI

La réponse de la base de données devrait ressembler à :

{
"name" : "opensearch-682faf00-1",
"cluster_name" : "ba1b1006-776a-4686-9c3c-9f65d4d73467",
"cluster_uuid" : "UoyMAkrISd6r1rIVYn4q5g",
"version" : {
"distribution" : "opensearch",
"number" : "1.1.0",
"build_type" : "unknown",
"build_hash" : "unknown",
"build_date" : "2021-11-15T16:09:53.881093Z",
"build_snapshot" : false,
"lucene_version" : "8.9.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "The OpenSearch Project: https://opensearch.org/"
}

Créez maintenant un index :

curl -X PUT $OPENSEARCH_URI/my-index

En cas d'ACL mal définie pour l'utilisateur, la réponse ressemblera à :

<html><body>
<h1>403 Forbidden</h1>
Request forbidden by administrative rules.<br/>
(reason: PUT /my-index/ not allowed)
</body></html>

Essayez d'ajouter un document :

curl -X PUT $OPENSEARCH_URI/my-index/_doc/1' -H 'Content-Type: application/json' -d '{"Description": "To be or not to be, that is the question."}'

Récupérez les données :

curl -X GET $OPENSEARCH_URI/my-index/_doc/1

Supprimez les données :

curl -X DELETE $OPENSEARCH_URI/my-index/_doc/1

Supprimez l'index :

curl -X DELETE $OPENSEARCH_URI/my-index/

Requêtes DB avec le Dev Tool du Dashboard

Pour effectuer des requêtes directes via une interface web à la base de données OpenSearch, vous pouvez utiliser les Dev Tools disponibles dans le menu :

La console est divisée en deux, une colonne de gauche pour la commande à exécuter, et une colonne de droite pour les résultats.

Cliquez sur le triangle pour exécuter la requête sélectionnée.

Nous pouvons exécuter les mêmes commandes que celles effectuées avec cURL :

Aller plus loin

Votre service est désormais configuré. Pour aller plus loin,

Caractéristiques d'OpenSearch

Documentation officielle d'OpenSearch

Consultez le dépôt d'exemples Github pour découvrir comment vous connecter à votre base de données dans plusieurs langages.

Rejoignez notre chaîne Discord dédiée : https://discord.gg/ovhcloud. Posez vos questions, faites-nous part de vos commentaires et interagissez directement avec l'équipe qui développe nos services de bases de données.

Si vous avez besoin d'une formation ou d'une assistance technique pour la mise en oeuvre de nos solutions, contactez votre commercial ou cliquez sur ce lien pour obtenir un devis et demander une analyse personnalisée de votre projet à nos experts de l’équipe Professional Services.