OpenSearch - Premiers pas
Découvrez comment configurer et gérer vos Public Cloud Databases pour OpenSearch
Objectif
OpenSearch est une suite open source de recherche et d'analyse utilisée pour de nombreux cas d'usage liés à l'analyse de logs et de données, à la surveillance en temps réel et à la recherche applicative. Dérivée d'Elasticsearch et de Kibana, OpenSearch offre aux utilisateurs un système hautement évolutif avec un accès facile à de grands volumes de données et des métriques intégrées.
Ce guide explique comment configurer avec succès un service Public Cloud Databases pour OpenSearch dans la console OVHcloud.
Prérequis
- un projet Public Cloud dans votre compte OVHcloud
Accès à la console OVHcloud
- Lien direct :
- Pour accéder à vos services :
Public Cloud> Sélectionnez votre projet >Analytics
En pratique
Souscrire au service
Dans le menu de gauche de votre projet Public Cloud, cliquez sur OpenSearch sous Analytics, puis sur Créer un service.
La page Créer un service OpenSearch est organisée en plusieurs sections :
- Moteur de base de données : sélectionnez OpenSearch et la Version à installer. Un nom est généré automatiquement pour votre service dans le champ Nom ; vous pourrez le modifier par la suite.
- Sélectionner une région : choisissez la région géographique du datacenter dans lequel votre service sera hébergé.
- Offre : choisissez l'offre appropriée. Si nécessaire, vous pourrez faire évoluer l'offre après la création.
- Type de nœud et Nœuds : choisissez le modèle de nœud. Le nombre de nœuds dépend de l'offre.
- Stockage : vérifiez le stockage inclus avec le modèle de nœud. Si nécessaire, vous pouvez ajouter du stockage supplémentaire, facturé en sus.
- Réseau et Restrictions IP : décidez de rattacher un réseau public ou privé et, si vous le souhaitez, ajoutez les IPs autorisées.
Consultez la page des caractéristiques d'OpenSearch pour connaître les versions disponibles et obtenir des informations détaillées sur les propriétés et les ressources matérielles de chaque offre.
Notez les informations tarifaires dans le Récapitulatif. Le bouton Équivalent API et Terraform affiche l'équivalent de la création de ce service avec l'API OVHcloud ou Terraform. Cliquez sur Créer la base de données pour créer votre service.
En quelques minutes, votre nouveau service de base de données sera déployé. Son statut passe à Actif lorsqu'il est prêt à l'emploi.
Configurer le service OpenSearch
Une fois le service Public Cloud Databases pour OpenSearch opérationnel, vous devrez définir au moins un utilisateur et une IP autorisée afin de pouvoir vous connecter pleinement au service.
L'onglet Vue d'ensemble présente une vue d'ensemble de votre service, notamment la carte Détails de connexion nécessaire pour vous y connecter.
Étape 1 (obligatoire) : configurer un utilisateur
Basculez sur l'onglet Utilisateurs. Un utilisateur par défaut, avnadmin, est préconfiguré lors de l'installation du service, sans aucune règle d'ACL : si vous activez les ACLs, attribuez-lui le pattern * avec la permission admin, sinon il n'a plus accès au service. Pour ajouter d'autres utilisateurs, cliquez sur Ajouter un utilisateur.
Saisissez un nom d'utilisateur (de 3 à 32 caractères) et, si besoin, ses ACLs (voir ci-dessous), puis cliquez sur Créer.
Une fois l'utilisateur créé, le mot de passe est généré. Veuillez le conserver en lieu sûr, car il ne sera plus affiché par la suite.
Vous pouvez ensuite régénérer le mot de passe de tout utilisateur, y compris avnadmin, via le bouton ... de la ligne de l'utilisateur dans l'onglet Utilisateurs, puis Réinitialiser le mot de passe.
Étape 2 (obligatoire) : configurer les IPs autorisées
Pour des raisons de sécurité, la configuration réseau par défaut n'autorise aucune connexion entrante. Il est donc essentiel d'autoriser les adresses IP appropriées afin de pouvoir accéder à votre base de données.
Si vous n'avez ajouté aucune IP lors de la création du service, basculez sur l'onglet Configuration. Au moins une adresse IP doit être autorisée dans la section Restrictions d’IP avant de pouvoir vous connecter à votre base de données.
Il peut s'agir par exemple de l'IP de votre ordinateur portable.
Cliquez sur Ajouter, saisissez une adresse IP individuelle ou un bloc d'IP dans le champ Bloc d’IP (CIDR), puis cliquez sur Enregistrer. Vous pouvez également retirer des adresses IP de la liste.
Si vous ne savez pas comment obtenir votre IP, veuillez consulter un site tel que www.WhatismyIP.com. Copiez l'adresse IP affichée sur ce site et conservez-la pour plus tard.
Votre service OpenSearch est désormais pleinement accessible !
Vous pouvez également configurer des listes de contrôle d'accès (ACL) pour des permissions plus granulaires.
Optionnel : configurer les ACLs
La base de données OpenSearch prend en charge des listes de contrôle d'accès (ACL) au niveau des index pour gérer les permissions. Cette approche permet de limiter les opérations disponibles pour des connexions spécifiques et de restreindre l'accès à certains jeux de données, ce qui améliore la sécurité de vos données.
Les ACLs se gèrent dans l'onglet Utilisateurs. Vérifiez que l'interrupteur Activer les ACL est activé, puis définissez les ACLs de chaque utilisateur lorsque vous l'ajoutez ou le modifiez.
Vous pouvez accorder les permissions suivantes :
- deny : aucun accès
- admin : accès complet aux API et aux documents
- readwrite : accès complet aux documents
- read : autorise uniquement la recherche et la récupération de documents
- write : autorise la mise à jour, l'ajout et la suppression de documents
Remarque : la permission write permet à l'utilisateur du service de créer de nouveaux index correspondant au pattern, mais elle n'autorise pas la suppression de ces index.
Les règles sont définies séparément pour chaque utilisateur sous forme de combinaisons pattern / permission. Le pattern définit les index auxquels la permission s'applique. Les patterns suivent une syntaxe de type glob, où * correspond à un nombre quelconque de caractères et ? correspond à un caractère unique.
Lorsque plusieurs règles correspondent, elles sont appliquées dans l'ordre indiqué ci-dessus. Si les ACLs sont activées et qu'aucune règle ne correspond, l'accès est refusé.
Contrôler l'accès aux API de premier niveau
OpenSearch propose plusieurs points de terminaison d'API de « premier niveau » (_mget, _msearch, etc.). Lorsque les ACLs sont activées, les requêtes vers ces points de terminaison sont vérifiées par rapport aux règles d'index de l'utilisateur : un utilisateur peut par exemple exécuter _msearch ou _mget sur les index auxquels il a accès, sans règle dédiée. Pour accorder un accès plus large aux API de premier niveau, utilisez des patterns similaires aux patterns d'index, par exemple :
- le pattern
_*avec la permissionadminaccorde un accès illimité à toutes les API de premier niveau - le pattern
_msearchavec la permissionadminaccorde un accès illimité uniquement à l'API_msearch
Contrôle d'accès et OpenSearch Dashboards
L'activation des ACLs ne restreint pas l'accès à OpenSearch Dashboards en lui-même, mais toutes les requêtes effectuées par OpenSearch Dashboards sont vérifiées par rapport aux ACLs de l'utilisateur actuel : un utilisateur ne voit et n'interroge que les index autorisés par ses règles.
Configuration avancée
Index et index patterns
Un index contient un schéma de base de données. Chaque donnée repose sur une unité de base qui est un document JSON, indexé avec un identifiant unique. L'indexation est la méthode utilisée pour stocker les données et permettre au moteur de recherche de les récupérer rapidement.
Vous pouvez en apprendre davantage en consultant la documentation officielle d'OpenSearch - Managing indexes.
Les index ne peuvent pas être créés depuis la console OVHcloud : créez-les via l'API OpenSearch (voir l'exemple cURL ci-dessous), ou laissez OpenSearch les créer automatiquement lors de l'écriture du premier document.
L'onglet Index patterns (section Patterns d'index) vous permet de limiter le nombre d'index conservés pour un pattern donné, ce qui est utile, par exemple, lorsqu'un index est créé chaque jour pour stocker des logs. Cliquez sur Ajouter un pattern, saisissez un Pattern (* correspond à un nombre quelconque de caractères et ? à un caractère unique) et un Nombre max d'index, puis cliquez sur Créer. Lorsque le nombre d'index correspondant au pattern dépasse ce maximum, les plus anciens sont supprimés. La valeur 0 signifie que le pattern n'est pas évalué (aucune limite).
Ce même onglet liste les index de votre service. Vous pouvez supprimer un index depuis cette liste.
Sauvegardes automatiques
OVHcloud effectue des sauvegardes horaires et quotidiennes pour votre service Public Cloud Databases pour OpenSearch.
Pour les consulter, basculez sur l'onglet Sauvegardes. Les sauvegardes sont créées automatiquement et la durée de rétention dépend de l'offre. Consultez la page des caractéristiques de Public Cloud Databases pour OpenSearch pour obtenir des informations détaillées sur les propriétés de chaque offre.
Via le bouton ..., vous pouvez restaurer une sauvegarde en la dupliquant vers un nouveau service avec Dupliquer. Les sauvegardes ne peuvent pas être supprimées. Pour plus d'informations, consultez nos guides sur les sauvegardes et sur la restauration d'une sauvegarde.
Connexion à OpenSearch Dashboard
Vérifiez que l'adresse IP visible depuis votre navigateur fait bien partie des IPs autorisées définies pour ce service de base de données OpenSearch.
Dans la carte Détails de connexion de l'onglet Vue d'ensemble du service Public Cloud Databases pour OpenSearch, sélectionnez le protocole OpenSearch Dashboards dans la liste Protocole pour afficher le point d'accès d'OpenSearch Dashboards, sur le même hôte que le service OpenSearch : https://<service-host>:443. Ouvrez-le dans un navigateur web et connectez-vous avec un utilisateur disposant des ACLs nécessaires (voir ci-dessus). Vous accédez à cette page :
Charger des données d'exemple
Si vous avez activé les ACLs à une étape précédente et que vous ne souhaitez pas les désactiver, assurez-vous que votre utilisateur dispose de la permission readwrite sur le pattern opensearch_dashboards_sample_data_*. Aucune règle sur _bulk ou _mget n'est nécessaire.
Sans cette permission, vous ne pourrez pas ajouter les données d'exemple ni afficher le tableau de bord correspondant.
Comme proposé nativement dans OpenSearch, nous pouvons charger des données d'exemple dans la base de données OpenSearch :
Pour l'exemple suivant, nous utiliserons les Sample web logs.
Une fois importé, vous pouvez accéder au tableau de bord OpenSearch principal créé pour cet exemple. Cliquez sur le bouton View Data :
Le tableau de bord et les requêtes peuvent être modifiés directement via cette interface web.
Charger vos données
Si vous souhaitez charger vos propres données, plusieurs méthodes s'offrent à vous. Consultez la documentation officielle : https://docs.opensearch.org/latest/tools/.
Interroger le service OpenSearch
Requêtes DB avec cURL
Une fois le service opérationnel et configuré, vous pouvez essayer de vous y connecter depuis une session distante. Vous avez besoin au minimum :
- de l'identifiant et du mot de passe de l'utilisateur, avec des ACLs appropriées si elles sont activées ;
- de l'hôte et du port du service OpenSearch. Ils se trouvent dans la carte Détails de connexion de l'onglet
Vue d'ensemble. Le port est propre à chaque service.
Vérifiez que l'adresse IP de votre système exécutant la commande cURL fait bien partie des IPs autorisées définies pour ce service de base de données OpenSearch.
L'URI affichée dans la console OVHcloud commence par opensearch://. Pour l'utiliser avec cURL, remplacez ce schéma par https://. Une fois prêt, essayez ceci en ligne de commande, avec votre identifiant et votre mot de passe personnels :
Essayez ensuite de vous connecter :
La réponse de la base de données devrait ressembler à :
Créez maintenant un index :
En cas d'ACL mal définie pour l'utilisateur, la réponse ressemblera à :
Essayez d'ajouter un document :
Récupérez les données :
Supprimez les données :
Supprimez l'index :
Avec la permission readwrite, un utilisateur peut créer un index correspondant à son pattern et ajouter, lire ou supprimer des documents, mais il ne peut pas supprimer l'index lui-même : la suppression d'un index nécessite la permission admin sur un pattern correspondant. Vous pouvez aussi supprimer un index depuis l'onglet Index patterns.
Requêtes DB avec le Dev Tool du Dashboard
Pour effectuer des requêtes directes via une interface web à la base de données OpenSearch, vous pouvez utiliser les Dev Tools disponibles dans le menu :
La console est divisée en deux, une colonne de gauche pour la commande à exécuter, et une colonne de droite pour les résultats.
Cliquez sur le triangle pour exécuter la requête sélectionnée.
Nous pouvons exécuter les mêmes commandes que celles effectuées avec cURL :
Aller plus loin
Votre service est désormais configuré. Pour aller plus loin,
Premiers pas avec les services Analytics via l'API, la CLI ou Terraform
Documentation officielle d'OpenSearch
Consultez le dépôt d'exemples Github pour découvrir comment vous connecter à votre base de données dans plusieurs langages.
Rejoignez notre chaîne Discord dédiée : https://discord.gg/ovhcloud. Posez vos questions, faites-nous part de vos commentaires et interagissez directement avec l'équipe qui développe nos services de bases de données.
Pour une formation ou une assistance technique sur la mise en œuvre de nos solutions, contactez votre commercial ou consultez la page Professional Services pour obtenir un devis et faire analyser votre projet par nos experts.