Paramètres avancés pour Analytics avec Kafka

Voir en Markdown

Ce guide répertorie tous les paramètres avancés pris en charge qui vous permettent de configurer votre service Analytics avec Kafka selon vos cas d'usage

Objectif

Ce guide répertorie tous les paramètres avancés pris en charge qui vous permettent de configurer votre service Public Cloud Databases pour Kafka selon vos cas d'usage.

Prérequis

Un projet Public Cloud dans votre compte OVHcloud
Un service Analytics actif sur votre projet OVHcloud Public Cloud (ce guide peut vous aider à répondre à ce prérequis)
Un accès à votre ou à l'

En pratique

Warning

La gestion des paramètres avancés n'est pas prise en charge via Terraform.

Depuis l'espace client OVHcloud

Veuillez consulter ce guide pour savoir comment modifier vos paramètres avancés depuis l'espace client OVHcloud.

Depuis l'API

Veuillez consulter ce guide pour savoir comment modifier vos paramètres avancés depuis l'API OVHcloud.

Paramètres avancés pour Kafka

Vous trouverez ci-dessous un récapitulatif de toutes les options de configuration disponibles pour le service Kafka :

Paramètres
kafka.auto_create_topics_enable `boolean` Active la création automatique des topics. (Par défaut : true)
kafka.compression_type `string` valeurs : `gzip`, `lz4`, `producer`, `snappy`, `uncompressed`, `zstd` Spécifie le type de compression final pour un topic donné. Cette configuration accepte les codecs de compression standards ('gzip', 'snappy', 'lz4', 'zstd'). Elle accepte également 'uncompressed', équivalent à l'absence de compression, ainsi que 'producer', qui signifie que le codec de compression défini par le producteur est conservé.(Par défaut : producer)
kafka.connections_max_idle_ms `long` min : `1000` max : `3600000` Délai d'expiration des connexions inactives : les threads du processeur de sockets du serveur ferment les connexions inactives depuis plus longtemps que cette valeur. (Par défaut : 600000 ms (10 minutes))
kafka.default_replication_factor `long` min : `1` max : `10` Facteur de réplication pour les topics créés automatiquement (Par défaut : 3)
kafka.group_initial_rebalance_delay_ms `long` min : `0` max : `300000` Durée, en millisecondes, pendant laquelle le coordinateur de groupe attend l'arrivée d'autres consommateurs dans un nouveau groupe avant d'effectuer le premier rééquilibrage. Un délai plus long signifie potentiellement moins de rééquilibrages, mais augmente le temps avant le début du traitement. La valeur par défaut est de 3 secondes. Lors du développement et des tests, il peut être souhaitable de définir cette valeur à 0 afin de ne pas retarder le temps d'exécution des tests. (Par défaut : 3000 ms (3 secondes))
kafka.group_max_session_timeout_ms `long` min : `0` max : `1800000` Délai d'expiration de session maximal autorisé pour les consommateurs enregistrés. Des délais plus longs laissent plus de temps aux consommateurs pour traiter les messages entre les heartbeats, au prix d'un temps de détection des pannes plus long. Par défaut : 1800000 ms (30 minutes)
kafka.group_min_session_timeout_ms `long` min : `0` max : `60000` Délai d'expiration de session minimal autorisé pour les consommateurs enregistrés. Des délais plus longs laissent plus de temps aux consommateurs pour traiter les messages entre les heartbeats, au prix d'un temps de détection des pannes plus long. (Par défaut : 6000 ms (6 secondes))
kafka.log_cleaner_delete_retention_ms `long` min : `0` max : `315569260000` Durée de conservation des enregistrements de suppression ? (Par défaut : 86400000 (1 jour))
kafka.log_cleaner_max_compaction_lag_ms `long` min : `30000` max : `9223372036854776000` Durée maximale pendant laquelle un message restera non compacté. S'applique uniquement aux logs en cours de compaction. (Par défaut : 9223372036854775807 ms (Long.MAX_VALUE))
kafka.log_cleaner_min_cleanable_ratio `double` min : `0.2` max : `0.9` Contrôle la fréquence du compacteur de logs. Une valeur plus élevée signifie des compactions plus fréquentes, mais aussi plus d'espace gaspillé pour les logs. Envisagez de définir log.cleaner.max.compaction.lag.ms pour forcer des compactions plus rapides, plutôt que de définir une valeur très élevée pour cette option. (Par défaut : 0.5)
kafka.log_cleaner_min_compaction_lag_ms `long` min : `0` max : `9223372036854776000` Durée minimale pendant laquelle un message reste non compacté dans le log. S'applique uniquement aux logs en cours de compaction. (Par défaut : 0 ms)
kafka.log_cleanup_policy `string` valeurs : `compact`, `compact,delete`, `delete` Politique de nettoyage par défaut pour les segments dépassant la fenêtre de rétention (Par défaut : delete)
kafka.log_flush_interval_messages `long` min : `1` max : `9223372036854776000` Nombre de messages accumulés sur une partition de log avant que les messages ne soient écrits sur le disque (Par défaut : 9223372036854775807 (Long.MAX_VALUE))
kafka.log_flush_interval_ms `long` min : `0` max : `9223372036854776000` Durée maximale, en ms, pendant laquelle un message d'un topic quelconque est conservé en mémoire (page-cache) avant d'être écrit sur le disque. Si cette valeur n'est pas définie, celle de log.flush.scheduler.interval.ms est utilisée (Par défaut : null)
kafka.log_index_interval_bytes `long` min : `0` max : `104857600` Intervalle auquel Kafka ajoute une entrée à l'index des offsets (Par défaut : 4096 bytes (4 kibioctets))
kafka.log_index_size_max_bytes `long` min : `1048576` max : `104857600` Taille maximale, en octets, de l'index des offsets (Par défaut : 10485760 (10 mébioctets))
kafka.log_local_retention_bytes `long` min : `-2` max : `9223372036854776000` Taille maximale des segments de log locaux pouvant croître pour une partition avant qu'elle ne devienne éligible à la suppression. Si la valeur -2 est définie, la valeur de log.retention.bytes est utilisée. La valeur effective doit toujours être inférieure ou égale à la valeur de log.retention.bytes. (Par défaut : -2)
kafka.log_local_retention_ms `long` min : `-2` max : `9223372036854776000` Nombre de millisecondes de conservation des segments de log locaux avant qu'ils ne deviennent éligibles à la suppression. Si la valeur -2 est définie, la valeur de log.retention.ms est utilisée. La valeur effective doit toujours être inférieure ou égale à la valeur de log.retention.ms. (Par défaut : -2)
kafka.log_message_downconversion_enable `boolean` Cette configuration contrôle si la conversion descendante des formats de message est activée pour satisfaire les requêtes de consommation. (Par défaut : true)
kafka.log_message_timestamp_difference_max_ms `long` min : `0` max : `9223372036854776000` Différence maximale autorisée entre l'horodatage auquel un broker reçoit un message et l'horodatage spécifié dans le message (Par défaut : 9223372036854775807 (Long.MAX_VALUE))
kafka.log_message_timestamp_type `string` valeurs : `CreateTime`, `LogAppendTime` Définit si l'horodatage du message correspond à l'heure de création du message ou à l'heure d'ajout au log. (Par défaut : CreateTime)
kafka.log_preallocate `boolean` Faut-il préallouer le fichier lors de la création d'un nouveau segment ? (Par défaut : false)
kafka.log_retention_bytes `long` min : `-1` max : `9223372036854776000` Taille maximale du log avant suppression des messages (Par défaut : -1)
kafka.log_retention_hours `long` min : `-1` max : `2147483647` Nombre d'heures de conservation d'un fichier log avant suppression (Par défaut : 168 heures (1 semaine))
kafka.log_retention_ms `long` min : `-1` max : `9223372036854776000` Nombre de millisecondes de conservation d'un fichier log avant suppression (en millisecondes). Si cette valeur n'est pas définie, celle de log.retention.minutes est utilisée. Si la valeur -1 est définie, aucune limite de temps n'est appliquée. (Par défaut : null, log.retention.hours s'applique)
kafka.log_roll_jitter_ms `long` min : `0` max : `9223372036854776000` Écart maximal à soustraire de logRollTimeMillis (en millisecondes). Si cette valeur n'est pas définie, celle de log.roll.jitter.hours est utilisée (Par défaut : null)
kafka.log_roll_ms `long` min : `1` max : `9223372036854776000` Durée maximale avant qu'un nouveau segment de log ne soit créé (en millisecondes). (Par défaut : null, log.roll.hours s'applique (Par défaut : 168, 7 jours))
kafka.log_segment_bytes `long` min : `10485760` max : `1073741824` Taille maximale d'un seul fichier log (Par défaut : 1073741824 bytes (1 gibioctet))
kafka.log_segment_delete_delay_ms `long` min : `0` max : `3600000` Délai d'attente avant la suppression d'un fichier du système de fichiers (Par défaut : 60000 ms (1 minute))
kafka.max_connections_per_ip `long` min : `256` max : `2147483647` Nombre maximal de connexions autorisées depuis chaque adresse IP (Par défaut : 2147483647).
kafka.max_incremental_fetch_session_cache_slots `long` min : `1000` max : `10000` Nombre maximal de sessions de fetch incrémental que le broker maintiendra. (Par défaut : 1000)
kafka.message_max_bytes `long` min : `0` max : `100001200` Taille maximale de message que le serveur peut recevoir. (Par défaut : 1048588 bytes (1 mébioctet + 12 octets))
kafka.min_insync_replicas `long` min : `1` max : `7` Lorsqu'un producteur définit acks sur 'all' (ou '-1'), min.insync.replicas spécifie le nombre minimal de répliques devant confirmer une écriture pour que celle-ci soit considérée comme réussie. (Par défaut : 1)
kafka.num_partitions `long` min : `1` max : `1000` Nombre de partitions pour les topics créés automatiquement (Par défaut : 1)
kafka.offsets_retention_minutes `long` min : `1` max : `2147483647` Fenêtre de rétention des logs, en minutes, pour le topic des offsets (Par défaut : 10080 minutes (7 jours))
kafka.producer_purgatory_purge_interval_requests `long` min : `10` max : `10000` Intervalle de purge (en nombre de requêtes) du purgatoire des requêtes du producteur (Par défaut : 1000).
kafka.replica_fetch_max_bytes `long` min : `1048576` max : `104857600` Nombre d'octets de messages à tenter de récupérer pour chaque partition. Ce n'est pas un maximum absolu : si le premier batch d'enregistrements de la première partition non vide du fetch est plus grand que cette valeur, il sera tout de même renvoyé afin de garantir que la progression puisse continuer. (Par défaut : 1048576 bytes (1 mébioctet))
kafka.replica_fetch_response_max_bytes `long` min : `10485760` max : `1048576000` Nombre d'octets maximal attendu pour l'ensemble de la réponse de fetch. Les enregistrements sont récupérés par lots, et si le premier batch d'enregistrements de la première partition non vide du fetch est plus grand que cette valeur, il sera tout de même renvoyé afin de garantir que la progression puisse continuer. Ce n'est donc pas un maximum absolu. (Par défaut : 10485760 bytes (10 mébioctets))
kafka.sasl_oauthbearer_expected_audience `string` Paramètre (facultatif), sous forme de liste séparée par des virgules, permettant au broker de vérifier que le JWT a été émis pour l'une des audiences attendues. (Par défaut : null)
kafka.sasl_oauthbearer_expected_issuer `string` Paramètre facultatif permettant au broker de vérifier que le JWT a été créé par l'émetteur attendu.(Par défaut : null)
kafka.sasl_oauthbearer_jwks_endpoint_url `string` URL de l'endpoint JWKS OIDC. En définissant cette valeur, l'authentification SASL SSL OAuth2/OIDC est activée. Voir également les autres options pour SASL OAuth2/OIDC. (Par défaut : null)
kafka.sasl_oauthbearer_sub_claim_name `string` Nom du scope à partir duquel extraire la revendication (claim) du sujet du JWT.(Par défaut : sub)
kafka.socket_request_max_bytes `long` min : `10485760` max : `209715200` Nombre maximal d'octets dans une requête socket (Par défaut : 104857600 bytes).
kafka.transaction_partition_verification_enable `boolean` Active la vérification confirmant que la partition a bien été ajoutée à la transaction avant l'écriture d'enregistrements transactionnels dans la partition. (Par défaut : true)
kafka.transaction_remove_expired_transaction_cleanup_interval_ms `long` min : `600000` max : `3600000` Intervalle auquel supprimer les transactions ayant expiré suite au dépassement de transactional.id.expiration.ms (Par défaut : 3600000 ms (1 heure)).
kafka.transaction_state_log_segment_bytes `long` min : `1048576` max : `2147483647` Les octets de segment du topic de transaction doivent rester relativement réduits afin de faciliter une compaction des logs et des chargements de cache plus rapides (Par défaut : 104857600 bytes (100 mébioctets)).
kafka_authentication_methods.certificate `boolean` Active l'authentification par certificat/SSL
kafka_authentication_methods.sasl `boolean` Active l'authentification SASL

Aller plus loin

Visitez notre chaîne Discord dédiée : https://discord.gg/ovhcloud. Posez vos questions, faites-nous part de vos commentaires et interagissez directement avec l’équipe qui développe nos services de bases de données.

Si vous avez besoin d'une formation ou d'une assistance technique pour la mise en oeuvre de nos solutions, contactez votre commercial ou cliquez sur ce lien pour obtenir un devis et demander une analyse personnalisée de votre projet à nos experts de l’équipe Professional Services.

Rejoignez notre communauté d'utilisateurs.

Cette page vous a-t-elle aidé ?