For AI agents: the complete documentation index is available at https://docs.ovhcloud.com/fr/llms.txt, the full documentation bundle is available at https://docs.ovhcloud.com/fr/llms-full.txt, and this page is available as Markdown at https://docs.ovhcloud.com/fr/guides/public-cloud/databases/kafkaconnect-advanced-parameters-references.md.

Paramètres avancés pour Analytics avec Kafka Connect

Voir en Markdown

Ce guide répertorie tous les paramètres avancés pris en charge qui vous permettent de configurer votre service Analytics avec Kafka Connect selon vos cas d'usage

Objectif

Ce guide répertorie tous les paramètres avancés pris en charge qui vous permettent de configurer votre service Public Cloud Databases pour Kafka Connect selon vos cas d'usage.

Prérequis

  • Un projet Public Cloud dans votre compte OVHcloud
  • Un service Analytics actif sur votre projet OVHcloud Public Cloud (ce guide peut vous aider à répondre à ce prérequis)
  • Un accès à votre ou à l'

En pratique

Warning

La gestion des paramètres avancés n'est pas prise en charge via Terraform.

Depuis l'espace client OVHcloud

Veuillez consulter ce guide pour savoir comment modifier vos paramètres avancés depuis l'espace client OVHcloud.

Depuis l'API

Veuillez consulter ce guide pour savoir comment modifier vos paramètres avancés depuis l'API OVHcloud.

Paramètres avancés pour Kafka Connect

Vous trouverez ci-dessous un récapitulatif de toutes les options de configuration disponibles pour le service Kafka Connect :

Paramètres
kafka_connect.connector_client_config_override_policy string
valeurs : All, None
Définit les configurations client pouvant être remplacées par le connecteur. La valeur par défaut est None
kafka_connect.consumer_auto_offset_reset string
valeurs : earliest, latest
Comportement à adopter lorsqu'il n'existe aucun offset initial dans Kafka ou que l'offset actuel n'existe plus sur le serveur. La valeur par défaut est earliest
kafka_connect.consumer_fetch_max_bytes long
min : 1048576 max : 104857600
Les enregistrements sont récupérés par lots par le consommateur, et si le premier batch d'enregistrements de la première partition non vide du fetch est plus grand que cette valeur, il sera tout de même renvoyé afin que le consommateur puisse continuer à progresser. Ce n'est donc pas un maximum absolu.
kafka_connect.consumer_isolation_level string
valeurs : read_committed, read_uncommitted
Niveau d'isolation de lecture pour les transactions. read_uncommitted est la valeur par défaut, mais read_committed peut être utilisé si un comportement de consommation exactement une fois (exactly-once) est souhaité.
kafka_connect.consumer_max_partition_fetch_bytes long
min : 1048576 max : 104857600
Les enregistrements sont récupérés par lots par le consommateur. Si le premier batch d'enregistrements de la première partition non vide du fetch dépasse cette limite, le batch sera tout de même renvoyé afin que le consommateur puisse continuer à progresser.
kafka_connect.consumer_max_poll_interval_ms long
min : 1 max : 2147483647
Délai maximal, en millisecondes, entre deux appels à poll() lors de l'utilisation de la gestion de groupe de consommateurs (valeur par défaut : 300000).
kafka_connect.consumer_max_poll_records long
min : 1 max : 10000
Nombre maximal d'enregistrements retournés lors d'un seul appel à poll() (valeur par défaut : 500).
kafka_connect.offset_flush_interval_ms long
min : 1 max : 100000000
Intervalle auquel tenter de valider (commit) les offsets des tâches (valeur par défaut : 60000).
kafka_connect.offset_flush_timeout_ms long
min : 1 max : 2147483647
Nombre maximal de millisecondes à attendre pour que les enregistrements soient écrits et que les données d'offset de partition soient validées (commit) dans le stockage des offsets, avant d'annuler le processus et de restaurer les données d'offset en vue d'une future tentative de validation (valeur par défaut : 5000).
kafka_connect.producer_batch_size long
min : 0 max : 5242880
Ce paramètre définit la limite supérieure de la taille de lot à envoyer. Si le nombre d'octets accumulés pour cette partition est inférieur à cette valeur, le producteur va « patienter » (linger) pendant la durée linger.ms en attendant l'arrivée d'autres enregistrements. Une taille de lot de zéro désactive entièrement le regroupement en lots (valeur par défaut : 16384).
kafka_connect.producer_buffer_memory long
min : 5242880 max : 134217728
Nombre total d'octets de mémoire que le producteur peut utiliser pour mettre en tampon les enregistrements en attente d'envoi vers le broker (valeur par défaut : 33554432).
kafka_connect.producer_compression_type string
valeurs : gzip, lz4, none, snappy, zstd
Spécifie le type de compression par défaut pour les producteurs. Cette configuration accepte les codecs de compression standards ('gzip', 'snappy', 'lz4', 'zstd'). Elle accepte également 'none', valeur par défaut équivalente à l'absence de compression.
kafka_connect.producer_linger_ms long
min : 0 max : 5000
Ce paramètre définit la limite supérieure du délai de regroupement en lots : dès qu'une partition atteint la taille batch.size, elle est envoyée immédiatement quel que soit ce paramètre. Cependant, si le nombre d'octets accumulés pour cette partition est inférieur à cette valeur, le producteur va « patienter » (linger) pendant la durée spécifiée en attendant l'arrivée d'autres enregistrements. Valeur par défaut : 0.
kafka_connect.producer_max_request_size long
min : 131072 max : 67108864
Ce paramètre limite le nombre de lots d'enregistrements que le producteur enverra en une seule requête afin d'éviter l'envoi de requêtes trop volumineuses.
kafka_connect.scheduled_rebalance_max_delay_ms long
min : 0 max : 600000
Délai maximal programmé pour attendre le retour d'un ou plusieurs workers partis avant de rééquilibrer et de réattribuer leurs connecteurs et tâches au groupe. Pendant cette période, les connecteurs et tâches des workers partis restent non attribués. Valeur par défaut : 5 minutes.
kafka_connect.session_timeout_ms long
min : 1 max : 2147483647
Délai d'expiration, en millisecondes, utilisé pour détecter les pannes lors de l'utilisation des fonctionnalités de gestion de groupe de Kafka (valeur par défaut : 10000).

Aller plus loin

Visitez notre chaîne Discord dédiée : https://discord.gg/ovhcloud. Posez vos questions, faites-nous part de vos commentaires et interagissez directement avec l’équipe qui développe nos services de bases de données.

Si vous avez besoin d'une formation ou d'une assistance technique pour la mise en oeuvre de nos solutions, contactez votre commercial ou cliquez sur ce lien pour obtenir un devis et demander une analyse personnalisée de votre projet à nos experts de l’équipe Professional Services.

Rejoignez notre communauté d'utilisateurs.

Cette page vous a-t-elle aidé ?