Cluster Linking の構成オプション¶
Looking for Confluent Cloud Cluster Linking docs? You are currently viewing Confluent Platform documentation. If you are looking for Confluent Cloud docs, check out Cluster Linking on Confluent Cloud.
重要
この機能はプレビュー機能として利用できます。プレビュー機能とは、開発者から早い段階でフィードバックを受けるために提供している Confluent Platform のコンポーネントのことです。この機能は、評価用、本稼働環境以外でのテスト用、あるいは Confluent にフィードバックを提供するために使用できます。
Cluster Linking の有効化¶
Cluster Linking を有効にするには、以下の行を送信先クラスターのブローカー構成($CONFLUENT_HOME/etc/server.properties
など)に追加します。
confluent.cluster.link.enable=true
Cluster Linking を動的構成として使用することはできません。ブローカーを起動する前にこれを有効にしておく必要があります。または、実行中のクラスターで有効にする場合は、ブローカーに構成 confluent.cluster.link.enable=true
を設定し、ブローカーを再起動してローリングアップデートを実行します。
クラスターリンク自体の構成オプションは、 kafka-cluster-links コマンド のフラグの値として使用できます。これらについては、以下で説明します。
Cluster Linking と Confluent for Kubernetes の使用¶
Cluster Linking を、Kubernetes 用の Confluent でデプロイされた Confluent Platform とともに使用できます。
Confluent for Kubernetes で Cluster Linking を構成するには、Kafka カスタムリソースの configOverrides
に追加します。以下に例を示します。
apiVersion: platform.confluent.io/v1beta1
kind: Kafka
metadata:
name: kafka
namespace: confluent
spec:
replicas: 3
image:
application: confluentinc/cp-server-operator:6.1.0.0
init: confluentinc/cp-init-container-operator:6.1.0.0
dataVolumeCapacity: 10Gi
configOverrides:
server:
- confluent.cluster.link.enable=true # Enable Cluster Linking
詳細については、「サポートされているバージョンおよび相互運用性」の「オーケストレーションツール」にある「Kubernetes」および Confluent for Kubernetes ドキュメントの「構成のオーバーライド」を参照してください。
Cluster Linking と Ansible の使用¶
Cluster Linking を、Ansible でデプロイされた Confluent Platform とともに使用できます。
Ansible で Cluster Linking を構成するには、「Ansible との Confluent Platform の構成」の説明に従ってインベントリに kafka_broker_custom_properties
セクションを追加します。
以下に例を示します。
all:
vars:
kafka_broker_custom_properties:
confluent.cluster.link.enable: "true"
リンクプロパティ¶
クラスターリンクには複数の構成を使用できます。以下のセクションでは、 kafka-cluster-links コマンド を使用してこれらを設定する方法について説明し、使用できるプロパティのリストを示します。
クラスターリンクに対するプロパティの設定¶
個々のクラスターリンクのそれぞれに構成を設定することができます。そのためには、構成を "キー=値" ペアとしてプロパティファイルに指定し、以下のいずれかを使用してそのファイルを引数として kafka-cluster-links コマンド に渡します。
--config-file
フラグ(初めてリンクを作成する場合)--add-config-file
フラグ(既存のリンクの構成をアップデートする場合)
代わりに、以下のいずれかを使用して、コマンドラインで直接 "キー=値" ペアを指定することでクラスターリンクのプロパティを指定またはアップデートすることもできます。
--config
フラグ(初めてリンクを作成する場合)--add-config
フラグ(既存のリンクの構成をアップデートする場合)
リンクプロパティをファイルおよびコマンドラインで指定する例とコマンド構文は、「クラスターリンクの作成」と「クラスターリンクの変更」、および「Cluster Linking のチュートリアル」に記載されています。
構成オプション¶
クラスターリンクを指定するために使用するプロパティは以下のとおりです。
cluster.link.paused
クラスターリンクが実行中であるか一時停止されているか。デフォルト値は false です。
- 型: boolean
- デフォルト: false
cluster.link.retry.timeout.ms
失敗を再試行せず、パーティションが失敗としてマークされるまでのミリ秒数です。ソーストピックが削除され、このタイムアウト以内に再作成されない場合、リンクには古いトピックのレコードに加えて新しいトピックのレコードが含まれる場合があります。
- 型:int
- デフォルト: 10000
confluent.cluster.link.enable
Cluster Linking を有効にするには、以下の構成を送信先クラスターのブローカー構成(
$CONFLUENT_HOME/etc/server-dst.properties
など)に追加します。confluent.cluster.link.enable=true
注釈
Cluster Linking を動的構成として使用することはできません。Cluster Linking を有効にするには、ブローカーの起動前にこれを設定しておく必要があります。
connections.max.idle.ms
アイドル接続タイムアウトです。サーバーソケットプロセッサースレッドは、これより長い時間アイドル状態になっている接続を閉じます。
- 型:int
- デフォルト: 600000
consumer.offset.group.filters
移行するコンシューマーグループのリストを指定するための JSON です。詳細については、「送信元クラスターから送信先クラスターへのコンシューマーグループの移行」を参照してください。
- 型: 文字列
- デフォルト: ""
consumer.offset.sync.enable
コンシューマーオフセットを送信元クラスターから移行するかどうかを指定します。
- 型: boolean
- デフォルト: false
consumer.offset.sync.ms
コンシューマーオフセットを同期する頻度をミリ秒単位で指定します(有効にされている場合)。
- 型:int
- デフォルト: 30000
num.cluster.link.fetchers
クラスターリンクのソースブローカーからメッセージをレプリケートするために使用するフェッチャースレッドの数です。
- 型:int
- デフォルト: 1
topic.config.sync.ms
トピック構成をリフレッシュする頻度をミリ秒単位で指定します。
- 型:int
- デフォルト: 5000
共通構成オプション¶
以下の共通プロパティは Cluster Linking に固有のものではありませんが、クラスターリンクのセットアップと管理に特に関係があります。これらは Confluent Platform のクライアント、ブローカー、およびセキュリティ構成に共通するプロパティです。これらについては、示されている各リンク先のセクションで詳しく説明します。
クライアントの構成¶
AdminClient
全構成のリストについては、「AdminClient の構成」を参照してください。
bootstrap.servers
client.dns.lookup
metadata.max.age.ms
retry.backoff.ms
request.timeout.ms
クラスターリンクレプリケーションの構成¶
以下の構成オプションについては、「Kafka ブローカーの構成」を参照してください。
replica.fetch.backoff.ms
replica.fetch.max.bytes
replica.fetch.min.bytes
replica.fetch.response.max.bytes
replica.fetch.wait.max.ms
replica.socket.receive.buffer.bytes
replica.socket.timeout.ms
クライアント SASL および SSL の構成¶
sasl.client.callback.handler.class
sasl.jaas.config
sasl.kerberos.kinit.cmd
sasl.kerberos.min.time.before.relogin
sasl.kerberos.service.name
sasl.kerberos.ticket.renew.jitter
sasl.kerberos.ticket.renew.window.factor
sasl.login.callback.handler.class
sasl.login.class
sasl.login.refresh.buffer.seconds
sasl.login.refresh.min.period.seconds
sasl.login.refresh.window.factor
sasl.login.refresh.window.jitter
sasl.mechanism
security.protocol
ssl.cipher.suites
ssl.enabled.protocols
ssl.endpoint.identification.algorithm
ssl.engine.factory.class
ssl.key.password
ssl.keymanager.algorithm
ssl.keystore.location
ssl.keystore.password
ssl.keystore.type
ssl.protocol
ssl.provider
ssl.secure.random.implementation
ssl.trustmanager.algorithm
ssl.truststore.location
ssl.truststore.password
ssl.truststore.type