Cluster 設定

Cluster 設定ページで、クラスターのプロパティやブローカーの構成を表示および編集できます。クラスターの Cluster 設定サブメニューをクリックすると、デフォルトでは General タブが表示されます。

クラスター名の編集

クラスター名を編集したり、ホストの詳細を表示したりすることができます。ホストフィールドにあるロックアイコンは変更できないことを示しています。

クラスター名を変更するには、以下の手順に従います。

  1. クラスターナビゲーションバーでクラスターをクリックします。

  2. Cluster settings メニューをクリックします。

  3. Edit the cluster name in Cluster Name field. The default cluster name is the cluster GUID. Enter a human-friendly name for the cluster. The cluster name you enter here is not exposed externally from Control Center.

  4. Save changes をクリックして変更を適用します。

    Cluster settings の Kafka タブ

表示専用のブローカー構成

クラスターブローカー構成を表示します。

注釈

ブローカー構成の編集が 無効 になっている場合、このビューは読み取り専用で、 設定の編集 機能は使用できません。

重要

RBAC が Control Center で有効になっている場合は、アクセス制御設定より優先されます。割り当てられたロールに関連付けられている権限によって、表示およびアクセスできる対象が決定されます。

ブローカー構成を表示するには、以下の手順に従います。

  1. クラスターナビゲーションバーでクラスターをクリックします。

  2. Cluster settings メニューをクリックします。

  3. Broker defaults タブをクリックします。

    ブローカーごとに異なることが想定される構成値

動的ブローカーの構成設定の編集

動的なブローカーの構成オプションは、デフォルトで有効 になっています。この機能では、再起動せずに Control Center 内でブローカー構成を編集できます。ブローカーごと または クラスター全体 の動的なアップデートモードを持つすべての構成オプションを編集できます。動的なアップデートモードで 読み取り専用 として指定されているすべてのオプションは再起動が必要であり、動的には編集できません。

オプションごとの動的なアップデートモードなど、使用可能なブローカー構成オプションについては、「Kafka ブローカーの構成」を参照してください。

凡例:

  • 緑色で塗りつぶされたブレット: デフォルトではない構成オプションを示します。オプションの値がデフォルトから変更されています。

  • 空白のブレット: デフォルトの構成オプションを示します。

  • アスタリスク*: ブローカー間で n 個の値が異なっている場合*(アスタリスクが付いています)、構成オプションに潜在的な問題があることを示します。

    重要

    異なる構成値を持つとしてフラグが付けられたすべてのブローカーを確認し、すべて意図的に設定されていることを確認してください。以下の例では、ブローカー ID は一意の値になると想定されます。

    ブローカーごとに異なることが想定される構成値

ブローカー構成を編集するには、以下の手順に従います。

  1. クラスターナビゲーションバーでクラスターをクリックします。

  2. Cluster settings メニューをクリックします。

  3. Broker defaults タブをクリックします。

    ちなみに

    ブローカーの数が多い場合は、Deselect all および Select all のチェックボックスを使用することで目的のブローカーの作業に迅速に取り掛かることができます。複数のブローカーの設定を比較および編集するには、ブローカー ID のペインで 2 つ以上のブローカーを選択します。

  4. Edit Settings をクリックします。編集アイコン付きでブローカー設定が表示されます。

    クラスターのブローカー設定の編集
    • 任意の構成オプションにマウスオーバーすると、説明が表示されます。
    • 構成オプションに変更を加えるには編集アイコンをクリックします。
    • オプションを元のデフォルト値にリセットするには Set to Default をクリックします。ブレットが緑色から空白に変わります。
  5. 変更を保存するには Save を、設定の編集をキャンセルするには Cancel をクリックします。

Kafka のコマンドラインツール kafka-configs を使用してブローカー構成を動的に変更する例については、「ブローカー構成の動的な変更」を参照してください。

ブローカーの構成設定のダウンロード

  1. クラスターナビゲーションバーでクラスターをクリックします。

  2. Cluster settings メニューをクリックします。

  3. Brokers defaults タブをクリックします。

  4. 複数のブローカーがある場合はブローカーを 1 つ選択します。

  5. Download をクリックします。ブローカーの構成設定が保存されているファイルが、お使いのダウンロードディレクトリに JSON ファイルフォーマットでダウンロードされます。ファイル名は、Kafka クラスター ID に基づきます。

    ファイル名の例: iKGixtHySCa0ANeH43pWHA.json

    コンテンツスニペットの例:

    {"0":{"entries":[{"name":"log.cleaner.min.compaction.lag.ms","value":"0","source":"DEFAULT_CONFIG","synonyms":[{"name":"log.cleaner.min.compaction.lag.ms","value":"0","source":"DEFAULT_CONFIG"}],"isReadOnly":false,"isSensitive":false},{"name":"offsets.topic.num.partitions","value":"50","source":"DEFAULT_CONFIG","synonyms":[{"name":"offsets.topic.num.partitions","value":"50","source":"DEFAULT_CONFIG"}],"isReadOnly":true,"isSensitive":false},{"name":"confluent.support.metrics.enable","value":null,"source":"STATIC_BROKER_CONFIG","synonyms" ...
    

ブローカー構成の動的な編集の有効化および無効化

再起動を行わずに設定を編集できる動的ブローカー構成機能はデフォルトで有効になっています。ユーザーがこの機能を使用することを禁止している組織では、Control Center 内でこの機能を無効にすることができます。この機能を無効にした後は、Control Center UI の Brokers タブに Edit Settings ボタンは表示されなくなります。

重要

RBAC が Control Center で有効になっている場合は、 アクセス制御 設定より優先されます。

Control Center 内でブローカー構成設定の編集機能を無効にするには、以下の手順に従います。

  1. ご使用の control-center.properties ファイル内で confluent.controlcenter.broker.config.edit.enable オプションを false に設定します。

    ...
    confluent.controlcenter.broker.config.edit.enable=false
    ...
    

    注釈

    ご使用の環境向けに構成されている適切な Control Center プロパティファイルに変更を加えます。対象のプロパティファイルには control-center-dev.properties または control-center-production.properties があります。プロパティファイルは /path-to-confluent/etc/confluent-control-center/ にあります。

  2. Control Center を再起動し、プロパティファイルを入力して構成を有効にします。詳細については、「Control Center のプロパティファイル」を参照してください。

    • ローカル(開発)環境:

      重要

      confluent local は、本稼働環境では使用しないでください。

      confluent local services control-center stop
      confluent local services control-center start --config ../etc/confluent-control-center/control-center.properties
      
    • 本稼働環境:

      ./bin/control-center-stop
      ./bin/control-center-start ../etc/confluent-control-center/control-center.properties
      

この機能を再度有効にするには、このオプションを true に設定し直して、アップデートしたプロパティファイルを使用して Control Center を再起動します。

Self-Balancing Clusters の操作

Self-Balancing Clusters の詳細ガイドについては、「Kafka の操作の概要」ドキュメントの「Self-Balancing Clusters」を参照してください。これには、「構成とモニタリング」の入門書および総合的で実践的な チュートリアル が記載されています。

Self-Balancing のモニタリングおよび構成

  1. クラスターナビゲーションバーでクラスターをクリックします。

  2. Cluster settings メニューをクリックします。

  3. Self-balancing タブをクリックします。

    ../_images/sbc-c3.png
  4. 動的な構成を変更するには、Edit Settings をクリックします。

    Self-Balancing には、クラスターの実行中に構成できる複数の動的なプロパティがあります。以下を行うためのオプションを利用できます。

    • Self-Balancing を オン または オフ にします。Confluent Platform に付属しているサンプル server.properties ファイルでは、confluent.balancer.enabletrue に設定されています。これは、Self-Balancing がオンであることを示します。

    • デフォルトのスロットル値(10485760 つまり 10 MB/秒)をオーバーライドします。この値によって、Self-Balancing で使用可能な最大ネットワーク帯域幅が決定されます。(confluent.balancer.throttle.bytes.per.second

    • バランス調整用のトリガー条件を Only when brokers are added or removed (デフォルト)と Anytime の間で切り替えます。(confluent.balancer.heal.uneven.load.trigger

      ../_images/sbc-c3-empty-broker.png
  5. 変更を加え、Save をクリックします。

    ../_images/sbc-c3-anytime.png

Self-Balancing が有効になっており、トリガー条件が Only when brokers are added or removed (デフォルト)に設定されていると、Brokers overview のカードには、"Workload optimizer" が "Disabled" と示されます。

../_images/sbc-c3-card-empty-broker.png

Self-Balancing が有効になっており、トリガー条件が Anytime に設定されていると、バランス調整が進行中でない場合またはバランス調整中にいずれかの進行中ステータスが提示されている場合、Brokers overview のカードには、"Workload optimizer" が "Balanced" と示されます。

../_images/sbc-c3-card-any-uneven-load.png

ブローカーの削除

クラスターからブローカーの 1 つを削除すると、Self-Balancing によって他のブローカーにトピックデータが再配分されます。この手順の要約を以下に示します。段階的な詳細説明については、「Self-Balancing チュートリアル」のコンテキストで「ブローカーの削除」を参照してください。

ちなみに

  • 実際には、リードブローカーを削除できます。この場合、クラスターバランシングに短い遅延が発生する可能性があるため、この例ではリードブローカーを削除しないことをお勧めしています。詳細については、「リードブローカー(コントローラー)が削除される、または見つからない場合の動作」を参照してください。
  • 削除するブローカーに格納されているレプリカがいずれかのトピックにとって唯一のレプリカである場合、このブローカーの削除は失敗します。詳細については、「制限」を参照してください。
  1. Brokers overview ページの Control Center オプションを使用してブローカーを削除します。

    • Brokers を選択し、Overview ページの下までスクロールして現在オンラインのブローカーのリストを表示します。

    • 削除するブローカーを選択して、このブローカーのモニタリングの詳細にドリルダウンします。

      ../_images/sbc-c3-select-a-broker.png
    • このページの下部にある Remove broker をクリックし、入力フィールドに「REMOVE」と入力してこのアクションを行うことを確認します。

    ブローカーの削除が完了したら、確認オプションをクリックして確認します。

    注釈

    メトリクス不足が原因でブローカーの削除に失敗したという エラーメッセージ が表示された場合は、Self-Balancing がまだ 初期化中 です。初期化には最大で 30 分かかります。この場合は、数分後にブローカーの削除を再試行すると成功するはずです。

  2. Control Center を使用してバランス調整をモニタリングします。

    Control Center で、Cluster settingsSelf-balancing をクリックして進捗状況を追跡します。

    バランス調整が完了すると、Brokers overview ページと Cluster settingsBroker defaults のどちらにも、残りのブローカーのみが表示され、削除したブローカーは表示されなくなります。

おすすめのリソース

階層型ストレージの構成

階層型ストレージのセットアップと操作の詳細ガイドについては、「Kafka の操作の概要」ドキュメントの「階層型ストレージ」を参照してください。

階層型ストレージを構成して操作するには、Control Center から開始します。

  1. クラスターナビゲーションバーでクラスターをクリックします。

  2. Cluster settings メニューをクリックします。

  3. Storage タブをクリックします。

    ../_images/c3-storage.png

    画面上のセットアップ手順は、「階層型ストレージ」で詳細に説明されているクラウドプロバイダーのセットアップを段階的に説明したもので、表示と非表示を切り替えできます。

  4. 動的な設定を表示および編集するには、Edit settings をクリックします。

    ../_images/c3-storage-dynamic-configs.png

    設定を表示または変更し、Cancel または Save changes を適宜クリックします。

  5. ストレージをセットアップするには、クラウドプロバイダーを選択します(GCS タブまたは S3 タブをクリック)。

    ここでは、例として S3 構成オプションを示してあります。

    ../_images/c3-storage-setup-s3.png
  6. プロパティ値および認証情報のパスを指定し、Generate configurations をクリックします。

    ../_images/c3-storage-setup-example.png
  7. 生成された構成ブロックをコピーし、ブローカーのプロパティファイル(例: $CONFLUENT_HOME/etc/kafka/server.properties)に貼り付けます。

    ../_images/c3-storage-gen-configs-output.png

    重要

    • 階層型ストレージが有効になっているクラスター内ではすべてのブローカーで同じバケットを使用する必要があります。これはサポートされているすべてのプラットフォームに適用されます。

    • 階層型ストレージの内部トピックは、デフォルトで、レプリケーション係数が 3 になります。「Confluent Platform のクイックスタート(ローカルインストール)」で説明されているような単一のブローカークラスターを実行するために confluent local services start を使用する場合は、ブローカーファイル $CONFLUENT_HOME/etc/kafka/server.properties に次の行を追加する必要があります。

      confluent.tier.metadata.replication.factor=1

  8. これらの構成をアップデートして階層型ストレージを有効にしたら、ブローカーを再起動します。これは ローリング 再起動の形で実行できます。

  9. 階層型ストレージの設定は、Cluster Settings > Storage タブで表示または変更できます。

    有効な状態の Tiered Storage パネル
  10. 階層型ストレージのクラスター全体のメトリクスは、クラスターの Brokers 概要ページの Tiered Storage カードに表示されます。

    有効な状態の Tiered Storage パネル

    初期統計をクリックすると、階層型ストレージのメトリクスチャートが表示されます。

    Tiered Storage メトリクスチャート

    チャート上にカーソルを置いてスライドすると、任意の時点でのデータを詳細表示できます。

    マウスオーバーによる階層型ストレージのメトリクスの詳細表示
  11. 特定のトピックに関するストレージメトリクスを取得するには、そのトピックに移動します(<環境> > <クラスター> > <トピック>)。

    トピックの Overview ページに Storage カードが表示されます。

    単一のトピックに関する階層型ストレージのメトリクス

詳細については、「Kafka の操作の概要」ドキュメントの「階層型ストレージ」を参照してください。