Replicator¶
Confluent Replicator では Kafka トピックをクラスター間で（送信元から送信先に）レプリケートし、この際、メッセージのコピーと、送信元クラスター内のトピック構成を保持するレプリカトピックの作成を行います。
Control Center の Replicators のページでは、以下の操作を行うことができます。
- タスク、メッセージのスループット、および Replicator として実行されている Connect ワーカーをモニタリングします。
- オリジンクラスター上のソーストピック上のメトリクスをモニタリングします。
- 送信先クラスター上のレプリケートされたトピック上のメトリクスをモニタリングします。
- Control Center の Topics のページからソーストピックおよびレプリケートされたトピックの詳細を表示して、モニタリングと構成を行います（「トピックの管理」を参照）。
提供されるメトリクスは以下のとおりです。
- スループット: 1 秒あたりにレプリケートされたメッセージの数。
- メッセージラグ: 送信元クラスターに対して生成された一方で、送信先に対してまだレプリケートされていないメッセージの数
- レイテンシ: 送信元クラスターに対するメッセージ生成から送信先クラスターに対するメッセージ生成までの平均時間
メトリクスは、コネクター、タスク、トピックとパーティションを基準に細分化されます。
Replicator モニタリングを有効にする¶
Replicator にまだ慣れていない場合は、送信元と送信先のクラスターをトピックレプリケーションありで起動するためのガイドとして「チュートリアル: クラスターの境界を越えたデータのレプリケーション」を参照し、最後のセクション「Control Center を使用した Replicator のモニタリング」にある手順に従ってモニタリングを構成してください。
All Replicators ページ¶
Replicators overview ページにアクセスするには、ナビゲーションバーでクラスターを選択し、クラスターサブメニューで Replicators をクリックします。
Replicators overview ページには、選択したクラスター内のすべての Replicator が一覧表示され、各 Replicator のタスクについて、以下のような状態が一目でわかるように表示されます。
- Replicator の状態（実行中、障害、一時停止）
- 処理されたソーストピックの数
- 1 秒あたりにレプリケートされたメッセージの数
- メッセージラグ
- レイテンシ
送信元および送信先のクラスター¶
たとえば、送信元と送信先という最小の 2 つのクラスターによるものなど、クラスターおよびレプリケーションが適切に構成されていれば、Environment overview に表示されます。
ちなみに
Control Center 上の送信元と送信先のクラスターの一部が取り込まれていない場合は、「チュートリアル: クラスターの境界を越えたデータのレプリケーション」、特にこのガイドのサブトピック「Control Center を使用した Replicator のモニタリング」を参照して構成詳細を確認してください。
クラスターは、構成に基づいて自動生成された名前を使って Control Center 上にレンダリングされます。
必要な場合は、クラスター名を編集することができます。
- クラスターを選択します。
- ナビゲーションメニューの Cluster settings をクリックします。
- General タブでクラスター名を入力し、Save をクリックします。
ブローカーのデフォルト、Self-Balancing、ストレージといったその他の クラスター全体の設定 もここで構成できます。
「Replicator のチュートリアル」の関連する例では、Replicator は送信元から送信先にトピックデータをレプリケートするようセットアップされています。
送信先クラスターの設定は次のようになります。
送信元クラスターの設定は次のようになります。
送信元トピックおよびレプリケートされたトピック¶
送信元トピックはオリジンクラスター上にあります。これらのトピックのページに移動する方法は複数あります。以下に例を示します。
- クラスターを選択した状態で、ナビゲーションメニューの Replicators をクリックし、Replicator をクリックしてから Source Topics タブ、<topic> の順に選択します。
- クラスターを選択した状態で、ナビゲーションメニューの Replicators をクリックし、Replicator をクリックしてから Throughput メトリクスカード、<task>、<topic> の順に選択します。
- 送信元クラスターを選択し、Topics をクリックして、適宜トピックの詳細を表示します。
ちなみに
送信元クラスター上のすべてのトピックがレプリケートされるとは限りません。レプリケートされるのは、レプリケーション対象として構成 されたトピックだけです。また、一部の内部トピックは送信元クラスター上に維持され、レプリケートされません。Replicator 送信元コンシューマーが コンシューマーオフセット変換 を実行する際に読み取る __consumer_timestamps がその例です。
レプリケートされたトピックは送信先クラスター上で運用されます。これらのトピックに移動するには、以下の手順に従います。
送信先クラスターを選択します。
ナビゲーションメニューから Topics を選択します。
レプリケートされたトピックをクリックします。
以下のセクションでは、使用可能なレプリケーションモニタリング、メトリクス、構成のビューを詳細に説明します。
Replicator のメトリクスおよびトピック¶
特定の単一 Replicator の詳細を表示するには、All Replicators ページのリストで Replicator をクリックします。
以下の情報を表示した Replicator status ページが表示されます。
- 1 秒あたりにレプリケートされたメッセージの数、ソーストピックの数、ラグ、レイテンシなどメッセージレプリケーションのスループットメトリクス
- タスクの合計数、実行中、障害、一時停止のタスクの数を含むタスク概要
- 各ワーカーの状態を含む Connect ワーカーのリストと、ワーカーごとのメッセージパフォーマンスメトリクス。ワーカーのリストはスクロールおよび検索できます。
Replicator に関連付けられたタスク¶
単一の Replicator に関連付けられたタスクのリストを表示するには、選択した Replicator の Throughput カードをクリックします。
タスクのリストが表示されます。
タスクのメッセージメトリクス¶
特定のタスクのメトリクスを表示するには、選択した Replicator に関連付けられたタスクの 1 つをクリックします。
タスクメトリクスがページの上部に表示されます。ソーストピックのリストおよびトピックごとの関連付けられたメトリクスがページの下部に表示されます。このリストは検索およびスクロールできます。
ソーストピック¶
ソーストピック（送信元クラスター上のトピック）の詳細を表示するには、Replicator の Source Topics タブを選択し、リスト内のトピックをクリックします。
ソーストピックの詳細は、タスクメトリクスのページでトピックをクリックするか、送信元クラスターを選択した状態でナビゲーションバーの Topics をクリックしてからリスト内のトピックをクリックしても表示できます。
ソーストピックのメトリクスの概要が表示されます。
ソーストピックとレプリケートされたトピックの両方について、提供されているモニタリングおよび構成のオプションは同じです。
レプリケートされたトピック¶
レプリケートされたトピック（送信先クラスター上のトピック）の詳細を表示するには、送信先クラスターを選択し、Control Center メニューの Topics をクリックしてクラスター内のすべてのトピックを表示します。
トピックリスト内のレプリカの 1 つをクリックするとトピックの概要ページが表示されます。
Overview タブ上のメトリクスカードをクリックすると、そのトピックのモニタリングデータの詳細が表示されます。
たとえば、プロデューサーメトリクスを表示するには Production をクリックします。
コンシューマーメトリクスを表示するには、Consumption をクリックします。
他のタブを使用してタブ間を移動することで、トピックの詳細を表示および管理します。たとえば、次のページにはレプリケートされたトピックに関連付けられた Messages が表示されます。
次のページには、トピックの構成が表示され、構成し直すためのオプションが提供されます。（詳細構成オプションを表示するには、Show full config をクリックします。）
トピックの基本構成を変更するには、Edit settings をクリックします。さらにオプションを表示するには、Switch to expert mode をクリックします。
送信元トピックとレプリケートされたトピックの両方について、提供されているモニタリングおよび構成のオプションは同じです。これらは個別に構成できます。たとえば、レプリケートされたトピックでは保持時間やサイズを小さくし、送信元トピックではこれらを同じままにすることができます。
Control Center 内でのトピック操作の詳細については、「トピックの管理」を参照してください。