データストリームのモニタリング(非推奨のビュー)

ストリームモニタリングを使用すると、生成および消費されたメッセージ数の経時的な推移を参照して、この 2 つの統計情報の差異を確認できます。生成後にメッセージが消費されるまでの期間に関する統計情報も提供されます。

注釈

このビューは非推奨であり、Confluent Platform 5.3 以降のバージョンではデフォルトで使用できません。これを再度有効にするには、適切な control-center.properties ファイル内で confluent.controlcenter.deprecated.views.enable=true を設定します。以前のビューを戻す場合、RBAC を Control Center 内で有効にできません。以前のビューは RBAC が有効になっている環境では表示できないためです。このビュー内に提示される情報は、RBAC が有効化された状態で、再設計された現在の GUI のさまざまな場所でも利用可能です。最新のモニタリングおよびシステム正常性情報については、「1 つのコンシューマーグループについて消費の詳細を表示する」および「ブローカー」を参照してください。

重要

このビューは Confluent Platform 5.3 以降では非推奨ですが、消費モニタリングの非推奨ではないビューを使用するには、引き続き Confluent Monitoring Interceptor を正しくセットアップする必要があります。Monitoring Interceptor は従来のストリームモニタリングのページのためにも必要です。詳細については、「Confluent Monitoring Interceptor」を参照してください。

チャートの種類

チャートの種類には、メッセージデリバリーとレイテンシがあります。メッセージデリバリーは、想定される消費と実際の消費のカウントの比較です。レイテンシは、生成後にメッセージが消費されるまでにかかった時間に関する統計分析です。

これらのチャートは常に一緒に提示され、メッセージデリバリーチャートが上部に、レイテンシが下部に表示されます。

チャート上に示されているすべての時間は、 メッセージが送信された時間 に関連しています。具体的には、Apache Kafka® メッセージに組み込まれているタイムスタンプであり、メッセージの生成時に追加されます。デフォルトでは、これらのタイムスタンプは Kafka クライアントによって生成されますが、アプリケーションによってオーバーライドできます。これらのタイムスタンプの詳細については、「アーキテクチャ」を参照してください。

チャートによって提示されるすべてのデータは、ビニングされた値です。ビンサイズは特定の時点で表示されるすべてのチャート全体で揃えられており、メッセージデリバリーチャートの凡例に注記されています(上記チャートでは、ビンサイズは 15 秒です)。ビンサイズは、データおよびディスプレイに最も一致するように動的に選択されます。影響を与える要素としては、チャートの範囲、ブラウザーウィンドウのサイズ、画面の解像度があります。

デリバリーチャートには、各タイムビンに消費されると想定されるメッセージの数がステップチャートとして表示され、実際に消費されたメッセージの数が面グラフとして表示されます。

注釈

前述したように、特定のタイムビンに関連付けられているメッセージは、対応する時間範囲に 生成 されたメッセージです。メッセージが消費された時間は、メッセージとタイムビンの関連付けには影響しません。

想定される "消費の線" と "消費" を示す面積の間の隔たりは、生成されたメッセージの一部がこのトピックから読み取っているコンシューマーグループによってまだ消費されていないことを示します。通常は、リアルタイムに近い時間位置では、想定と実際の消費の量に隔たりがあり、時間が経つにつれて隔たりが小さくなります(メッセージがパイプラインを通って処理されるまで多少の時間がかかります)。リアルタイムから 1 分以上経過しても隔たりが続いている場合、 Control Center ではこの隔たりを 赤色 で強調表示して目に止まりやすくします。

想定を超える数のメッセージが消費されることもあります(これが発生するのはコンシューマー障害の場合です)。この場合は、影響を受けるタイムビンで面グラフが線グラフを上回り、チャート上の対応する面も 赤色 で強調表示されます。

../_images/c3consumptiondiff.png

消費の不足および超過の両方を示す例

レイテンシチャートには、各期間の間に送信されたメッセージの最小レイテンシ、平均レイテンシ、最大レイテンシが表示されます。レイテンシの計算方法の詳細については、「アーキテクチャ」を参照してください。

ページレイアウト

ストリームモニタリングページは 2 つのセクションに分割されています。上のセクション(集約ビュー)にはすべてのメッセージの特定のサブセットが視覚化され、下のセクション(詳細ビュー)にはこのサブセットのパーティショニングが表示されます。使用可能なビューは以下のとおりです。

以下の基準でグループ化されたすべてのメッセージ:
  1. コンシューマーグループ、または
  2. トピック
以下の基準でグループ化された特定のコンシューマーグループ:
  1. コンシューマー、または
  2. トピックおよびパーティション
以下の基準でグループ化された特定のコンシューマー:
  1. トピックおよびパーティション

注釈

1 つのコンシューマーグループが複数のトピックから読み取ることがあるため、特定のコンシューマーグループまたはコンシューマーの詳細ビューは、複数のトピックのトピックおよびパーティションで構成されることがあります。

特定の単一ページに表示されるすべてのチャートには、同一の時間範囲に対応する情報が表示されます。任意のチャートにマウスオーバーすると、すべてのチャート全体で現在カーソルがあるタイムビンに関連する情報が表示されます。これにより、すべてのチャート全体でメトリクスを簡単に比較できます。

時間範囲の選択

現在の時間範囲(任意のいずれの時点でも画面上のすべてのチャートに関連する時間範囲)が、ページ右上のボタン内に表示されます。このボタンをクリックすると、時間範囲セレクターが表示されます。このセレクターを使用することにより、3 種類の時間範囲から 1 つを選択できます。

  1. Static: 一定の開始および終了時間を持つ特定の時間範囲です。
  2. Rolling: 終了時間が現在時間と常に等しく、時間範囲の大きさが一定に維持される時間範囲です。
  3. Growing: 終了時間が現在時間と常に等しく、開始時間が一定に維持される時間範囲です。

要約統計情報

現在表示されている期間の集約ビューデータを要約した統計情報が、画面の右上近くに表示されます。

../_images/c3summarystats.png

平均レイテンシは、表示されているすべてのタイムビンの間における平均レイテンシの加重平均(消費数による重み付け)です。

全体的な完了数は、表示されているすべてのタイムビンの間における実際の完了数の合計を、表示されているすべてのタイムビンの間における想定される完了数の合計に対するパーセンテージで表したものです。この値は消費超過の場合に 100% を超えることがあります。

リアルタイムから相当遅れている消費不足がある場合(現在はリアルタイムから 1 分の遅れに固定、直近のビンサイズに切り上げ)、全体的な消費数の値の横に赤色のピンを表示して強調されます。

注釈

赤色のピンが表示されるとともに、全体的な消費の値が 100% を超えるというケースがあり得ます。この場合、消費の超過と不足が異なるタイムビンで起きており、消費の超過が不足よりも多くなっています。

メトリクスデータの欠落

アプリケーションによって送信された、失われたメッセージや重複するメッセージは、メッセージデリバリーチャートで、想定と実際の消費の値における差異として確認できます。

Confluent Metrics Interceptor によって送信されたメッセージが失われるか重複することもあります。これが発生した場合は、軸に ヘリンボーンパターン を表示し影響を受ける時間範囲を強調します。インターセプターデータが失われた場合、Control Center では、ご使用のアプリケーションのメッセージが失われたり、遅延、重複が発生したりしているかどうかを判別できません。(失われた可能性もあれば、失われていない可能性もあります。)

シナリオ例

ストリームモニタリングで出現することのある一般的ないくつかの運用シナリオをこのセクションで説明します。

新しいコンシューマーグループの追加

新しいコンシューマーグループが 1 つ以上のトピックからのメッセージの読み取りを開始すると、新しいコンシューマーグループとこれを構成するコンシューマーに対応する新しいページがストリームモニタリングで使用できるようになります。該当する場合は、この新しいグループに対応する情報が、他の集約にも組み込まれ始めます。

以下の 2 点について以降で詳しく説明します。

  1. 既存のメッセージの消費に関連するレイテンシ
  2. 既存の集約での想定される消費の変化

レイテンシ

前述のように、レイテンシは、メッセージが消費された時刻とメッセージが生成された時点でメッセージに関連付けられたタイムスタンプの差異として測定されます。

新しいコンシューマーグループが、このグループの作成よりも前に生成されたメッセージ(通常はトピック上で使用可能な最初のメッセージ)を読み取るように構成されている場合、メッセージは相当前に生成された可能性があるため、これらの初期のメッセージに関連するレイテンシは非常に大きくなる可能性があります。また、レイテンシは、オフセットに従って小さくなります。これは、オフセットの大きいメッセージほど、通常、タイムスタンプが最近であるためです。

これらの要因により、新しいコンシューマーグループに属するコンシューマーのレイテンシチャートでは、下降トライアングルパターンが発生します。

../_images/c3oldmessagelatency.png

古いメッセージを消費する新しいコンシューマーグループを開始した後のレイテンシ

新しいコンシューマーを含むあらゆる集約(すべてのメッセージ および関連する トピック 集約)のレイテンシも影響を受けます。デリバリーレイテンシが非常に大きい場合、このレイテンシが既存の集約のレイテンシを決定づけることが多く、これらの集約にも下降トライアングルパターンが発生します。

想定される消費

さまざまな集約の種類に応じて、特定のタイムバケットの期間に渡る 想定される消費 は以下のように計算されます。

  • コンシューマー: コンシューマーがタイムバケットの期間内に読み取った、任意のトピックおよびパーティションに生成されたメッセージの総数。
  • コンシューマーグループ: コンシューマーグループがタイムバケットの期間内に読み取った、任意のトピックおよびパーティションに生成されたメッセージの総数。
  • トピックおよびパーティション: タイムバケットの期間内にトピックおよびパーティションに生成されたメッセージの総数。注: この集約は常にコンシューマーごとに表示されます。
  • トピック: タイムバケットの期間内にトピックに生成されたメッセージの総数と、このタイムバケットの期間に対応する、このトピックからメッセージを読み取ったコンシューマーグループの数の乗算。
  • すべてのメッセージ: すべての "コンシューマーグループ" 集約の集約。すべての "トピック" 集約の集約にも該当します。この 2 つは同一です。

新しいコンシューマーグループが作成されて 1 つ以上のトピックからのメッセージの読み取りを開始すると、関連するすべての トピック の想定される消費集約に影響するため、すべてのメッセージ の想定される消費集約に影響します。

2 つのコンシューマーグループが単一の特定のトピックから読み取っていたとします。午後 12:46 頃、新しいコンシューマーグループが開始されて、同じトピックからの読み取りを開始しました(auto.offset.reset プロパティは latest に設定)。新しいコンシューマーグループが開始される前は、このトピックからの想定される消費は、このトピックに生成されるメッセージ数の 2 倍です。新しいコンシューマーグループが開始された後は、このトピックからの想定される消費は、このトピックに生成されるメッセージ数の 3 倍です。

通常、コンシューマーが読み取る最初のメッセージのタイムスタンプは、タイムバケットの期間と整合していません。これが原因で、Control Center は新しいコンシューマーグループの開始後の最初のタイムバケットに消費不足を表示します。これは、想定される消費は、この期間で生成されたメッセージの合計数に、この期間に生成された いずれか のメッセージを読み取ったコンシューマーグループの数を乗算して計算されるためです。

注釈

Control Center では、上記のシナリオと、予期しない消費不足のあるエラーシナリオを区別できません。このため、コンシューマーグループのスタートアップに関連する消費不足は、通常の運用シナリオではあっても赤色で強調表示されます。