Connect

Control Center を使うことで、複数の Kafka Connect クラスターのコネクターを簡単に管理できます。Control Center を使用して以下の操作を行います。

Control Center では、Connect API を使用して、実行中のコネクターに関する情報を取得します。

Connect の詳細については、「Kafka Connect」を参照してください。コネクターの詳細については、「Kafka へのコネクター」を参照してください。

ちなみに

コネクターについて学習を始めようとしている場合は、本稼働環境ではない(ローカル)環境で Kafka Connect Filestream コネクター を試してください。「クイックスタート: Kafka Connect を使用した Kafka との間のデータ移動」の手順に従ってください。

Connect クラスター用に Control Center を構成する

Confluent CLI から confluent local services start コマンドを使用して Confluent Platform のローカルインストールを開始すると、connect-default という名前のデフォルトの Connect クラスターが作成されます。本稼働環境の独自の Connect クラスターと通信するように Control Center を構成するには、Control Center 構成ファイル(control-center.properties)内で confluent.controlcenter.connect.<connect-cluster-name>.cluster=<host>:<port> オプションを設定します。このオプションは Control Center をご使用の Connect クラスターに接続するために必要です。構成のプロパティに関する詳細な定義については、「Control Center 構成リファレンス」で Connect Confluent Control Center の 構成のプロパティ を参照してください。

複数の Kafka Connect クラスター

複数の Kafka Connect クラスターを管理するように Confluent Control Center を構成できます。たとえば、開発 Connect クラスターと生成 Connect クラスターを持っている場合、Control Center 構成プロパティファイル(control-center.properties)に confluent.controlcenter.connect.&lt;connect-cluster-name&gt;.cluster=&lt;host&gt; :&lt;port&gt; のリファレンスを 2 つ追加できます。一例を以下に示します。

############################# Control Center Settings #############################

...

# A comma separated list of Connect host names
confluent.controlcenter.connect.development.cluster=http://connect-dev:8083
confluent.controlcenter.connect.production.cluster=https://connect-prod:8443

...

構成のプロパティに関する詳細な定義については、「Control Center 構成リファレンス」で Connect Confluent Control Center の 構成のプロパティ を参照してください。

All Connect Clusters ページ

All Connect Clusters ページにはすべての Connect クラスターの概要が表示されます。

All Connect Clusters ページにアクセスするには、以下の手順に従います。

  • クラスターの Connect メニューをクリックします。
  • クラスターの Overview ページで Connect パネルをクリックします。

All Connect Clusters ページを使用して、以下の操作を行います。

  • Connect クラスターをクラスター名および ID で検索します。
  • 列のタイトルセルをクリックすることにより列をソートします。
  • Connectors ページ に移動します。
  • コネクターのステータス別に各 Connect クラスターの明細を表示します。

このページには、実行中、機能低下、障害、一時停止のコネクターの合計数が表示されます。

../_images/c3-all-connect-clusters-page.png

Connectors ページ

Connectors ページには Connect クラスター用に構成されているコネクターの概要が表示されます。

Connectors ページにアクセスするには、Connect クラスターの All Connect Clusters ページ で、Cluster name リンクをクリックします。

Connectors ページを使用して以下を行います。

../_images/c3-connectors-page.png

StatusNameCategoryTypeTopics (シンクコネクターのみ)、および Number of Tasks は、構成されているコネクターごとに表示されます。

注釈

コネクターの構成でタスクの数を減らす場合(例: 32 から 30 へ、または 36 から 12 へ)、以下のような Number of Tasks フィールドが表示されます。

../_images/c3-connector-number-of-tasks.png

コネクターの追加(非 RBAC 環境)

Follow these steps to configure a source or sink connector by completing the applicable UI fields. For details about connector settings common and unique to source and sink connectors, see Configuring Connectors. This procedure is applicable to a non-RBAC workflow. For an RBAC workflow, see コネクターの追加(RBAC 環境)).

重要

In the Confluent Platform 6.0 release, some connectors that were previously bundled with Confluent Platform are now available through the Confluent Hub. For details, see the page on Supported Connectors.

このワークフローで実行する手順(タブ)は 2 つあります。

  1. 接続をセットアップする。
  2. テストおよび検証を行う。

ちなみに

コネクター構成ファイルをアップロード して、コネクターを追加することもできます。

  1. ナビゲーションバーでクラスターを 1 つ選択し、Connect メニューをクリックします。All Connect Clusters ページ が開きます。

    ../_images/c3-all-connect-clusters-page.png
  2. Cluster name 列で、connect-default リンク(または、ご使用の Connect クラスターのリンク)をクリックします。Connectors ページ が開きます。

    ../_images/c3-no-connectors.png
  3. Click Add connector. The Browse page for selecting connectors opens. The connectors that initially appear in this page are bundled with Confluent Platform.

    ../_images/c3-connect-select-connector.png

    ちなみに

    Filter by type メニューで、Sources または Sinks を選択して、選択対象のコネクタータイプを絞り込みます。

    ../_images/c3-filter-source-sink.png
  4. 構成するコネクターのタイルをクリックします。Add Connector ページの 01 Setup Connection タブが表示されます。

    ../_images/c3-add-connector.png

    ちなみに

    コネクターの構成に使用できる多くのフィールドがあります。ショートカットパネルのリンクをクリックすると、セクションの 1 つに素早く移動できます。表示されるセクションは構成するコネクターによって異なります。

  5. コネクターに合わせてフィールドに入力します。必須フィールドにはアスタリスクが付いています。

  6. (省略可)追加する必要があるプロパティが他にもある場合は、Add a property をクリックします。プロパティ名を入力するための Additional Properties ダイアログが開きます。プロパティ名を入力してから、プロパティの値を入力します。

    ../_images/c3-connector-add-property.png

    Add a property リンク

    ../_images/c3-connector-add-prop-modal.png

    Add property ダイアログ

    ../_images/c3-connector-addl-props.png

    追加されるプロパティ

    ちなみに

    追加のプロパティを削除するには、ごみ箱アイコンをクリックします。この操作は元に戻すことができます。

  7. Continue をクリックします。02 Test and verify ページが開きます(RBAC 以外のワークフロー)。

    注釈

    RBAC ワークフローの場合は、02 Security ページが開きます。詳細については、「コネクターの追加(RBAC 環境)」を参照してください。

    ../_images/c3-connect-download-config-link.png
  8. (省略可) Download connector config file をクリックします。詳細については、「コネクター構成ファイルのダウンロード」を参照してください。

  9. 情報を確認し、Launch をクリックします。表示された情報が Connect REST API に送信されます。

    • 構成が正常に処理されると、 Connectors ページ のコネクターテーブルにコネクターが表示されます。緑色のバーはコネクターが実行中であることを示します。
    • 構成が失敗すると、Status 列に "Failed" と示されます。赤色のバーはコネクターが実行されていないことを示します。Name 列で、コネクターのリンクをクリックし、構成フィールドを編集します。必要に応じてこのプロセスを繰り返します。

コネクターの追加(RBAC 環境)

この手順に従って、RBAC が有効になっている場合に Control Center でコネクターを追加します。

重要

In the Confluent Platform 6.0 release, some connectors that were previously bundled with Confluent Platform are now available through the Confluent Hub. For details, see the page on Supported Connectors.

RBAC が有効になっている場合にコネクターを追加するには、通常 3 つの手順(タブ)を実行します。

  1. 接続をセットアップする
  2. セキュリティ(RBAC)を構成する
  3. テストおよび検証を行う

この手順に従うには、コネクター構成で標準の OAuthBearer SASL メカニズムを使用している必要があり、ワーカー構成にプリンシパルの認証情報が含まれていないことが必要です。これらの要件を満たさない場合は、この手順(02 Security ページ)をスキップしてください。

重要

ワーカー構成 で OAuthBearer SASL メカニズムを使用していない場合は、02 Security タブで Connector Username と Password のフィールドには入力しないでください。入力した場合、コネクター構成は機能しません。別の認証メカニズムを使用するようにコネクターを構成した場合は、Kafka クラスター上でそのメカニズムが有効になっている限り、構成は機能するはずです。

ちなみに

OAuthBearer SASL メカニズムを使用する場合は、ワーカーファイルから producer.sasl.jaas.configconsumer.sasl.jaas.config のプロパティを除外することをお勧めします。代わりに、producer.override.sasl.jaas.configconsumer.override.sasl.jaas.config のプロパティを使用して、コネクターごとに以下のプロパティを指定します。これらの構成をコネクター内に指定するには、Add Connector から 01 Setup Connection タブの Additional Properties のフィールドを使用します。プロパティを追加する操作については、プロパティを追加する手順 を参照してください。これらの追加のプロパティを指定する場合は、Add Connector ページの 02 Security タブで Connector Username と Password のフィールドに入力しないでください。Continue をクリックして 02 Security タブをスキップし、03 Test and Verify タブに直接進みます。

標準の RBAC 環境でコネクターを追加するには

RBAC 以外のワークフロー「コネクターの追加(非 RBAC 環境)」に記載されている、コネクターを追加するための手順に従います。ここでは、RBAC コネクターワークフローの 02 Security の手順について詳しく説明します。

  1. Control Center に ログイン します。

  2. コネクターの追加(非 RBAC 環境)」の手順 1 ~ 7 に従います。

  3. (省略可で条件付き)手順 02 Security ページで、認証情報を入力します。

    • Connector Username(principal.service.name
    • Connector Password(principal.service.password
    ../_images/c3-rbac-connector-step3-collapsed.png

    コネクターの追加に関する RBAC セキュリティワークフローのページ(ページが折りたたまれた状態)

    principal.service.name および principal.service.passwordproducer.override.sasl.jaas.config および consumer.override.sasl.jaas.config に変換されます。

  4. (省略可)これらの情報を入手していない場合は、How do I get these credentials? リンクをクリックします。ページが展開されます。

    ../_images/c3-rbac-connector-template-upper.png

    コネクターの追加に関する RBAC セキュリティワークフローのページ(ページの上部が展開された状態)

    ../_images/c3-rbac-connector-template-lower.png

    コネクターの追加に関する RBAC セキュリティワークフローのページ(ページの下部が展開された状態)

    1. ドキュメントのリンクなど、ページ上に提示された情報を確認します。

    2. Copy to Clipboard をクリックします。この情報を RBAC 管理者に送信して、管理者から必要な権限を付与してもらいます。

      ちなみに

      RBAC 管理者は CLI ではなく Control Center UI を使用してロールバインディングを作成することもできます。「Control Center を使用して RBAC ロールを管理する」を参照してください。

    3. RBAC 管理者から必要な情報を受け取ったら、認証情報を入力します。

  5. Continue をクリックします。03 Test and verify ページが開きます。

  6. 情報を確認し、Launch をクリックします。

コネクター構成ファイルのダウンロード

コネクターの追加 を行っているときにコネクター構成ファイルをダウンロードします。構成ファイルをダウンロードした後は、この構成ファイルを別の Connect クラスターにアップロードしたり、同じまたは別の Connect クラスター内にある別のコネクター用のテンプレートとして使用したりすることができます。

ダウンロードでサポートされているフォーマット:

  • .json ファイル
  • .properties ファイル
  1. ナビゲーションバーでクラスターを 1 つ選択し、Connect メニューをクリックします。All Connect Clusters ページ が開きます。

  2. Cluster name 列で、connect-default リンク(または、ご使用の Connect クラスターのリンク)をクリックします。Connectors ページ が開きます。

  3. Add connector をクリックします。「コネクターの追加」の説明に従ってフィールドに入力します。Test and verify ページに進みます。

    ../_images/c3-connect-download-config-link.png
  4. Download connector config file をクリックします。Download config file ダイアログが開きます。

    ../_images/c3-connector-download-config.png
  5. ダウンロードするファイルタイプに応じて Download .JSON または Download .properties をクリックします。

    ファイルは、ご使用のダウンロードディレクトリにダウンロードされます。ファイルのダウンロードが完了したら、x をクリックしてダウンロードダイアログを閉じます。

    JSON コネクター構成ファイルの例:

    {
     "name": "datagen-users",
     "connector.class": "io.confluent.kafka.connect.datagen.DatagenConnector",
     "key.converter": "org.apache.kafka.connect.storage.StringConverter",
     "kafka.topic": "users",
     "max.interval": "990",
     "iterations": "1000000000",
     "quickstart": "users"
    }
    

    プロパティコネクター構成ファイルの例:

    name = datagen-users
    connector.class = io.confluent.kafka.connect.datagen.DatagenConnector
    key.converter = org.apache.kafka.connect.storage.StringConverter
    kafka.topic = users
    max.interval = 990
    iterations = 1000000000
    quickstart = users
    
  6. Launch をクリックしてコネクターを起動します。

コネクター構成ファイルのアップロードによるコネクターの追加

コネクター構成ファイルをアップロードしてコネクターを追加します。コネクター構成ファイルは、コネクターを追加するときに Browse connectors ページからアップロードするか、Connectors ページ から直接アップロードすることができます。

アップロードでサポートされているフォーマット:

  • .json ファイル
  • .properties ファイル
  1. ナビゲーションバーでクラスターを 1 つ選択し、Connect メニューをクリックします。All Connect Clusters ページ が開きます。

  2. Cluster name 列で、connect-default リンク(または、ご使用の Connect クラスターのリンク)をクリックします。Connectors ページ が開きます。

    ../_images/c3-connect-upload-config-connectors.png

    Connectors ページからの構成のアップロード

  3. + Upload connector config file をクリックします。

  4. Downloads ディレクトリ(または構成を格納したディレクトリ)で、アップロードする構成ファイルを選択し、Open をクリックします。

    • Connector UI のフィールドには、構成ファイル内のエントリが入力されます。
    • エラーが表示された場合、必要に応じてファイルに有効な JSON があることを確認します。JSON ファイルまたはプロパティファイルに、コネクターのタイプに適した有効なプロパティが指定されていることを確認します。

コネクターの編集

構成に変更を加える前にコネクターを 一時停止 します。

  1. ナビゲーションバーでクラスターを 1 つ選択し、Connect メニューをクリックします。All Connect Clusters ページ が開きます。

  2. Cluster name 列で、connect-default リンク(または、ご使用の Connect クラスターのリンク)をクリックします。Connectors ページ が開きます。

  3. コネクターの Name 列をクリックします。

  4. Settings タブをクリックします。

    ../_images/c3-settings-tab.png

    ちなみに

    サマリーを表示するには Overview タブをクリックします。

  5. コネクターのフィールドに必要な変更を加えます。

    ちなみに

    フィールドの詳細を参照するにはフィールド情報(i)アイコンにマウスオーバーします。

    注釈

    コネクターのクラスおよび名前のフィールドはロックされていて変更できません。

  6. Continue をクリックします。

  7. (省略可) Download connector config file をクリックします。詳細については、「コネクター構成ファイルのダウンロード」を参照してください。

  8. 情報を確認し、Launch をクリックします。

実行中のコネクターの一時停止と再開

トラブルシューティングを行うか、構成に変更を加える必要がある場合は、実行中のコネクターを一時停止します。コネクターの一時停止または再開は、Overview ページまたは Settings ページから行うことができます。

Overview ページおよび Connectors ページでは、一時停止したコネクターの Connectors サマリーパネルと Status 列に Paused と表示されます。

../_images/c3-connect-paused-ov-page.png

一時停止されたコネクターの Overview ページ

../_images/c3-paused-status-connectors-page.png

一時停止されたコネクターの Connectors ページ

  1. コネクターの編集 を行います。Overview ページが開きます。
  2. Pause アイコンをクリックして実行中のコネクターを一時停止します。
  3. 再開(プレイ)アイコンをクリックしてコネクターが再度実行できるようにします。

ちなみに

コネクターの編集中 にごみ箱アイコンをクリックして、コネクターを削除 することもできます。コネクターの削除を確認するよう求められます。

コネクターの削除

不要になったコネクターを削除します。削除する前にコネクターを 一時停止 できます。コネクターを削除すると、そのコネクターが実行されていた場合、コネクターは停止されます。

コネクターの削除は、Overview ページまたは Settings ページから行うことができます。

  1. ナビゲーションバーでクラスターを 1 つ選択し、Connect メニューをクリックします。All Connect Clusters ページ が開きます。
  2. Cluster name 列で、connect-default リンクをクリックします。Connectors ページ が開きます。
  3. コネクターの Name 列をクリックします。Overview ページが開きます。
  4. ごみ箱アイコンをクリックします。削除の確認が要求されます。
  5. Confirm をクリックします。