セルフマネージド型コネクターの構成¶
コネクターは、キーと値をマッピングすることで構成します。スタンドアロンモードでは、構成はプロパティファイルで定義し、コマンドラインにより Connect プロセスに渡します。分散モードでは、構成は、コネクターの作成(または変更)をリクエストするために REST API を使用して送信される JSON ペイロードに含まれています。スタンドアロンモードと分散モードのどちらでデプロイするかを決定する際には、「スタートガイド 」に記載された推奨方法が参考になります。スタンドアロンモードでも分散モードでも、 Confluent Control Center を使用してコネクターを構成できます。これには、コネクターの構成をアップデートするためのグラフィカルなインターフェイスが用意されています。構成の多くはコネクターによって異なりますが、すべてのコネクターに共通の設定もあります。
name
- コネクターの一意の名前。同じ名前で再登録しようとすると、失敗します。connector.class
- コネクターの Java クラス。tasks.max
- このコネクターに対して作成する必要があるタスクの最大数。コネクターがこの並列処理レベルを達成できない場合、作成されるタスクが少なくなることがあります。key.converter
-(省略可)ワーカーにより設定されたデフォルトのキーコンバータークラスをオーバーライドします。value.converter
-(省略可)ワーカーにより設定されたデフォルトの値コンバータークラスをオーバーライドします。
キーコンバーターおよび値コンバーターに構成パラメーターを渡すには、デフォルトコンバーターを定義する際にワーカー構成に設定したように、それらのパラメーターの前に key.converter.
または value.converter.
を追加して指定します。これらは、対応するコンバーター構成が key.converter
プロパティまたは value.converter
プロパティで指定されている場合のみ使用できます。
注釈
コンバーターの詳細については、「キーコンバーターと値コンバーターの構成」を参照してください。プロデューサーとコンシューマーの設定については、「Connect プロデューサーおよびコンシューマー」を参照してください。
これらのパラメーターは、対応するコンバーター構成がコネクター構成で指定されていない場合には使用できません。詳細については、「スタートガイド 」を参照してください。
スタンドアロンの例¶
FileSinkConnector をサポートする場合のスタンドアロンコネクター構成の例を以下に示します。共通構成の name
、connector.class
、tasks.max
、topics
と、FileStreamSinkConnector 専用の構成である file
が指定されています。これらの構成を含むファイルは、「スタートガイド 」の説明に従って追加する必要があります。
name=local-file-sink
connector.class=FileStreamSinkConnector
tasks.max=1
file=test.sink.txt
topics=connect-test
分散化した例¶
分散モードでは、ワーカーで実行されるコネクターを管理するために REST API を使用できます。スタンドアロンモードの例と同様に、FileSinkConnector を作成する例を以下に示します。URL に localhost が指定されていることに注意してください。これは、curl コマンドが実行されるのと同じホストで Connect ワーカーが起動されたことを示しています。分散モードでワーカーを起動する手順については、「スタートガイド 」を参照してください。
curl -X POST -H "Content-Type: application/json" --data '{"name": "local-file-sink", "config": {"connector.class":"FileStreamSinkConnector", "tasks.max":"1", "file":"test.sink.txt", "topics":"connect-test" }}' http://localhost:8083/connectors
# Or, to use a file containing the JSON-formatted configuration
# curl -X POST -H "Content-Type: application/json" --data @config.json http://localhost:8083/connectors
コネクターを作成するには、ワーカーを起動してから、上記のようにコネクターを作成する REST リクエストを実行します。他の多くのシステムとは異なり、Kafka Connect ではすべてのノードが、コネクターの作成、一覧表示、変更、破棄などの REST リクエストに応答できます(詳細については、 REST API セクションを参照)。
Confluent Platform ライセンス¶
Confluent の商用コネクターには、 エンタープライズ、開発、または 30 日間の試用ライセンス が必要です。Confluent Platform の 6.0 より前のバージョンでは、コネクター構成ごとにライセンス関連のプロパティを複数設定する必要がありました。これは Confluent Platform バージョン 6.0 以降でも引き続き設定可能です。ただし、Confluent Platform バージョン 6.0 以降では、ライセンス関連のすべての必須プロパティを各コネクターの構成ではなく Connect ワーカーの構成に入力することができます。詳細については、「ライセンス 」を参照してください。