Kafka Connect FileStream コネクター¶
重要
バージョン 6.2.1 以降、FileStream Sink Connector と Source Connector のアーティファクトは Kafka Connect から移動されました。FileStream のコネクターを実行するには、以下の例に示すように、plugin.path
構成プロパティに新しいパスを追加する必要があります。
plugin.path=/usr/local/share/kafka/plugins,/usr/share/filestream-connectors
Kafka Connect FileStream コネクターの例では、Apache Kafka® を初めて使用するユーザーに向けて、簡単なコネクターの実行方法について説明しています。
Confluent では、本稼働環境での FileStream コネクターの使用を推奨していません。ファイルの読み書きに使用する本稼働環境用コネクターが必要な場合は、Spool Dir コネクター を使用します。
以下の例には、ローカル環境において Kafka Connect によって実装されるエンドツーエンドのデータフローを示すために、ファイルソースとファイルシンクが両方含まれています。このコネクターの詳細については、開発者ガイド でもカスタムコネクターの実装方法として説明しています。
クイックスタート¶
FileStreamSourceConnector および FileStreamSinkConnector の使用方法を示す簡単なデモについては、 Kafka Connect クイックスタートガイド で参照できます。
FileSource コネクター¶
FileSource コネクターでは、ファイルからデータが読み込まれ、Apache Kafka® に送信されます。すべてのコネクターに共通の構成 の他に、1 つの入力ファイル file
と出力トピック topic
のみプロパティとして受け取ります。構成の 1 つの例を以下に示します。
name=local-file-source
connector.class=FileStreamSource
tasks.max=1
file=/tmp/test.txt
topic=connect-test
このコネクターは、1 つのファイルのみを読み込み、そのファイル内のデータを Kafka に送信します。それ以降は、そのファイルに追加されたアップデートのみをモニタリングします。ファイルの行への変更は、Kafka に送信済みの場合、処理されません。
FileSink コネクター¶
FileSink コネクターでは、Kafka からデータが読み込まれ、ローカルファイルに出力されます。他のシンクコネクターと同様、複数のトピックを指定できます。FileSink コネクターでは、 すべてのコネクターに共通の構成 に加え、1 つのファイル file
プロパティのみ受け取ります。構成の 1 つの例を以下に示します。
name=local-file-sink
connector.class=FileStreamSink
tasks.max=1
file=/tmp/test.sink.txt
topics=connect-test
メッセージは、構成で指定されたトピックに追加されるため、構成の指定に従いローカルファイルに生成されます。