Kafka Connect FileStream コネクター¶

重要

バージョン 6.2.1 以降、FileStream Sink Connector と Source Connector のアーティファクトは Kafka Connect から移動されました。FileStream のコネクターを実行するには、以下の例に示すように、plugin.path 構成プロパティに新しいパスを追加する必要があります。

plugin.path=/usr/local/share/kafka/plugins,/usr/share/filestream-connectors

Kafka Connect FileStream コネクターの例では、Apache Kafka® を初めて使用するユーザーに向けて、簡単なコネクターの実行方法について説明しています。

Confluent does not recommend the FileStream Connector for production use. If you want a production connector to read from files, use a Spool Dir connector.

以下の例には、ローカル環境において Kafka Connect によって実装されるエンドツーエンドのデータフローを示すために、ファイルソースとファイルシンクが両方含まれています。このコネクターの詳細については、開発者ガイドでもカスタムコネクターの実装方法として説明しています。

クイックスタート¶

FileStreamSourceConnector および FileStreamSinkConnector の使用方法を示す簡単なデモについては、 Kafka Connect クイックスタートガイドで参照できます。

FileSource コネクター¶

FileSource コネクターでは、ファイルからデータが読み込まれ、Apache Kafka® に送信されます。すべてのコネクターに共通の構成の他に、1 つの入力ファイル file と出力トピック topic のみプロパティとして受け取ります。構成の 1 つの例を以下に示します。

name=local-file-source
connector.class=FileStreamSource
tasks.max=1
file=/tmp/test.txt
topic=connect-test

このコネクターは、1 つのファイルのみを読み込み、そのファイル内のデータを Kafka に送信します。それ以降は、そのファイルに追加されたアップデートのみをモニタリングします。ファイルの行への変更は、Kafka に送信済みの場合、処理されません。

FileSink コネクター¶

FileSink コネクターでは、Kafka からデータが読み込まれ、ローカルファイルに出力されます。他のシンクコネクターと同様、複数のトピックを指定できます。FileSink コネクターでは、すべてのコネクターに共通の構成に加え、1 つのファイル file プロパティのみ受け取ります。構成の 1 つの例を以下に示します。

name=local-file-sink
connector.class=FileStreamSink
tasks.max=1
file=/tmp/test.sink.txt
topics=connect-test

メッセージは、構成で指定されたトピックに追加されるため、構成の指定に従いローカルファイルに生成されます。