コミュニティコネクターの手動インストール¶
このトピックでは、Confluent Hub から提供されていないコミュニティコネクターのインストール方法について説明します。Confluent Hub のコネクターが使用できない場合は、はじめに JAR を入手またはビルドしてから、Apache Kafka® インストールにコネクターをインストールする必要があります。
重要
Confluent Hub には、企業やオープンソース組織、個人が開発した多くの一般的なコネクターがホストされています。Confluent Hub のコネクターが使用できる場合は、このトピックはスキップできます。
次の例では、HDFS Sink Connector を手動でインストールします。
コネクターの GitHub リポジトリを複製します。
git clone https://github.com/confluentinc/kafka-connect-hdfs.git
複製したリポジトリに移動し、必要なバージョンをチェックアウトし、Maven を使用して JAR をビルドします。一般的にはリリース済みのバージョンをチェックアウトする必要があります。この例では
v3.0.1
リリースタグを使用します。cd kafka-connect-hdfs; git checkout v3.0.1; mvn package
コネクターの Uber JAR またはプラグインディレクトリ を見つけて、それを Kafka Connect ワーカーの プラグインパス 内にあるディレクトリの 1 つにコピーします。たとえば、プラグインパスに
/usr/local/share/kafka/plugins
ディレクトリが含まれている場合は、以下のいずれかの方法を使用すれば、コネクターをプラグインとして利用できます。コネクターが、
kafka-connect-hdfs-3.0.1-package.jar
という Uber JAR ファイルとして作成されたら、そのファイルを/usr/local/share/kafka/plugins
ディレクトリにコピーします。cp target/kafka-connect-hdfs-3.0.1-package/share/java/kafka-connect-hdfs/kafka-connect-hdfs-3.0.1-package.jar /usr/local/share/kafka/plugins/
または、コネクターの JAR が、ビルドの
target
ディレクトリの 1 つにまとめて入っている場合は、それらすべての JAR を/usr/local/share/kafka/plugins
内のプラグインディレクトリにコピーします。mkdir -p /usr/local/share/kafka/plugins/kafka-connect-hdfs cp target/kafka-connect-hdfs-3.0.1-package/share/java/kafka-connect-hdfs/* /usr/local/share/kafka/plugins/kafka-connect-hdfs/
Kafka Connect 分散ワーカープロセスを実行している場合は、これらの手順をすべてのマシンで繰り返す必要があります。Kafka Connect によりコネクタータスクが任意のワーカーに分配されるため、すべてのワーカーでコネクターを有効にする必要があります。