Confluent Server への移行¶
Confluent Platform には、confluent-server
という商用コンポーネントが含まれています。これには、商用版の機能をサポートする Kafka ブローカー、Kafka Java クライアント、 Kafka Streams の概要、 Kafka Connect が含まれます。さらに、 Confluent LDAP Authorizer や ロールベースアクセス制御を使用した認可 などのセキュリティー機能用の専用プラグインも含まれます。Confluent Platform には、オープンソースの Apache 2.0 ライセンスコンポーネントである confluent-kafka
のバージョンも含まれています。confluent-community
パッケージと confluent-platform
パッケージは、どちらも confluent-kafka
に依存します。confluent-kafka
を confluent-server
パッケージに置き換えると、confluent-kafka
では利用できない商用版の機能を使用できます。パッケージの詳細については、「Confluent Platform パッケージ」を参照してください。
注釈
confluent-kafka
を使用して既にいくつかのパッケージをインストールしている場合は、confluent-server
をインストールする前にこのパッケージを削除する必要があります。yum autoremove
または apt autoremove
を実行し、以前のインストールで依存関係としてインストールされたパッケージを削除する必要がある場合があります。
以下のセクションの手順を使用して、confluent-kafka
から confluent-server
に移行できます。
重要
Confluent Platform パッケージにはデフォルトで Confluent Server が含まれており、server.properties
ファイルに confluent.license
キーが必要です。Confluent Platform 5.4.x 以降では、Confluent Server ブローカーは起動時にライセンスをチェックします。以下のように confluent.license
プロパティを使用して、各ブローカーのプロパティファイルにライセンスの文字列を指定する必要があります。
confluent.license=LICENCE_STRING_HERE_NO_QUOTES
Kafka ブローカーを使用する場合は、confluent-community
パッケージをダウンロードしてください。Kafka ブローカーは、すべての Debian、または RHEL および CentOS パッケージでデフォルトです。
Red Hat Enterprise Linux¶
クラスターが Red Hat Enterprise Linux(RHEL)にインストールされている場合、confluent-kafka
から confluent-server
に、または confluent-server
から confluent-kafka
に移行できます。
confluent-kafka から confluent-server への移行¶
Red Hat Enterprise Linux(RHEL)を使用している場合は、以下の手順を実行して confluent-server
に移行します。
cp-ansible を使用してクラスターをインストールします。これにより、デフォルトで
confluent-kafka
がインストールされます。クラスターを起動し、想定どおり動作していることを確認します。
各 Kafka ブローカーホストにログインして停止します。
sudo systemctl stop confluent-kafka
万一に備えて、以下の構成ファイルをバックアップしておきます。
sudo cp /etc/kafka/server.properties /tmp sudo cp /etc/systemd/system/confluent-kafka.service.d/override.conf /tmp
Kerberos を使用して実行している場合は、JAAS ファイルをバックアップする必要があります。
sudo cp /etc/kafka/kafka_server_jaas.conf /tmp
yum swap
を使用してconfluent-server
に変更します。yum swap confluent-kafka-2.12 confluent-server
Kafka ブローカー構成のバックアップをブローカー構成ディレクトリにコピーします。
sudo cp /tmp/server.properties /etc/kafka/
以下のコマンドを使用して、オーバーライドファイルをコピーします。
sudo cp /tmp/override.con /etc/systemd/system/confluent-server.service.d/
注釈
Kerberos を実行している場合は、次の手順を完了します。実行していない場合、次の手順はスキップしてください。
JAAS ファイルをブローカー構成ディレクトリにコピーします。
sudo cp /tmp/kafka_server_jaas.conf /etc/kafka/
Kafka ブローカーを起動します。
sudo systemctl start confluent-server
confluent-server から confluent-kafka への移行¶
Red Hat Enterprise Linux(RHEL)を使用している場合、confluent-server
から confluent-kafka
に戻すには、以下の手順を実行します。
各 Kafka ブローカーホストにログインして、ブローカーを停止します。
sudo systemctl stop confluent-server
万一に備えて、以下の構成ファイルをバックアップしておきます。
sudo cp /etc/kafka/server.properties /tmp sudo cp /etc/systemd/system/confluent-server.service.d/override.conf /tmp
Kerberos を使用して実行している場合は、JAAS ファイルをバックアップする必要があります。
sudo cp /etc/kafka/kafka_server_jaas.conf /tmp
yum swap
を使用してconfluent-kafka
に変更します。yum swap confluent-kafka-2.12 confluent-kafka
構成ファイルをブローカー構成ディレクトリにコピーします。
sudo cp /tmp/server.properties /etc/kafka/
注釈
Kerberos を実行している場合は、次の手順を完了します。実行していない場合、次の手順はスキップしてください。
JAAS ファイルをブローカー構成ディレクトリにコピーします。
sudo cp /tmp/kafka_server_jaas.conf /etc/kafka/
Kafka ブローカーを起動します。
sudo systemctl start confluent-kafka
Ubuntu¶
クラスターが Ubuntu にインストールされている場合、confluent-kafka
から confluent-server
に、または confluent-server
から confluent-kafka
に移行できます。
confluent-kafka から confluent-server への移行¶
Ubuntu を使用している場合は、以下の手順を実行して confluent-server
に移行します。
cp-ansible を使用してクラスターをインストールします。これにより、デフォルトで
confluent-kafka
がインストールされます。クラスターを起動し、想定どおり動作していることを確認します。
各 Kafka ブローカーホストにログインして停止します。
sudo systemctl stop confluent-kafka
万一に備えて、以下の構成ファイルをバックアップしておきます。
sudo cp /etc/kafka/server.properties /tmp sudo cp /etc/systemd/system/confluent-kafka.service.d/override.conf /tmp
Kerberos を使用して実行している場合は、JAAS ファイルをバックアップする必要があります。
sudo cp /etc/kafka/kafka_server_jaas.conf /tmp
Kafka ブローカーホストから
confluent-kafka
を削除します。sudo apt-get remove confluent-kafka-2.12
Kafka ブローカーホストに
confluent-server
をインストールします。sudo apt-get install confluent-server
デフォルトオプションを選択し、構成ファイルを所定の位置に保持します。誤ってファイルを置き換えた場合は、バックアップ構成ファイル(以前に作成済み)を復元します。
注釈
Kerberos を実行している場合は、次の手順を完了します。実行していない場合、次の手順はスキップしてください。
以下のコマンドを使用して、オーバーライドファイルをコピーします。
sudo cp /etc/systemd/system/confluent-kafka.service.d/override.conf /etc/systemd/system/confluent-server.service.d
Kafka ブローカーを起動します。
sudo systemctl start confluent-server
confluent-server から confluent-kafka への移行¶
Ubuntu を使用している場合に confluent-server
から confluent-kafka
に戻すには、以下の手順を実行します。
各 Kafka ブローカーホストにログインして停止します。
sudo systemctl stop confluent-server
万一に備えて、以下の構成ファイルをバックアップしておきます。
sudo cp /etc/kafka/server.properties /tmp sudo cp /etc/systemd/system/confluent-kafka.service.d/override.conf /tmp
Kerberos を使用して実行している場合は、JAAS ファイルをバックアップする必要があります。
sudo cp /etc/kafka/kafka_server_jaas.conf /tmp
Kafka ブローカーホストから
confluent-server
を削除します。sudo apt-get remove confluent-server
Kafka ブローカーホストに
confluent-kafka
をインストールします。sudo apt-get install confluent-kafka-2.12
デフォルトオプションを選択し、構成ファイルを所定の位置に保持します。誤ってファイルを置き換えた場合は、バックアップ構成ファイル(以前に作成済み)を復元します。
Kafka ブローカーを起動します。
sudo systemctl start confluent-kafka
5.2.x から 5.3.x へのアップグレード¶
confluent-kafka 5.2.x のみを使用している場合¶
現在 confluent-kafka
5.2.x を使用していて、LDAP 認証などの商用版の機能を使用していない場合は、通常の Confluent Platform のアップグレード プロセスを使用して confluent-kafka
をアップグレードできます。
confluent-kafka 5.2.x および confluent-security 5.2.x を使用している場合¶
重要
confluent-security
5.2.x は confluent-kafka
5.3.x と互換性がないため、confluent-kafka
をアップグレードするときは confluent-security
をアンインストールまたはアップグレードする必要があります。
confluent-security
5.2.x の既存の商用ライセンス取得済みの LDAP Authorizer を使用していて、5.3.x にアップグレードする場合は、LDAP Authorizer を含む confluent-server
をインストールする必要があります。まず、バージョン 5.2.x の confluent-kafka
と confluent-security
をアンインストールしてから、新しい confluent-server
パッケージをインストールする必要があります。これは、ローリングアップグレードとして一度に 1 台のサーバーで実行できます。
APT による Debian パッケージ
/etc/kafka
など、/etc
からすべての構成ファイルをバックアップします。ブローカーを停止し、既存のパッケージとその依存関係を削除します。
# stop the current kafka broker process sudo kafka-server-stop # uninstall existing 5.2.x confluent-kafka sudo apt-get remove confluent-kafka # uninstall existing 5.2.x confluent-security sudo apt-get remove confluent-security # To remove Confluent Platform and all its dependencies at once, run the following after stopping all services sudo apt-get autoremove confluent-platform
前のバージョンのリポジトリファイルを削除します。
sudo add-apt-repository -r "deb https://packages.confluent.io/deb/5.2 stable main"
6.1 リポジトリを
/etc/apt/sources.list
に追加します。sudo add-apt-repository "deb https://packages.confluent.io/deb/6.1 stable main"
リポジトリメタデータを更新します。
sudo apt-get update
confluent-server
をインストールします。(構成ファイルを変更した場合、競合を解決するよう apt からメッセージが表示されます。必ず元の構成を保持してください)。sudo apt-get install confluent-server
Kafka ブローカーを起動します。追加機能(例: RBAC)を使用していない場合、既存の
server.properties
ファイルを変更する必要はありません。kafka-server-start -daemon /etc/kafka/server.properties
Yum による RPM パッケージ
/etc/kafka
など、/etc
からすべての構成ファイルをバックアップします。ブローカーを停止し、既存のパッケージとその依存関係を削除します。
# stop the current kafka broker process sudo kafka-server-stop # uninstall existing 5.2.x confluent-kafka sudo yum remove confluent-kafka # uninstall existing 5.2.x confluent-security sudo yum remove confluent-security # To remove Confluent Platform and all its dependencies at once, run the following after stopping all services sudo yum autoremove confluent-platform
前のバージョンのリポジトリファイルを削除します。
sudo rm /etc/yum.repos.d/confluent.repo
6.1 リポジトリをディレクトリの
confluent-6.1.repo
という名前のファイルに追加します。[confluent-6.1] name=Confluent repository for 6.1.x packages baseurl=https://packages.confluent.io/rpm/6.1 gpgcheck=1 gpgkey=https://packages.confluent.io/rpm/6.1/archive.key enabled=1
リポジトリメタデータを更新します。
sudo yum clean all
confluent-server
をインストールします。yum は既存の構成ファイルをオーバーライドする可能性があるので、パッケージをインストールした後にバックアップから復元する必要があります。sudo yum install confluent-server
アップデートされた構成ファイルを復元し、Kafka ブローカーを開始します。追加機能(例: RBAC)を使用していない場合、既存の
server.properties
ファイルを変更する必要はありません。kafka-server-start -daemon /etc/kafka/server.properties
TAR または ZIP アーカイブ
Confluent Platform のアップグレード 手順に従って、TAR または ZIP アーカイブを使用してブローカーをアップグレードします。LDAP Authorizer などの商用版の機能を使用する場合は、confluent-6.1.5.tar.gz
または zip アーカイブ confluent-6.1.5.zip
を使用して Kafka をインストールします。
confluent-kafka のアップグレードと confluent-security の削除¶
現在、confluent-kafka
を confluent-security 5.2.x
の LDAP Authorizer とともに使用していても、商用ライセンスの confluent-server
パッケージにアップグレードする予定がない場合、confluent-kafka
をアップグレードして LDAP Authorizer なしで使用できます。「ACL を使用した認可」で説明されているように、組み込みの SimpleAclAuthorizer
を使用して ACL による認可を行うことができます。既存のすべての認可ルールが確実に適用されるように、グループベース ACL を同等のユーザーベース ACL に置き換える必要があります。confluent-kafka
をアップグレードする場合、confluent-security
を削除またはアップグレードする必要があります。