Confluent Server への移行

Confluent Platform には、confluent-server という商用コンポーネントが含まれています。これには、商用版の機能をサポートする Kafka ブローカー、Kafka Java クライアント、 Kafka Streams の概要Kafka Connect が含まれます。さらに、 Confluent LDAP Authorizerロールベースアクセス制御を使用した認可 などのセキュリティー機能用の専用プラグインも含まれます。Confluent Platform には、オープンソースの Apache 2.0 ライセンスコンポーネントである confluent-kafka のバージョンも含まれています。confluent-community パッケージと confluent-platform パッケージは、どちらも confluent-kafka に依存します。confluent-kafkaconfluent-server パッケージに置き換えると、confluent-kafka では利用できない商用版の機能を使用できます。パッケージの詳細については、「Confluent Platform パッケージ」を参照してください。

注釈

confluent-kafka を使用して既にいくつかのパッケージをインストールしている場合は、confluent-server をインストールする前にこのパッケージを削除する必要があります。yum autoremove または apt autoremove を実行し、以前のインストールで依存関係としてインストールされたパッケージを削除する必要がある場合があります。

以下のセクションの手順を使用して、confluent-kafka から confluent-server に移行できます。

重要

Confluent Platform パッケージにはデフォルトで Confluent Server が含まれており、server.properties ファイルに confluent.license キーが必要です。Confluent Platform 5.4.x 以降では、Confluent Server ブローカーは起動時にライセンスをチェックします。以下のように confluent.license プロパティを使用して、各ブローカーのプロパティファイルにライセンスの文字列を指定する必要があります。

confluent.license=LICENCE_STRING_HERE_NO_QUOTES

Kafka ブローカーを使用する場合は、confluent-community パッケージをダウンロードしてください。Kafka ブローカーは、すべての Debian、または RHEL および CentOS パッケージでデフォルトです。

Red Hat Enterprise Linux

クラスターが Red Hat Enterprise Linux(RHEL)にインストールされている場合、confluent-kafka から confluent-server に、または confluent-server から confluent-kafka に移行できます。

confluent-kafka から confluent-server への移行

Red Hat Enterprise Linux(RHEL)を使用している場合は、以下の手順を実行して confluent-server に移行します。

  1. cp-ansible を使用してクラスターをインストールします。これにより、デフォルトで confluent-kafka がインストールされます。

  2. クラスターを起動し、想定どおり動作していることを確認します。

  3. 各 Kafka ブローカーホストにログインして停止します。

    sudo systemctl stop confluent-kafka
    
  4. 万一に備えて、以下の構成ファイルをバックアップしておきます。

    sudo cp /etc/kafka/server.properties /tmp
    sudo cp /etc/systemd/system/confluent-kafka.service.d/override.conf /tmp
    

    Kerberos を使用して実行している場合は、JAAS ファイルをバックアップする必要があります。

    sudo cp /etc/kafka/kafka_server_jaas.conf /tmp
    
  5. yum swap を使用して confluent-server に変更します。

    yum swap confluent-kafka-2.12 confluent-server
    
  6. Kafka ブローカー構成のバックアップをブローカー構成ディレクトリにコピーします。

    sudo cp /tmp/server.properties /etc/kafka/
    
  7. 以下のコマンドを使用して、オーバーライドファイルをコピーします。

    sudo cp /tmp/override.con /etc/systemd/system/confluent-server.service.d/
    

    注釈

    Kerberos を実行している場合は、次の手順を完了します。実行していない場合、次の手順はスキップしてください。

  8. JAAS ファイルをブローカー構成ディレクトリにコピーします。

    sudo cp /tmp/kafka_server_jaas.conf /etc/kafka/
    
  9. Kafka ブローカーを起動します。

    sudo systemctl start confluent-server
    

confluent-server から confluent-kafka への移行

Red Hat Enterprise Linux(RHEL)を使用している場合、confluent-server から confluent-kafka に戻すには、以下の手順を実行します。

  1. 各 Kafka ブローカーホストにログインして、ブローカーを停止します。

    sudo systemctl stop confluent-server
    
  2. 万一に備えて、以下の構成ファイルをバックアップしておきます。

    sudo cp /etc/kafka/server.properties /tmp
    sudo cp /etc/systemd/system/confluent-server.service.d/override.conf /tmp
    

    Kerberos を使用して実行している場合は、JAAS ファイルをバックアップする必要があります。

    sudo cp /etc/kafka/kafka_server_jaas.conf /tmp
    
  3. yum swap を使用して confluent-kafka に変更します。

    yum swap confluent-kafka-2.12 confluent-kafka
    
  4. 構成ファイルをブローカー構成ディレクトリにコピーします。

    sudo cp /tmp/server.properties /etc/kafka/
    

    注釈

    Kerberos を実行している場合は、次の手順を完了します。実行していない場合、次の手順はスキップしてください。

  5. JAAS ファイルをブローカー構成ディレクトリにコピーします。

    sudo cp /tmp/kafka_server_jaas.conf /etc/kafka/
    
  6. Kafka ブローカーを起動します。

    sudo systemctl start confluent-kafka
    

Ubuntu

クラスターが Ubuntu にインストールされている場合、confluent-kafka から confluent-server に、または confluent-server から confluent-kafka に移行できます。

confluent-kafka から confluent-server への移行

Ubuntu を使用している場合は、以下の手順を実行して confluent-server に移行します。

  1. cp-ansible を使用してクラスターをインストールします。これにより、デフォルトで confluent-kafka がインストールされます。

  2. クラスターを起動し、想定どおり動作していることを確認します。

  3. 各 Kafka ブローカーホストにログインして停止します。

    sudo systemctl stop confluent-kafka
    
  4. 万一に備えて、以下の構成ファイルをバックアップしておきます。

    sudo cp /etc/kafka/server.properties /tmp
    sudo cp /etc/systemd/system/confluent-kafka.service.d/override.conf /tmp
    

    Kerberos を使用して実行している場合は、JAAS ファイルをバックアップする必要があります。

    sudo cp /etc/kafka/kafka_server_jaas.conf /tmp
    
  5. Kafka ブローカーホストから confluent-kafka を削除します。

    sudo apt-get remove confluent-kafka-2.12
    
  6. Kafka ブローカーホストに confluent-server をインストールします。

    sudo apt-get install confluent-server
    
  7. デフォルトオプションを選択し、構成ファイルを所定の位置に保持します。誤ってファイルを置き換えた場合は、バックアップ構成ファイル(以前に作成済み)を復元します。

    注釈

    Kerberos を実行している場合は、次の手順を完了します。実行していない場合、次の手順はスキップしてください。

  8. 以下のコマンドを使用して、オーバーライドファイルをコピーします。

    sudo cp /etc/systemd/system/confluent-kafka.service.d/override.conf
    /etc/systemd/system/confluent-server.service.d
    
  9. Kafka ブローカーを起動します。

    sudo systemctl start confluent-server
    

confluent-server から confluent-kafka への移行

Ubuntu を使用している場合に confluent-server から confluent-kafka に戻すには、以下の手順を実行します。

  1. 各 Kafka ブローカーホストにログインして停止します。

    sudo systemctl stop confluent-server
    
  2. 万一に備えて、以下の構成ファイルをバックアップしておきます。

    sudo cp /etc/kafka/server.properties /tmp
    sudo cp /etc/systemd/system/confluent-kafka.service.d/override.conf /tmp
    

    Kerberos を使用して実行している場合は、JAAS ファイルをバックアップする必要があります。

    sudo cp /etc/kafka/kafka_server_jaas.conf /tmp
    
  3. Kafka ブローカーホストから confluent-server を削除します。

    sudo apt-get remove confluent-server
    
  4. Kafka ブローカーホストに confluent-kafka をインストールします。

    sudo apt-get install confluent-kafka-2.12
    
  5. デフォルトオプションを選択し、構成ファイルを所定の位置に保持します。誤ってファイルを置き換えた場合は、バックアップ構成ファイル(以前に作成済み)を復元します。

  6. Kafka ブローカーを起動します。

    sudo systemctl start confluent-kafka
    

5.2.x から 5.3.x へのアップグレード

confluent-kafka 5.2.x のみを使用している場合

現在 confluent-kafka 5.2.x を使用していて、LDAP 認証などの商用版の機能を使用していない場合は、通常の Confluent Platform のアップグレード プロセスを使用して confluent-kafka をアップグレードできます。

confluent-kafka 5.2.x および confluent-security 5.2.x を使用している場合

重要

confluent-security 5.2.x は confluent-kafka 5.3.x と互換性がないため、confluent-kafka をアップグレードするときは confluent-security をアンインストールまたはアップグレードする必要があります。

confluent-security 5.2.x の既存の商用ライセンス取得済みの LDAP Authorizer を使用していて、5.3.x にアップグレードする場合は、LDAP Authorizer を含む confluent-server をインストールする必要があります。まず、バージョン 5.2.x の confluent-kafkaconfluent-security をアンインストールしてから、新しい confluent-server パッケージをインストールする必要があります。これは、ローリングアップグレードとして一度に 1 台のサーバーで実行できます。

APT による Debian パッケージ

  1. /etc/kafka など、/etc からすべての構成ファイルをバックアップします。

  2. ブローカーを停止し、既存のパッケージとその依存関係を削除します。

    # stop the current kafka broker process
      sudo kafka-server-stop
    
    # uninstall existing 5.2.x confluent-kafka
      sudo apt-get remove confluent-kafka
    
    # uninstall existing 5.2.x confluent-security
      sudo apt-get remove confluent-security
    
    # To remove Confluent Platform and all its dependencies at once, run the following after stopping all services
      sudo apt-get autoremove confluent-platform
    
  3. 前のバージョンのリポジトリファイルを削除します。

    sudo add-apt-repository -r "deb https://packages.confluent.io/deb/5.2 stable main"
    
  4. 6.2 リポジトリを /etc/apt/sources.list に追加します。

    sudo add-apt-repository "deb https://packages.confluent.io/deb/6.2 stable main"
    
  5. リポジトリメタデータを更新します。

    sudo apt-get update
    
  6. confluent-server をインストールします。(構成ファイルを変更した場合、競合を解決するよう apt からメッセージが表示されます。必ず元の構成を保持してください)。

    sudo apt-get install confluent-server
    
  7. Kafka ブローカーを起動します。追加機能(例: RBAC)を使用していない場合、既存の server.properties ファイルを変更する必要はありません。

    kafka-server-start -daemon /etc/kafka/server.properties
    

Yum による RPM パッケージ

  1. /etc/kafka など、/etc からすべての構成ファイルをバックアップします。

  2. ブローカーを停止し、既存のパッケージとその依存関係を削除します。

    # stop the current kafka broker process
      sudo kafka-server-stop
    
    # uninstall existing 5.2.x confluent-kafka
      sudo yum remove confluent-kafka
    
    # uninstall existing 5.2.x confluent-security
      sudo yum remove confluent-security
    
    # To remove Confluent Platform and all its dependencies at once, run the following after stopping all services
      sudo yum autoremove confluent-platform
    
  3. 前のバージョンのリポジトリファイルを削除します。

    sudo rm /etc/yum.repos.d/confluent.repo
    
  4. 6.2 リポジトリをディレクトリの confluent-6.2.repo という名前のファイルに追加します。

    [confluent-6.2]
    name=Confluent repository for 6.2.x packages
    baseurl=https://packages.confluent.io/rpm/6.2
    gpgcheck=1
    gpgkey=https://packages.confluent.io/rpm/6.2/archive.key
    enabled=1
    
  5. リポジトリメタデータを更新します。

    sudo yum clean all
    
  6. confluent-server をインストールします。yum は既存の構成ファイルをオーバーライドする可能性があるので、パッケージをインストールした後にバックアップから復元する必要があります。

    sudo yum install confluent-server
    
  7. アップデートされた構成ファイルを復元し、Kafka ブローカーを開始します。追加機能(例: RBAC)を使用していない場合、既存の server.properties ファイルを変更する必要はありません。

    kafka-server-start -daemon /etc/kafka/server.properties
    

TAR または ZIP アーカイブ

Confluent Platform のアップグレード 手順に従って、TAR または ZIP アーカイブを使用してブローカーをアップグレードします。LDAP Authorizer などの商用版の機能を使用する場合は、confluent-6.2.4.tar.gz または zip アーカイブ confluent-6.2.4.zip を使用して Kafka をインストールします。

confluent-kafka のアップグレードと confluent-security の削除

現在、confluent-kafkaconfluent-security 5.2.xLDAP Authorizer とともに使用していても、商用ライセンスの confluent-server パッケージにアップグレードする予定がない場合、confluent-kafka をアップグレードして LDAP Authorizer なしで使用できます。「ACL を使用した認可」で説明されているように、組み込みの SimpleAclAuthorizer を使用して ACL による認可を行うことができます。既存のすべての認可ルールが確実に適用されるように、グループベース ACL を同等のユーザーベース ACL に置き換える必要があります。confluent-kafka をアップグレードする場合、confluent-security を削除またはアップグレードする必要があります。