1. Home
  2. Platform
  3. Confluent Platform リリースノート

Confluent Platform 6.2.4 リリースノート

6.2.4 は Confluent Platform のメジャーリリースであり、Kafka の最新の安定版 Apache Kafka® 2.8.0 が組み込まれています。

このリリースの技術的な詳細について、以降で説明します。

6.2.4 リリースの詳細については、リリースに関するブログ および Streaming Audio のポッドキャスト をご確認ください。

Confluent Control Center

  • メッセージブラウザーに、UI 内からのメッセージ生成を可能にするシングルメッセージプロデューサーが組み込まれました。メッセージの値とキーを指定できます。
  • メッセージブラウザーのメッセージ選択とダウンロード方法も改善されました。個々のメッセージを選択できるようになり、すべて選択とすべて選択解除のトグルも追加されています。1 つ以上のメッセージが選択されている場合は、CSV または JSON フォーマットでダウンロードするオプションが表示されます。
  • 新しいスクリプト /bin/control-center-cleanup に従って、以前のバージョンの Control Center から残っている内部トピックを特定し削除できます。
  • トピックページに Last Produced メッセージタイムスタンプの列が追加されました。
  • トピックページの Under Replicated Partitions 列、Out of Sync Observers 列、および Out of Sync Followers 列が、Status 列 1 列にまとめられました。テーブルのデフォルトのソート値が、問題の深刻度に基づくようになりました。
    • Unavailable - トピックが、レプリケーション数が不足しているパーティションのトピックの制限を超えている場合。
    • Warning - 1 つ以上のパーティションがレプリケーション数不足、1 つ以上のオブザーバーが同期されていない、または 1 つ以上のフォロワーが同期されていない場合。
    • Healthy - レプリケートされているパーティション、オブザーバー、フォロワーがすべて正常である場合。
  • 非推奨の構成プロパティ confluent.controlcenter.ksql.url、confluent.controlcenter.ksql.advertised.url、および confluent.controlcenter.connect.cluster が削除されました。
  • Self-Balancing Clusters カードが拡張され、バランサーの現在のステートが詳しく表示されるようになりました。詳細については、「Self-Balancing Clusters の操作」を参照してください。

既知の問題

  • Control Center のクラスター設定を変更した後でその設定を有効にするには、Control Center インターフェイスを明示的に更新する必要があります。

Kafka ブローカー

Confluent Server

  • Cluster Linking （プレビュー）でクラスターリンクが提供されます。これは、送信元クラスターによって送信先クラスターへの接続が開始されるもので、ソース開始リンクと呼ばれます。接続を送信先クラスター（デフォルト）と送信元クラスター（この新機能）のどちらが開始するかを柔軟に選択できるようになりました。ソース開始クラスターリンクでは、ステートフルなファイアウォールを使用する場合の Confluent Cloud クラスターとのリンク確立が容易になります。詳細については、「Cluster Linking」を参照してください。
  • Cluster Linking （プレビュー）で、移行用（bin/kafka-mirrors/promote）およびディザスターリカバリ用（bin/kafka-mirrors/failover）の 2 つの新しいコマンドが追加されました。
    • bin/kafka-mirrors/promote コマンドは、送信元クラスターに到達可能で、ミラートピックとそのソーストピック間にミラーリングラグがない場合に限り、ミラートピックを書き込み可能なトピックに変換します。これは、送信元クラスターのワークロードをデータを失うことなく送信先クラスターに移す場合の移行に役立ちます。
    • bin/kafka-mirrors/failover コマンドは、送信元クラスターとの接続状態やミラーリングラグに関係なく、ミラートピックを書き込み可能なトピックに変換します。これは、災害時に送信元クラスターが利用できないため運用を送信先クラスターに移す場合に役立ちます。
    • 一時停止（bin/kafka-mirrors/pause）および再開（bin/kafka-mirrors/unpause）コマンドは、ミラーリングの一時的な停止と再開に使用できます。

重要

Cluster Linking はプレビュー版であるため、本稼働環境では使用しないでください。

既知の問題

多数のパーティション（100,000 を超えるなど）をご利用の場合、5.5.x から 6.1.x へのアップグレード後、クラスターが不安定になる場合があります。そのため、2.7 のブローカー間プロトコル（IBP）の使用はお勧めしません。この既知の問題についてご質問がある場合は、サポートにお問い合わせください。

Confluent Community / Apache Kafka

Confluent Platform 6.2.4 features Apache Kafka® 2.8.0. For a full list of the 15 KIPs, features, and bug fixes, take a look at the official Apache Kafka release notes.

クライアント

Confluent Platform ||release| には、最新バージョンの Go（confluent-kafka-go）、Python（confluent-kafka-python）、.NET（confluent-kafka-dotnet）クライアントが含まれており、これらのクライアントはいずれも、やはりこのリリースに含まれる librdkafka v1.6 をベースとしています。これらのクライアントの最新情報について詳しくは、librdkafka v1.6 のリリースノートを参照してください。

Admin REST APIs

Admin REST APIs に v3 produce API が追加されました。これで、Kafka へのイベントの書き込みがこれまで以上に簡単になります。

重要

この API はプレビュー版であるため、フィードバックを反映して変更される可能性があります。

クラスター管理

Confluent for Kubernetes （旧 Confluent Operator）

Confluent for Kubernetes 2.0.0 では、Confluent Platform バージョン 6.0.x、6.1.x、および 6.2.0 を Kubernetes にデプロイして管理することができます。

Confluent for Kubernetes 2.0.0 の注目すべき機能、機能強化、修正については、リリースノート を参照してください。

Ansible Playbooks for Confluent Platform

新機能

  • Confluent Cloud への接続: Ansible Playbooks for Confluent Platform を使用して、Connect、ksqlDB、Control Center、REST Proxy を構成およびデプロイし、Confluent Cloud Kafka および Confluent Cloud Schema Registry を利用できます。
  • 基本認証のサポート: Ansible Playbooks for Confluent Platform を使用して、Confluent コンポーネント REST API の基本認証を構成できます。
  • 単一のホストノードに複数の Connect ワーカー: Ansible Playbooks for Confluent Platform を使用して、複数の Connect ワーカーインスタンスを同一のホストノードに構成してデプロイできます。
  • べき等性のアップグレード: Ansible Playbooks for Confluent Platform を使用して、再構成プレイブックを実行することにより、Confluent Platform クラスターをアップグレードできます。これにより、Ansible インベントリファイルは、結果の Confluent Platform 構成のステートと一致します。

注目すべき機能強化

  • 開始前のチェックを改善しました。
  • SCRAM-256 サポート: Ansible Playbooks for Confluent Platform を使用して、Kafka リスナー認証に SCRAM-256 または SCRAM-512 を使用するように Kafka を構成できます。

注目すべき修正

  • Confluent コンポーネントプロセスを所有するユーザーとして、ローカルではない Linux ユーザー（Active Directory によって管理されているユーザーなど）を指定できるようになりました。以前は、これでエラーが発生していました。

  • -vvv Ansible オプションでデバッグが有効になっている場合、パスワード、証明書、キーなどの機密情報が出力されます。Ansible は、-vvv で機密情報を抑制する方法を提供していません。このため、本稼働環境でデバッグモードを使用することはお勧めしません。

    代わりに、問題をトラブルシューティングする場合は、プレイブックを --diff オプションで使用します。このリリースでは、Ansible Playbooks for Confluent Platform の --diff オプションでの出力では、パスワード、証明書、キーなどの機密情報が出力されなくなりました。

    詳細については、「Ansible Playbooks for Confluent Platform のトラブルシューティング」を参照してください。

既知の問題

RBAC 対応 Kafka クラスターとの間で読み取りや書き込みを行うように Replicator を構成することができません。この問題は、将来のアップデートリリースで解決される予定です。

Kafka Streams

  • KIP-689 - StreamJoined を拡張して受け付ける構成パラメーターを増やしました。
  • KIP-663 - Kafka Streams アプリケーションの再構成と再起動不要でストリームスレッドの開始とシャットダウンを行う API が導入されました。
  • KIP-659 - TimeWindowedDeserializer と TimeWindowedSerde が改善されウインドウサイズを適切に処理できるようになりました。
  • KIP-671 - Kafka Streams 固有のキャッチされない例外の処理が導入されました。
  • KIP-622 - currentSystemTimeMs および currentStreamTimeMs が ProcessorContext に追加されました。
  • KIP-680 - TopologyTestDriver で Properties 引数が必須ではなくなりました。

ksqlDB

  • Confluent Platform 6.2 は ksqlDB スタンドアロンリリース 0.17.0 をパッケージ化しています。
  • クエリ移行ツールが導入されました（#6988）: ksql-migrations ツールを使用してスキーマの移行と管理を自動化できるようになりました。
  • Lambda 関数が導入されました（#6919）: インライン関数の式 をコレクションタイプに適用できるようになりました。これにより、変換が簡略化され、一部のユーザー定義関数の実装が不要になります。
  • 複数列の行キーが個別の行として内部に保存されるようになりました（#6544）: 複数列キーを表す連結文字列を解析する必要がなくなりました。
  • CREATE TABLE AS SELECT による非集約テーブルが具現化されプルクエリ可能になりました（#7085）: ただし、CREATE TABLE (x INTEGER, …) 形式のテーブルは、引き続き具現化されないのでプルクエリには利用できません。
  • DROP STREAM | TABLE が基盤となる永続的なクエリを自動的に停止: 永続的なクエリをドロップする前に、手動で TERMINATE を実行する必要がなくなりました。
  • フルテーブルスキャンにより、プルクエリで任意の数の行をターゲットにする構成が可能になりました（#6726）: サーバー構成またはリクエストレベルの構成のいずれかで ksql.query.pull.table.scan.enabled 構成パラメーター を true に設定する必要があります。
  • 行キーですべてのシリアル化フォーマットを使用できるようになりました（#6708、#6694、#6692）。
  • ARRAY キーと STRUCT キーのサポートが導入されました（#6722）。
  • 複数の式で PARTITION BY のサポートが導入されました（#6803）。
  • 関連するビルトインおよび演算子で TIMESTAMP タイプのサポートが導入されました（#6806）。
  • 標準偏差の組み込み集約が追加されました（#6845）。stddev_samp 集約は、すべての入力値の標準偏差を計算します。
  • カスタムの構成パラメーターがユーザー定義集約関数に渡されるようになりました。たとえば、ksql.functions.my_udaf.my_property=1000000 です。

廃止に関する警告

Schema Registry ユーザーの場合: メソッドのオーバーロードは、Avro バージョン 1.9.1 と 1.10.1 の間で削除されました。使用している Avro バージョンが 1.10.1 より前の場合は、以下のようなエラーが発生する可能性があります。

Caused by: java.lang.NoSuchMethodError: org.apache.avro.Schema.toString(Ljava/util/Collection;Z)Ljava/lang/String;

ダウンロード方法

Confluent Platform は https://www.confluent.io/download/ からダウンロードできます。詳細については、「オンプレミスのデプロイ」セクションを参照してください。

重要

Confluent Platform パッケージにはデフォルトで Confluent Server が含まれており、server.properties ファイルに confluent.license キーが必要です。Confluent Platform 5.4.x 以降では、Confluent Server ブローカーは起動時にライセンスをチェックします。以下のように confluent.license プロパティを使用して、各ブローカーのプロパティファイルにライセンスの文字列を指定する必要があります。

confluent.license=LICENCE_STRING_HERE_NO_QUOTES

Kafka ブローカーを使用する場合は、confluent-community パッケージをダウンロードしてください。Kafka ブローカーは、すべての Debian、または RHEL および CentOS パッケージでデフォルトです。

Confluent Server への移行の詳細については、「Confluent Server への移行」を参照してください。

Confluent Platform を新しいバージョンにアップグレードするには、ドキュメント「Confluent Platform のアップグレード」を参照してください。

サポートされているバージョンおよび相互運用性

Confluent Platform およびそのコンポーネントのサポートされているバージョンと相互運用性については、「サポートされているバージョンおよび相互運用性」を参照してください。

お問い合わせ

本リリースに関してご不明な点がある場合は、コミュニティのメーリングリスト または コミュニティ Slack からご連絡ください。Confluent 製品を既にご利用の場合は直接サポートにお問い合わせください。