独自の Apache Kafka® デモのビルド

このページのリソースで、独自の Apache Kafka® デモまたはテスト環境をビルドできます。トピック、コネクター、データソース、スキーマが事前に構成されていないすべてのサービスを開始できます。サービスが実行されると、クラスターに接続し、トピックをプロビジョニングすることができます。また、Kafka プロデューサーやコンシューマーの実行、ksqlDB や Kafka Streams アプリケーションの実行、コネクターの読み込みを行うことができます。

Apache Kafka® のデプロイタイプを以下から選択してください。

Confluent Cloud

Confluent Cloud Console の Billing & payment セクションでプロモーションコード C50INTEG を入力すると、Confluent Cloud で $50 相当を無料で使用できます(詳細)。このプロモーションコードで、この Confluent Cloud サンプルの 1 日分の実行費用が補填されます。これを超えてサービスを利用すると、このサンプルで作成した Confluent Cloud リソースを破棄するまで、時間単位で課金されることがあります。

ccloud-stack ユーティリティ

概要

Confluent Cloud 向け ccloud-stack ユーティリティ により、フルマネージド型サービスのスタックが Confluent Cloud 内に作成されます。1 つのコマンドで実行されるため、フルマネージド型コンポーネントを Confluent Cloud にすばやく作成できます。その後、他のデモの学習や作成のために、そのコンポーネントを使用できます。これは、本稼働環境では使用しないでください。このスクリプトは、Confluent Cloud CLI を使用して、以下のことを Confluent Cloud で動的に行います。

  • 新しい環境を作成する。
  • 新しいサービスアカウントを作成する。
  • 新しい Kafka クラスターとそれに関連する資格情報を作成する。
  • Confluent Cloud Schema Registry とそれに関連する資格情報を有効にする。
  • 新しい ksqlDB アプリケーションとそれに関連する資格情報を作成する。
  • ワイルドカードを使用するサービスアカウント用 ACL を作成する。
  • 上記のすべての接続情報を含むローカル構成ファイルを生成する(他のデモや自動化に便利)。
../_images/ccloud-stack-resources.png

Confluent Cloud で ccloud-stack を使用する方法については、「Confluent Cloud 向け ccloud-stack ユーティリティ」を参照してください。

サービスに接続する方法

ccloud-stack では、関連付けられたサービスアカウントと ACL を使用して Confluent Cloud ですべてのリソースが作成されるだけでなく、すべての Confluent Cloud 接続情報を含むローカル構成ファイルも生成されます。このファイル全体をクライアントアプリケーションに渡すこともできますし、アプリケーション内で各パラメーターを解析しそのパラメーターを設定することもできます。

ccloud-stack を実行した後、stack-configs/java-service-account-<SERVICE_ACCOUNT_ID>.config で構成ファイルを確認します。これは、以下のようになります。

# ------------------------------
# ENVIRONMENT ID: <ENVIRONMENT ID>
# SERVICE ACCOUNT ID: <SERVICE ACCOUNT ID>
# KAFKA CLUSTER ID: <KAFKA CLUSTER ID>
# SCHEMA REGISTRY CLUSTER ID: <SCHEMA REGISTRY CLUSTER ID>
# KSQLDB APP ID: <KSQLDB APP ID>
# ------------------------------
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
bootstrap.servers=<BROKER ENDPOINT>
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username='<API KEY>' password='<API SECRET>';
basic.auth.credentials.source=USER_INFO
schema.registry.basic.auth.user.info=<SR API KEY>:<SR API SECRET>
schema.registry.url=https://<SR ENDPOINT>
ksql.endpoint=<KSQLDB ENDPOINT>
ksql.basic.auth.user.info=<KSQLDB API KEY>:<KSQLDB API SECRET>

cp-all-in-one-cloud

概要

Confluent Cloud には、フルマネージド型のサービスが数多く用意されているため、それらをローカルで実行する必要はありません。ただし、ローカルで実行して自己管理しながらも、Confluent Cloud に接続する必要があるサービスも中にはあるでしょう。たとえば、ユーザーが独自のソースコネクターを実行して Confluent Cloud へ書き込んだり、シンクコネクターを実行して Confluent Cloud から読み取ったりするとします。この場合、Confluent Cloud 向け ccloud-stack ユーティリティ を実行して Confluent Cloud インスタンスを作成してから、cp-all-in-one-cloud を実行してサービスを選択的に開始することができます。

この Docker Compose ファイルにより、セルフマネージド型の Confluent Platform コンポーネント(Confluent Cloud 内の Kafka ブローカーを除く)がローカルホストのコンテナーで自動的に実行され、Confluent Cloud に接続するように構成されます。

cp-all-in-one-cloud を使用する自動デモについては、「Confluent Cloud を使用した Apache Kafka のクイックスタート」に続く cp-all-in-one-cloud 自動クイックスタート をご覧ください。

../_images/cp-all-in-one-cloud.ja.png

セットアップ

  1. デフォルトでは、ローカルの Docker コンテナーで動作している Schema Registry がサンプルで使用されます。代わりに Confluent Cloud Schema Registry を使用する場合は、最初に Confluent Cloud Schema Registry を有効にしてから サンプルを実行する必要があります。

  2. デフォルトでは、ローカルの Docker コンテナーで動作している ksqlDB がサンプルで使用されます。代わりに Confluent Cloud ksqlDB を使用する場合は、最初に Confluent Cloud Schema Registry を有効にしてから サンプルを実行する必要があります。

  3. confluentinc/cp-all-in-one GitHub リポジトリのクローンを作成します。

    git clone https://github.com/confluentinc/cp-all-in-one.git
    
  4. cp-all-in-one-cloud ディレクトリに移動します。

    cd cp-all-in-one/cp-all-in-one-cloud
    
  5. 6.2.4-post ブランチをチェックアウトします。

    git checkout 6.2.4-post
    
  6. docker-compose.yml によって、Confluent Cloud インスタンス(ブートストラップサーバーやセキュリティ構成など)に接続するための値がパラメーター化されています。これらのパラメーターを手動で入力することもできますが、プログラム的な方法として、Kafka クラスターに接続するための構成パラメーターを含むローカルファイル($HOME/.confluent/java.config など)を作成する方法があります。以下のテンプレートのいずれかをベースとして、クラスターへの接続情報でこのファイルをカスタマイズします。{{ BROKER_ENDPOINT }}{{CLUSTER_API_KEY }}{{ CLUSTER_API_SECRET }} に値を代入します。

    # Required connection configs for Kafka producer, consumer, and admin
    bootstrap.servers={{ BROKER_ENDPOINT }}
    security.protocol=SASL_SSL
    sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username='{{ CLUSTER_API_KEY }}' password='{{ CLUSTER_API_SECRET }}';
    sasl.mechanism=PLAIN
    # Required for correctness in Apache Kafka clients prior to 2.6
    client.dns.lookup=use_all_dns_ips
    
    # Best practice for Kafka producer to prevent data loss 
    acks=all
    
  7. Confluent Cloud とやり取りするための便利な関数がまとめられている bash ライブラリを取得します。このライブラリは、コミュニティによってサポートされており、Confluent ではサポートしていません。

    curl -sS -o ccloud_library.sh https://raw.githubusercontent.com/confluentinc/examples/latest/utils/ccloud_library.sh
    
  8. ccloud_library.sh (前の手順でダウンロードしてあります)を使用して、ダウンストリームクライアント用の構成ファイルを自動生成します。出力ファイルの 1 つに、delta_configs/env.delta があります。

    source ./ccloud_library.sh
    ccloud::generate_configs $HOME/.confluent/java.config
    
  9. ご使用の環境で ENV 変数をソースとして指定します。これにより、docker-compose.yml ファイルで利用することができます。

    source delta_configs/env.delta
    
  10. Confluent Cloud Schema Registry に対する資格情報を確認します。

    curl -u $SCHEMA_REGISTRY_BASIC_AUTH_USER_INFO $SCHEMA_REGISTRY_URL/subjects
    
  11. Confluent Cloud ksqlDB に対する資格情報を確認します。

    curl -H "Content-Type: application/vnd.ksql.v1+json; charset=utf-8" -u $KSQLDB_BASIC_AUTH_USER_INFO $KSQLDB_ENDPOINT/info
    

すべてのローカルサービスを開始する

以下の操作を行う前に必ず、「セットアップ」セクションに記載された手順を完了してください。

  1. docker-compose.yml ファイルを表示します。

  2. すべてのサービスをローカルで開始するには、次のように入力します。

    docker-compose up -d
    

すべてのローカルサービスを開始する

以下の操作を行う前に必ず、「セットアップ」セクションに記載された手順を完了してください。

  1. docker-compose.yml ファイルを表示します。

  2. Schema Registry をローカルで開始するには、次のように入力します(Confluent Cloud Schema Registry を使用していない場合)。

    docker-compose up -d schema-registry
    
  3. Connect をローカルで開始するには、次のように入力します(フルマネージド型コネクターを使用していない場合)。

    docker-compose up -d connect
    

    docker-compose.yml ファイルには connect というコンテナーがあります。このコンテナーは、kafka-connect-datagen コネクターが事前にバンドルされたカスタム Docker イメージ cnfldemos/cp-server-connect-datagen を実行しています。他のコネクターで Connect を実行する方法については、「Confluent Cloud に接続するセルフマネージド型コネクターを実行する」を参照してください。

  4. Confluent Control Center をローカルで開始する場合は、次のように入力します。

    docker-compose up -d control-center
    
  5. ksqlDB をローカルで開始するには、次のように入力します(Confluent Cloud ksqlDB を使用していない場合)。

    docker-compose up -d ksqldb-server
    
  6. Confluent Cloud ksqlDB を使用していると想定し、一時的な Docker コンテナーを実行するのみである場合に ksqlDB CLI を開始するには、次のように入力します。

    docker run -it confluentinc/cp-ksqldb-cli:5.5.0 -u $(echo $KSQLDB_BASIC_AUTH_USER_INFO | awk -F: '{print $1}') -p $(echo $KSQLDB_BASIC_AUTH_USER_INFO | awk -F: '{print $2}') $KSQLDB_ENDPOINT
    

    ksqlDB CLI 用の Docker コンテナーを Docker Compose ファイルから実行し、別の手順で Confluent Cloud ksqlDB に接続する場合は、次のように入力します。

    docker-compose up -d ksqldb-cli
    
  7. REST Proxy をローカルで開始する場合は、次のように入力します。

    docker-compose up -d rest-proxy
    

Confluent Cloud に接続するセルフマネージド型コネクターを実行する

Confluent Cloud には多数の フルマネージド型コネクター が用意されていますが、Confluent Cloud クラスターに接続するフルマネージド型コネクターを実行することが必要なユースケースもありえます。

特定のコネクターを使用して、Connect Docker イメージを実行する場合は、最初に、目的のコネクターの JAR をベース Kafka Connect Docker イメージに追加するカスタム Docker イメージをビルドする必要があります。一般的なプロセスは「コネクターまたはソフトウェアの追加」に記載されていますが、ここでは、Confluent Cloud に接続する Connect を実行する場合の手順を詳しく説明します。

  1. 環境をセットアップ済み で、固有の Confluent Cloud インスタンス向けにカスタマイズされていること、および Docker Compose ファイルで使用される環境変数が設定されていることを確認します。具体的には、以下に示すように、環境で環境変数が定義されている必要があります。

    export BOOTSTRAP_SERVERS="<CCLOUD_BOOTSTRAP_SERVER>"
    export SASL_JAAS_CONFIG="org.apache.kafka.common.security.plain.PlainLoginModule required username='<CCLOUD_API_KEY>' password='<CCLOUD_API_SECRET>';"
    export SASL_JAAS_CONFIG_PROPERTY_FORMAT="org.apache.kafka.common.security.plain.PlainLoginModule required username='<CCLOUD_API_KEY>' password='<CCLOUD_API_SECRET>';"
    export REPLICATOR_SASL_JAAS_CONFIG="org.apache.kafka.common.security.plain.PlainLoginModule required username='<CCLOUD_API_KEY>' password='<CCLOUD_API_SECRET>';"
    export BASIC_AUTH_CREDENTIALS_SOURCE="USER_INFO"
    export SCHEMA_REGISTRY_BASIC_AUTH_USER_INFO="<SCHEMA_REGISTRY_API_KEY>:<SCHEMA_REGISTRY_API_SECRET>"
    export SCHEMA_REGISTRY_URL="https://<SCHEMA_REGISTRY_ENDPOINT>"
    export CLOUD_KEY="<CCLOUD_API_KEY>"
    export CLOUD_SECRET="<CCLOUD_API_SECRET>"
    export KSQLDB_ENDPOINT=""
    export KSQLDB_BASIC_AUTH_USER_INFO=""
    
  2. Confluent Hub を検索して、目的のコネクターを見つけます。

  3. CONNECTOR_OWNERCONNECTOR_NAMECONNECTOR_VERSION を設定します。たとえば、ElasticSearch シンクコネクター を使用するには、次のように設定します。

    export CONNECTOR_OWNER=confluentinc
    export CONNECTOR_NAME=kafka-connect-elasticsearch
    export CONNECTOR_VERSION=11.0.2
    
  4. 分散モードとスタンドアロンモードのどちらで Connect を実行するかを決定します。分散モードでは、複数の Connect ワーカーを使用してスケールアップでき、フォールトトレランスが高くなります。ただし、開発を迅速に行うためにスタンドアロンモードで実行することが必要な場合もあります。たとえば、スタンドアロンモードでは 3 つの Connect Kafka トピックが作成されず、ワーカーを再起動する場合にこれらのトピックをクリーンアップする必要がありません(ステートがローカルであるため)。また、コネクターを送信するのに REST API を使用する必要がありません。

分散モード

cp-all-in-one-cloud フォルダーから次のコマンドを実行します。

  1. Dockerfile のコネクターの JAR ファイルを使用して、新しいカスタムの Docker イメージを作成します。

    docker build \
       --build-arg CONNECTOR_OWNER=${CONNECTOR_OWNER} \
       --build-arg CONNECTOR_NAME=${CONNECTOR_NAME} \
       --build-arg CONNECTOR_VERSION=${CONNECTOR_VERSION} \
       -t localbuild/connect_distributed_with_${CONNECTOR_NAME}:${CONNECTOR_VERSION} \
       -f ../Docker-connect/distributed/Dockerfile ../Docker-connect/distributed
    
  2. コネクターの構成ファイルを作成します。構成パラメーターはコネクターによって異なります。ドキュメントを参照してください。ElasticSearch では次のようになります。

    {
      "name": "elasticsearch-orders",
      "config": {
        "connector.class": "io.confluent.connect.elasticsearch.ElasticsearchSinkConnector",
        "topics": "orders",
        "connection.url": "$ELASTICSEARCH_URL",
        "type.name": "microservices",
        "key.ignore": true,
        "key.converter": "org.apache.kafka.connect.storage.StringConverter",
        "value.converter": "io.confluent.connect.avro.AvroConverter",
        "value.converter.schema.registry.url": "$SCHEMA_REGISTRY_URL",
        "value.converter.basic.auth.credentials.source": "$BASIC_AUTH_CREDENTIALS_SOURCE",
        "value.converter.schema.registry.basic.auth.user.info": "$SCHEMA_REGISTRY_BASIC_AUTH_USER_INFO",
        "schema.ignore": true
      }
    }
    
  3. docker-compose.connect.distributed.yml から Connect Docker Compose を起動します。Confluent Cloud インスタンスへの接続には、ファイル参照でローカルに定義された環境パラメーターが使用されることに注意してください。

    docker-compose -f docker-compose.connect.distributed.yml up -d
    
  4. Connect REST API を使用して、コネクターを送信します。たとえば、次のようにします。

    curl -XPOST \
         -H Accept:application/json \
         -H Content-Type:application/json \
         http://localhost:8083/connectors/ \
         -d @/path/to/connector.config
    
  5. コネクターが起動されていることを確認します。

    docker-compose logs connect
    
スタンドアロンモード

cp-all-in-one-cloud フォルダーから次のコマンドを実行します。

  1. Dockerfile のコネクターの JAR ファイルを使用して、新しいカスタムの Docker イメージを作成します。

    docker build \
       --build-arg CONNECTOR_OWNER=${CONNECTOR_OWNER} \
       --build-arg CONNECTOR_NAME=${CONNECTOR_NAME} \
       --build-arg CONNECTOR_VERSION=${CONNECTOR_VERSION} \
       -t localbuild/connect_standalone_with_${CONNECTOR_NAME}:${CONNECTOR_VERSION} \
       -f ../Docker-connect/standalone/Dockerfile ../Docker-connect/standalone
    
  2. docker-compose.connect.standalone.yml ファイルでコネクター用の構成を作成します。構成パラメーターはコネクターによって異なります。ドキュメントを参照してください。ElasticSearch では次のようになります。

    CONNECTOR_NAME: elasticsearch-sink-connector
    CONNECTOR_CONNECTOR_CLASS: io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
    CONNECTOR_TYPE_NAME: _doc
    CONNECTOR_TOPICS: test01
    CONNECTOR_KEY_IGNORE: true
    CONNECTOR_SCHEMA_IGNORE: false
    CONNECTOR_CONNECTION_URL: http://elasticsearch:9200
    
  3. docker-compose.connect.standalone.yml から Connect Docker Compose を起動します。Confluent Cloud インスタンスへの接続には、ファイル参照でローカルに定義された環境パラメーターが使用されることに注意してください。

    docker-compose -f docker-compose.connect.standalone.yml up -d
    
  4. コネクターが起動されていることを確認します。

    docker-compose logs connect
    

サービスに接続する方法

Docker コンテナーでローカルに実行されているサービスに cp-all-in-one-cloud から接続するには、以下のようにしてください。

  • localhost から接続している場合は、localhost:<ポート> を使用します。
  • 他の Docker コンテナーから接続している場合は、<コンテナー名>:<ポート> を使用します。

コンテナー名とポートについては、docker-compose.yml ファイルを参照してください。

Datagen によるテストデータの生成

Confluent Cloud を初めて使用する場合は、ブログの投稿記事「Creating a Serverless Environment for Testing Your Apache Kafka Applications : a “Hello, World!”」をお読みください。この記事では、 Kafka トピックに対する興味深いテストデータを生成するさまざまな方法も説明しています。

オンプレミス

cp-all-in-one

概要

cp-all-in-one は、Confluent Platform スタックをオンプレミスで実行するために使用します。この Docker Compose ファイルにより、Confluent Platform のすべてのサービスが開始され、ローカルホスト内のコンテナーで実行されます。

cp-all-in-one を使用する自動デモについては、「Confluent Platform のクイックスタート(Docker)」に続く cp-all-in-one 自動クイックスタート をご覧ください。

前提条件:
  • Docker
    • Docker バージョン 1.11 またはそれ以降が インストールされ動作している
    • Docker Compose が インストール済みである 。Docker Compose は、Docker for Mac ではデフォルトでインストールされます。
    • Docker メモリーに最小でも 6 GB が割り当てられている。Docker Desktop for Mac を使用しているとき、Docker メモリーの割り当てはデフォルトで 2 GB です。Docker のデフォルトの割り当てを 6 GB に変更できます。PreferencesResourcesAdvanced の順に移動します。
  • インターネット接続
  • Confluent Platform で現在サポートされる オペレーティングシステム
  • Docker でのネットワークと Kafka
    • 内部コンポーネントと外部コンポーネントが Docker ネットワークに通信できるように、ホストとポートを構成します。詳細については、こちらの記事 を参照してください。
../_images/cp-all-in-one.ja.png
  1. confluentinc/cp-all-in-one GitHub リポジトリのクローンを作成します。

    git clone https://github.com/confluentinc/cp-all-in-one.git
    
  2. cp-all-in-one ディレクトリに移動します。

    cd cp-all-in-one/cp-all-in-one
    
  3. 6.2.4-post ブランチをチェックアウトします。

    git checkout 6.2.4-post
    
  4. すべてのサービスを開始するには、次のように入力します。

    docker-compose up -d
    

サービスに接続する方法

Docker コンテナーでローカルに実行されているサービスに cp-all-in-one から接続するには、以下のようにしてください。

  • localhost から接続している場合は、localhost:<ポート> を使用します。たとえば、Kafka ブローカーに接続するには、localhost:9092 に接続します。
  • 他の Docker コンテナーから接続している場合は、<コンテナー名>:<ポート> を使用します。たとえば、Kafka ブローカーに接続するには、broker:29092 に接続します。

コンテナー名とポートについては、docker-compose.yml ファイルを参照してください。

cp-all-in-one-community

概要

cp-all-in-one-community は、Confluent Platform からコミュニティサービスのみをオンプレミスで実行するために使用します。この Docker Compose ファイルにより、すべてのコミュニティサービスが開始され、ローカルホスト内のコンテナーで実行されます。

cp-all-in-one-community の使用方法の自動デモについては、「Confluent Platform のクイックスタート - コミュニティコンポーネント(Docker)」に続く cp-all-in-one-community 自動クイックスタート をご覧ください。

前提条件:
  • Docker
    • Docker バージョン 1.11 またはそれ以降が インストールされ動作している
    • Docker Compose が インストール済みである 。Docker Compose は、Docker for Mac ではデフォルトでインストールされます。
    • Docker メモリーに最小でも 6 GB が割り当てられている。Docker Desktop for Mac を使用しているとき、Docker メモリーの割り当てはデフォルトで 2 GB です。Docker のデフォルトの割り当てを 6 GB に変更できます。PreferencesResourcesAdvanced の順に移動します。
  • インターネット接続
  • Confluent Platform で現在サポートされる オペレーティングシステム
  • Docker でのネットワークと Kafka
    • 内部コンポーネントと外部コンポーネントが Docker ネットワークに通信できるように、ホストとポートを構成します。詳細については、こちらの記事 を参照してください。
../_images/cp-all-in-one-community.ja.png
  1. confluentinc/cp-all-in-one GitHub リポジトリのクローンを作成します。

    git clone https://github.com/confluentinc/cp-all-in-one.git
    
  2. cp-all-in-one-community ディレクトリに移動します。

    cd cp-all-in-one/cp-all-in-one-community
    
  3. 6.2.4-post ブランチをチェックアウトします。

    git checkout 6.2.4-post
    
  4. すべてのサービスを開始するには、次のように入力します。

    docker-compose up -d
    

サービスに接続する方法

Docker コンテナーでローカルに実行されているサービスに cp-all-in-one-community から接続するには、以下のようにしてください。

  • localhost から接続している場合は、localhost:<ポート> を使用します。たとえば、Kafka ブローカーに接続するには、localhost:9092 に接続します。
  • 他の Docker コンテナーから接続している場合は、<コンテナー名>:<ポート> を使用します。たとえば、Kafka ブローカーに接続するには、broker:29092 に接続します。

コンテナー名とポートについては、docker-compose.yml ファイルを参照してください。

KRaft

概要

ZooKeeper なしでの Kafka の実行を試すことができるようになりました。これは、Kafka Raft メタデータモード、または KRaft と呼ばれます。詳細については、以下のリソースを参照してください。

KRaft は早期アクセスの段階であるため、開発環境でのみ使用してください。本稼働環境には適していません。

前提条件:
  • Docker
    • Docker バージョン 1.11 またはそれ以降が インストールされ動作している
    • Docker Compose が インストール済みである 。Docker Compose は、Docker for Mac ではデフォルトでインストールされます。
    • Docker メモリーに最小でも 6 GB が割り当てられている。Docker Desktop for Mac を使用しているとき、Docker メモリーの割り当てはデフォルトで 2 GB です。Docker のデフォルトの割り当てを 6 GB に変更できます。PreferencesResourcesAdvanced の順に移動します。
  • インターネット接続
  • Confluent Platform で現在サポートされる オペレーティングシステム
  • Docker でのネットワークと Kafka
    • 内部コンポーネントと外部コンポーネントが Docker ネットワークに通信できるように、ホストとポートを構成します。詳細については、こちらの記事 を参照してください。
../_images/cp-all-in-one-kraft.png
  1. confluentinc/cp-all-in-one GitHub リポジトリのクローンを作成します。

    git clone https://github.com/confluentinc/cp-all-in-one.git
    
  2. cp-all-in-one-kraft ディレクトリに移動します。

    cd cp-all-in-one/cp-all-in-one-kraft
    
  3. 6.2.4-post ブランチをチェックアウトします。

    git checkout 6.2.4-post
    
  4. この Docker Compose ファイル を使用して Kafka ブローカーを開始するには、次のように入力します。

    docker-compose up -d
    

サービスに接続する方法

Docker コンテナーでローカルに実行されているサービスに cp-all-in-one-kraft から接続するには、以下のようにしてください。

  • localhost から接続している場合は、localhost:<ポート> を使用します。たとえば、Kafka ブローカーに接続するには、localhost:9092 に接続します。
  • 他の Docker コンテナーから接続している場合は、<コンテナー名>:<ポート> を使用します。たとえば、Kafka ブローカーに接続するには、broker:29092 に接続します。

コンテナー名とポートについては、docker-compose.yml ファイルを参照してください。

kafka-connect-datagen によるテストデータの生成

Confluent Platform を初めて使用する場合は、ブログの投稿記事「Easy Ways to Generate Test Data in Kafka」をお読みください。この記事では、 Kafka トピックに対する興味深いテストデータを生成するさまざまな方法も説明しています。

次のステップ

  1. Apache Kafka® のサンプルコード」に掲載されている Kafka クライアントのプロデューサーとコンシューマーのサンプルを実行します(Avro を使用している例と使用していない例があります)。
  2. Kafka チュートリアル のステップごとの手順に従って、Kafka、Kafka Streams、ksqlDB の基本的なチュートリアルを試してください。