1. Home
  2. Cloud
  3. Confluent Cloud への外部システムの接続

重要

このページの日本語コンテンツは古くなっている可能性があります。最新の英語版コンテンツをご覧になるには、こちらをクリックしてください。

制限

使用に関する制限事項については、以下を参照してください。

スキーマレジストリ Enabled Environments

スキーマレジストリ enabled environments support only the default schema subject naming strategy TopicNameStrategy. Subject naming strategies RecordNameStrategy and TopicRecordNameStrategy are not currently supported.

Sink Connectors and DLQ Topics

Currently, you cannot add dead letter queue (DLQ) topics to the list of topics in the sink connector configuration. The connector will fail if a DLQ topic is consumed by the sink connector.

Connector-Specific Limitations

Cloud コネクターの制限事項

サポートされるコネクターの制限事項については、以下を参照してください。

ActiveMQ Source Connector

現時点では、ActiveMQ Source Connector for Confluent Cloud には制限事項はありません。

Amazon CloudWatch Logs Source Connector

Amazon CloudWatch Logs Source Connector for Confluent Cloud の制限事項は次のとおりです。

  • コネクターは、上位のログストリーム 50 件（アルファベット順）からのみ読み取りできます。
  • コネクターは、Protobuf をサポートしていません。

Amazon CloudWatch Metrics Sink Connector

Amazon CloudWatch Metrics リージョンは、Confluent Cloud クラスターが存在するリージョン、および Amazon CloudWatch Metrics Sink Connector for Confluent Cloud を実行するリージョンと同じでなければなりません。

Amazon DynamoDB Sink Connector

Amazon DynamoDB Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • Amazon DynamoDB データベースと Kafka クラスターは同じリージョンに存在している必要があります。
  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。
    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

Amazon Kinesis Source Connector

  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。
    • org.apache.kafka.connect.transforms.HoistField$Value
    • org.apache.kafka.connect.transforms.ValueToKey

Amazon Redshift Sink Connector

Amazon Redshift Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • Confluent Cloud クラスターとターゲットの Redshift クラスターは同じ AWS リージョンに存在している必要があります。
  • スキーマベースのメッセージフォーマット（Avro など）を使用するには、有効なスキーマが Confluent Cloud Schema Registry に存在する必要があります。
  • このコネクターでは、ネストした構造を含むデータは消費できません。

Amazon SQS Source Connector

現時点では Amazon SQS Source Connector for Confluent Cloud には制限事項はありません。

Amazon S3 Sink Connector

Amazon S3 Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • Confluent Cloud クラスターとターゲットの S3 バケットは同じ AWS リージョンに存在している必要があります。

  • 1 つのタスクで処理できるパーティションの数は最大 100 個です。

  • Parquet output format is available for Dedicated and Standard clusters only.

  • パーティショニング（毎時または毎日）は Kafka レコードの時刻に基づいています。

  • flush size: デフォルトは 1000 です。この値は、必要に応じて増やすことができます。Confluent Cloud 専用クラスター を実行する場合は、この値を下げることができます（最小値 1）。専用ではないクラスターの最小値は 1000 です。

    以下のシナリオは、レコードがストレージにフラッシュされる状況の例を表しています。

    • デフォルト設定の 1000 を使用しており、トピックに 6 つのパーティションがあります。1000 件を超えるレコードが各パーティションに存在するようになると、ストレージでのファイルの作成が開始されます。

    • デフォルト設定の 1000 を使用しており、パーティショナーが "毎時" に設定されています。午後 2 時から午後 3 時までの間に 1 つのパーティションに 500 件のレコードが到達します。午後 3 時に、さらに 5 件のレコードがそのパーティションに到達します。午後 3 時のストレージには、500 件のレコードが格納されます。

      注釈

      rotate.schedule.interval.ms プロパティと rotate.interval.ms プロパティを flush.size と一緒に使用して、ストレージにファイルを作成する条件を指定できます。これらのパラメーターが有効になると、最初に満たされた条件に基づいてファイルが保管されます。

      たとえば、トピックのパーティションが 1 つあるとします。flush.size=1000 と rotate.schedule.interval.ms=600000 （10 分）を設定します。12:01 から 12:10 までの間にこのトピックのパーティションに 500 件のレコードが到達します。12:11 から 12:20 までの間にさらに 500 件のレコードが到達します。それぞれ 500 件のレコードが入った 2 つのファイルがストレージバケットに作成されます。これは、flush.size=1000 条件が満たされる前に、10 分の rotate.schedule.interval.ms 条件が作動したからです。

  • schema.compatibility は NONE に設定されます。

  • スキーマベースのメッセージフォーマット（Avro など）を使用するには、有効なスキーマが Confluent Cloud Schema Registry に存在する必要があります。

  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。

    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

Amazon S3 Source Connector

Amazon S3 Source Connector for Confluent Cloud の制限事項は次のとおりです。

  • 新しいバケットの場合は、使用されていない名前で新しいコネクターを作成する必要があります。既存のコネクターを再構成して新しいバケットからデータを取得する場合、または別のコネクターで使用されている名前でコネクターを作成する場合、コネクターでは、バケットに格納されているデータの先頭からは取得されません。これは、コネクターがその名前に関連付けられたオフセットを保持するためです。
  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。
    • org.apache.kafka.connect.transforms.HoistField$Value
    • org.apache.kafka.connect.transforms.HoistField$Key
    • org.apache.kafka.connect.transforms.ValueToKey
    • org.apache.kafka.connect.transforms.Filter
    • io.confluent.connect.transforms.Filter$Key
    • io.confluent.connect.transforms.Filter$Value

AWS Lambda Sink Connector

AWS Lambda Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • Confluent Cloud クラスターと AWS Lambda プロジェクトは同じ AWS リージョンに存在している必要があります。
  • スキーマベースのメッセージフォーマット（Avro など）を使用するには、有効なスキーマが Confluent Cloud Schema Registry に存在する必要があります。

Azure Blob Storage Sink Connector

Azure Blob Storage Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • Azure Blob Storage コンテナーは、Confluent Cloud クラスターと同じリージョンに存在している必要があります。別のリージョンを使用する場合、追加のデータ転送料金が発生する可能性があることに注意してください。Confluent Cloud と Azure Blob Storage を異なるリージョンで使用する必要がある場合は、Confluent サポート にお問い合わせください。

  • 1 つのタスクで処理できるパーティションの数は最大 100 個です。

  • パーティショニング（毎時または毎日）は Kafka レコードの時刻に基づいています。

  • flush size: デフォルトは 1000 です。この値は、必要に応じて増やすことができます。Confluent Cloud 専用クラスター を実行する場合は、この値を下げることができます（最小値 1）。専用ではないクラスターの最小値は 1000 です。

    以下のシナリオは、レコードがストレージにフラッシュされる状況の例を表しています。

    • デフォルト設定の 1000 を使用しており、トピックに 6 つのパーティションがあります。1000 件を超えるレコードが各パーティションに存在するようになると、ストレージでのファイルの作成が開始されます。

    • デフォルト設定の 1000 を使用しており、パーティショナーが "毎時" に設定されています。午後 2 時から午後 3 時までの間に 1 つのパーティションに 500 件のレコードが到達します。午後 3 時に、さらに 5 件のレコードがそのパーティションに到達します。午後 3 時のストレージには、500 件のレコードが格納されます。

      注釈

      rotate.schedule.interval.ms プロパティと rotate.interval.ms プロパティを flush.size と一緒に使用して、ストレージにファイルを作成する条件を指定できます。これらのパラメーターが有効になると、最初に満たされた条件に基づいてファイルが保管されます。

      たとえば、トピックのパーティションが 1 つあるとします。flush.size=1000 と rotate.schedule.interval.ms=600000 （10 分）を設定します。12:01 から 12:10 までの間にこのトピックのパーティションに 500 件のレコードが到達します。12:11 から 12:20 までの間にさらに 500 件のレコードが到達します。それぞれ 500 件のレコードが入った 2 つのファイルがストレージバケットに作成されます。これは、flush.size=1000 条件が満たされる前に、10 分の rotate.schedule.interval.ms 条件が作動したからです。

  • schema.compatibility は NONE に設定されます。

  • スキーマベースのメッセージフォーマット（Avro など）を使用するには、有効なスキーマが Confluent Cloud Schema Registry に存在する必要があります。

  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。

    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

Azure Cognitive Search Sink Connector

Azure Cognitive Search Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • 複数のメトリクスのバッチ処理: コネクターでは、単一ペイロードでメトリクスのバッチ処理が試行されます。最大ペイロードサイズは、API リクエストごとに 16 MB です。詳細については、「API 呼び出しごとのドキュメントサイズ制限」を参照してください。
  • Azure Cognitive Search サービスと Confluent Cloud クラスターは同じリージョンに存在している必要があります。
  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。
    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

Azure Cosmos DB Sink Connector

Azure Cosmos DB Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • Azure Cosmos DB は、Confluent Cloud クラスターと同じリージョンに存在している必要があります。
  • Kafka トピックに tombstone レコードは含めてはなりません。このコネクターは tombstone または null 値を処理できません。

Azure CosmosDB Source Connector

Azure Cosmos DB Source Connector for Confluent Cloud の制限事項は次のとおりです。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • Kafka レコードキーは、StringConverter によってシリアル化されます。

Azure Data Lake Storage Gen2 Sink Connector

Azure Data Lake Storage Gen2 Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • Azure Data Lake Storage は、Confluent Cloud クラスターと同じリージョンに存在している必要があります。別のリージョンを使用する場合、追加のデータ転送料金が発生する可能性があることに注意してください。Confluent Cloud と Azure Data Lake Storage を異なるリージョンで使用する必要がある場合は、Confluent サポート にお問い合わせください。

  • このコネクターでは、パブリックインバウンドトラフィックアクセス（0.0.0.0/0）を許可する必要があります。リソースに対するパブリックインターネットアクセスの詳細については、「Networking and DNS Considerations」を参照してください。

  • プレビューコネクターでは、JSON フォーマットで入力して AVRO フォーマットで出力することはできません。

  • 1 つのタスクで処理できるパーティションの数は最大 100 個です。

  • パーティショニング（毎時または毎日）は Kafka レコードの時刻に基づいています。

  • flush size: デフォルトは 1000 です。この値は、必要に応じて増やすことができます。Confluent Cloud 専用クラスター を実行する場合は、この値を下げることができます（最小値 1）。専用ではないクラスターの最小値は 1000 です。

    以下のシナリオは、レコードがストレージにフラッシュされる状況の例を表しています。

    • デフォルト設定の 1000 を使用しており、トピックに 6 つのパーティションがあります。1000 件を超えるレコードが各パーティションに存在するようになると、ストレージでのファイルの作成が開始されます。

    • デフォルト設定の 1000 を使用しており、パーティショナーが "毎時" に設定されています。午後 2 時から午後 3 時までの間に 1 つのパーティションに 500 件のレコードが到達します。午後 3 時に、さらに 5 件のレコードがそのパーティションに到達します。午後 3 時のストレージには、500 件のレコードが格納されます。

      注釈

      rotate.schedule.interval.ms プロパティと rotate.interval.ms プロパティを flush.size と一緒に使用して、ストレージにファイルを作成する条件を指定できます。これらのパラメーターが有効になると、最初に満たされた条件に基づいてファイルが保管されます。

      たとえば、トピックのパーティションが 1 つあるとします。flush.size=1000 と rotate.schedule.interval.ms=600000 （10 分）を設定します。12:01 から 12:10 までの間にこのトピックのパーティションに 500 件のレコードが到達します。12:11 から 12:20 までの間にさらに 500 件のレコードが到達します。それぞれ 500 件のレコードが入った 2 つのファイルがストレージバケットに作成されます。これは、flush.size=1000 条件が満たされる前に、10 分の rotate.schedule.interval.ms 条件が作動したからです。

  • schema.compatibility は NONE に設定されます。

  • スキーマベースのメッセージフォーマット（Avro など）を使用するには、有効なスキーマが Confluent Cloud Schema Registry に存在する必要があります。

  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。

    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

Azure Event Hubs Source Connector

Azure Event Hubs Source Connector for Confluent Cloud の制限事項は次のとおりです。

  • max.events: 499 はイベントの許容最大数です。デフォルトは 50 です。
  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。
    • org.apache.kafka.connect.transforms.HoistField$Value
    • org.apache.kafka.connect.transforms.ValueToKey

Azure Functions Sink Connector

Azure Functions Sink Connector for Confluent Cloud の制限事項は次のとおりです。

ターゲットの Azure Function は、Confluent Cloud クラスターと同じリージョンに存在している必要があります。

Azure Service Bus Source Connector

Azure Service Bus Source Connector for Confluent Cloud の制限事項は次のとおりです。

  • JSON、JSON_SR、PROTOBUF の場合、コネクターによって生成されたメッセージ本文（messageBody）には、base64 でエンコードされた形式の JSON またはテキストが含まれます。

Azure Synapse Analytics Sink Connector

Azure Synapse Analytics Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • このコネクターは、Azure SQL データウェアハウスデータベースにのみデータを挿入できます。Azure Synapse Analytics ではプライマリキーをサポートしていません。アップデート、アップサート、削除はすべてプライマリキーに対して実行されるので、このコネクターではこれらのクエリはサポートされません。
  • auto.evolve を有効にしている場合にデフォルト値を持つ新規列が追加された際は、新規レコードでのみ、そのデフォルト値が使用されます。既存のレコードでは、新しい列の値は "null" となります。
  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。
    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

Databricks Delta Lake Sink Connector

Databricks Delta Lake Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • コネクターは、アマゾンウェブサービス （AWS）でのみ利用できます。
  • Amazon S3 バケット（データのステージング場所）、Delta Lake インスタンス、Kafka クラスターは、同じリージョンに存在している必要があります。
  • データは Amazon S3 バケットにステージングされます。このバケット内のファイルを削除した場合は、"厳密に 1 回" のセマンティクス（EOS）は失われます。
  • コネクターで行えるのはデータの追加のみです。
  • コネクターでは UTC タイムゾーンが使用されます。
  • このコネクターは、コネクターインスタンスごとに 1 つのタスクの実行をサポートします。
  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。
    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

Datadog Metrics Sink Connector

  • 複数のメトリクスのバッチ処理: コネクターでは、単一ペイロードでメトリクスのバッチ処理が試行されます。最大ペイロードサイズは、API リクエストごとに 3.2 MB です。詳細については、「Post timeseries points」を参照してください。
  • メトリクスのレート制限: API エンドポイントには レート制限 があります。メトリクス取得のレート制限は、組織ごとに 1 時間あたり 100 です。これらの制限は、Datadog サポートに連絡して変更することができます。
  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。
    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

Datagen Source Connector

現時点では Datagen Source Connector for Confluent Cloud には制限事項はありません。

Elasticsearch Service Sink Connector

Elasticsearch Service Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • このコネクターは、Elastic Cloud の Elasticsearch Service にのみ使用できます。
  • このコネクターは、Elasticsearch バージョン 7.1（およびそれ以降）との接続をサポートしています。Elasticsearch バージョン 8.x はサポートしていません。
  • Confluent Cloud クラスターとターゲットの Elasticsearch デプロイは、同じリージョンに存在している必要があります。

GitHub Source Connector

GitHub Source Connector for Confluent Cloud の制限事項は次のとおりです。

  • GitHub API の制限により、コネクターでは 1 つのタスクのみサポートされます。

Google BigQuery Sink Connector

Google Cloud BigQuery Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • コネクター構成で sanitizeTopics が true に設定されている場合でも、ソーストピック名は BigQuery の命名規則に準拠する必要があります。
  • スキーマベースのメッセージフォーマット（Avro など）を使用するには、有効なスキーマが Confluent Cloud Schema Registry に存在する必要があります。
  • Confluent の UI に表示されない構成プロパティでは、デフォルト値が使用されます。すべてのコネクタープロパティについては、「Google BigQuery Sink Connector 構成プロパティ」を参照してください。
  • トピック名は BigQuery のテーブル名にマップされます。たとえば、pageviews という名前のトピック、visitors という名前のトピック、website という名前のデータセットがある場合、BigQuery では、website データセット下に pageviews という名前の表と visitors という名前の表の 2 つが存在します。
  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。
    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

Google BigTable Sink Connector

Google Cloud BigTable Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • データベースと Kafka クラスターは同じリージョンに存在している必要があります。

Google Functions Sink Connector

Google Cloud Functions Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • ターゲットの Google Function は、Confluent Cloud クラスターと同じリージョンに存在している必要があります。
  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。
    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

Google Pub/Sub Source Connector

現時点では Google Pub/Sub Source Connector for Confluent Cloud には制限事項はありません。

Google Cloud Spanner Sink Connector

Google Cloud Spanner Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • Confluent Cloud クラスターとターゲットの Google Spanner クラスターは、同じ GCP リージョンに存在している必要があります。
  • Avro、JSON スキーマ、または Protobuf を使用するには、有効なスキーマが Confluent Cloud スキーマレジストリ に存在する必要があります。
  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。
    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

Google Cloud Storage Sink Connector

Google Cloud Storage Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • Confluent Cloud クラスターとターゲットの Google Cloud Storage（GCS）バケットは、同じ Google Cloud Platform リージョンに存在している必要があります。

  • 1 つのタスクで処理できるパーティションの数は最大 100 個です。

  • パーティショニング（毎時または毎日）は Kafka レコードの時刻に基づいています。

  • flush size: デフォルトは 1000 です。この値は、必要に応じて増やすことができます。Confluent Cloud 専用クラスター を実行する場合は、この値を下げることができます（最小値 1）。専用ではないクラスターの最小値は 1000 です。

    以下のシナリオは、レコードがストレージにフラッシュされる状況の例を表しています。

    • デフォルト設定の 1000 を使用しており、トピックに 6 つのパーティションがあります。1000 件を超えるレコードが各パーティションに存在するようになると、ストレージでのファイルの作成が開始されます。

    • デフォルト設定の 1000 を使用しており、パーティショナーが "毎時" に設定されています。午後 2 時から午後 3 時までの間に 1 つのパーティションに 500 件のレコードが到達します。午後 3 時に、さらに 5 件のレコードがそのパーティションに到達します。午後 3 時のストレージには、500 件のレコードが格納されます。

      注釈

      rotate.schedule.interval.ms プロパティと rotate.interval.ms プロパティを flush.size と一緒に使用して、ストレージにファイルを作成する条件を指定できます。これらのパラメーターが有効になると、最初に満たされた条件に基づいてファイルが保管されます。

      たとえば、トピックのパーティションが 1 つあるとします。flush.size=1000 と rotate.schedule.interval.ms=600000 （10 分）を設定します。12:01 から 12:10 までの間にこのトピックのパーティションに 500 件のレコードが到達します。12:11 から 12:20 までの間にさらに 500 件のレコードが到達します。それぞれ 500 件のレコードが入った 2 つのファイルがストレージバケットに作成されます。これは、flush.size=1000 条件が満たされる前に、10 分の rotate.schedule.interval.ms 条件が作動したからです。

  • schema.compatibility は NONE に設定されます。

  • スキーマベースのメッセージフォーマット（Avro など）を使用するには、有効なスキーマが Confluent Cloud Schema Registry に存在する必要があります。

  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。

    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

Google Cloud Storage Source Connector

The following are limitations for the Google Cloud Storage Source Connector for Confluent Cloud.

  • The connector ignores any GCS object with a name that does not start with the configured topics.dir directory. This name is topics/ by default.

  • The connector uses the connector name to store offsets that identify how much of the bucket it has processed. If you delete a connector and then use the same connector name for a new connector, the new connector will not reprocess data from the beginning of the bucket. The progress for the deleted connector is saved and the new connector starts from where the original connector's processing ended. The connector can start processing earlier bucket data if the corresponding entry in the offset topic is cleared.

  • For a new bucket, you need to create a new connector. If you reconfigure an existing connector to source from the new bucket, the connector will not source from the beginning of data stored in the bucket.

  • The connector will not reload data during the following scenarios:

    • Renaming a file that the connector has already read.
    • Uploading a newer version of an existing file with a new record.

  • There are compatibility constraints for certain input data formats.

    Output data format Supported input formats
    PROTOBUF, JSON_SR BYTES, AVRO
    JSON, AVRO, STRING AVRO, JSON, BYTES, STRING
    BYTES STRING, BYTES

  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。

    • org.apache.kafka.connect.transforms.HoistField$Value
    • org.apache.kafka.connect.transforms.HoistField$Key
    • org.apache.kafka.connect.transforms.ValueToKey
    • org.apache.kafka.connect.transforms.Filter
    • io.confluent.connect.transforms.Filter$Key
    • io.confluent.connect.transforms.Filter$Value

HTTP Sink Connector

現時点では HTTP Sink Connector for Confluent Cloud には制限事項はありません。

IBM MQ Source Connector

現時点では IBM MQ Source Connector for Confluent Cloud には制限事項はありません。

Jira Source Connector

Jira Source Connector for Confluent Cloud の制限事項は次のとおりです。

  • スキーマベースの出力フォーマットを使用するには、スキーマレジストリ でスキーマの互換性を NONE に設定する必要があります。
  • 日時によるレコードのフェッチがサポートされてないリソースでは、レコードが重複し、request.interval.ms 構成プロパティで指定された間隔でレコードが繰り返しフェッチされます。
  • コネクターでは、Jira 上のデータの削除を検出できません。
  • コネクターでは、Apache Kafka® トピック内の正確なレコード順序は保証されません。
  • ユーザーが設定したタイムゾーン（jira.username 構成プロパティで定義）は、コネクターで使用される Jira の全般的なタイムゾーンと一致している必要があります。

InfluxDB 2 Sink Connector

  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。
    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

InfluxDB Source Connector

現時点では、InfluxDB 2 Source Connector for Confluent Cloud には制限事項はありません。

Microsoft SQL Server Sink Connector

Microsoft SQL Server Sink（JDBC）Connector for Confluent Cloud の制限事項は次のとおりです。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • データベースと Kafka クラスターは同じリージョンに存在している必要があります。別のリージョンを使用する場合、追加のデータ転送料金が発生する可能性があります。
  • For tombstone records, set delete.enabled to true

Microsoft SQL Server CDC Source Connector (Debezium)

Confluent Cloud の Microsoft SQL Server CDC ソース（Debezium）コネクター の制限事項は次のとおりです。

  • 変更データキャプチャー（CDC）は、Enterprise、Developer、Enterprise Evaluation、Standard の各エディションでのみ使用できます。
  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • スキーマベースのメッセージフォーマット（Avro など）を使用するには、有効なスキーマが Confluent Cloud Schema Registry に存在する必要があります。
  • 組織では複数のコネクターを実行できますが、コネクターあたり 1 つのタスク（"tasks.max": "1"）という制限があります。

Microsoft SQL Server Source Connector

Microsoft SQL Server Source（JDBC）Connector for Confluent Cloud の制限事項は次のとおりです。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • スキーマベースのメッセージフォーマット（Avro など）を使用するには、有効なスキーマが Confluent Cloud Schema Registry に存在する必要があります。
  • timestamp または timestamp+incrementing モードの場合、タイムスタンプ列を null 許容にすることはできません。datetime2 にする必要があります。

MongoDB Atlas Sink Connector

MongoDB Atlas Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • このコネクターは MongoDB Atlas のみをサポートします。このコネクターは、セルフマネージド型 MongoDB データベースでは使用できません。

  • ドキュメント後処理の構成プロパティはサポートされていません。たとえば次のようなものです。

    • post.processor.chain
    • key.projection.type
    • value.projection.type
    • field.renamer.mapping

  • スキーマベースのメッセージフォーマット（Avro など）を使用するには、有効なスキーマが Confluent Cloud Schema Registry に存在する必要があります。

  • MongoDB データベースと Kafka クラスターは同じリージョンに存在している必要があります。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。

  • フィールド名にドットを使用することはできません（たとえば、Client.Email など）。フィールド名にドットが含まれている場合、次のようなエラーが表示されます。また、フィールド名に $ を使用することもできません。詳細については、「Field Names」を参照してください。

    Your record has an invalid BSON field name. Please check Mongo documentation for details.

  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。

    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

MongoDB Atlas Source Connector

MongoDB Atlas Source Connector for Confluent Cloud の制限事項は次のとおりです。

  • このコネクターは MongoDB Atlas のみをサポートします。このコネクターは、セルフマネージド型 MongoDB データベースでは使用できません。
  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。

MQTT Sink Connector

現時点では MQTT Sink Connector for Confluent Cloud には制限事項はありません。

MQTT Source Connector

  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。
    • org.apache.kafka.connect.transforms.HoistField$Value
    • org.apache.kafka.connect.transforms.ValueToKey

MySQL Sink Connector

MySQL Sink（JDBC）Connector for Confluent Cloud の制限事項は次のとおりです。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • データベースと Kafka クラスターは同じリージョンに存在している必要があります。
  • For tombstone records, set delete.enabled to true.

MySQL CDC Source Connector (Debezium)

Confluent Cloud の MySQL CDC ソース（Debezium）コネクター の制限事項は次のとおりです。

  • MariaDB は現在サポートされていません。詳細については、Debezium のドキュメント を参照してください。
  • Amazon Aurora は、マルチマスタークラスターを binlog マスターまたはワーカーとして使用したバイナリロギングをサポートしません。マルチマスタークラスター で binlog ベースの CDC ツールを使用することはできません。
  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • スキーマベースのメッセージフォーマット（Avro など）を使用するには、有効なスキーマが Confluent Cloud Schema Registry に存在する必要があります。
  • 組織では複数のコネクターを実行できますが、コネクターあたり 1 つのタスク（"tasks.max": "1"）という制限があります。

MySQL Source Connector

MySQL Source（JDBC）Connector for Confluent Cloud の制限事項は次のとおりです。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • timestamp または timestamp+incrementing モードの場合、タイムスタンプ列を null 許容にすることはできません。

Oracle CDC Source Connector

Oracle CDC Source Connector for Confluent Cloud の制限事項は次のとおりです。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。

Oracle Database Sink Connector

Oracle Database Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • Oracle Database のバージョンは 11.2.0.4 以降である必要があります。
  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • Oracle データベースと Kafka クラスターは同じリージョンに存在している必要があります。
  • 「データベースの考慮事項」も参照してください。

Oracle Database Source Connector

Oracle Database Source Connector for Confluent Cloud の制限事項は次のとおりです。

  • Oracle Database のバージョンは 11.2.0.4 以降である必要があります。
  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • スキーマベースのメッセージフォーマット（Avro など）を使用するには、有効なスキーマが Confluent Cloud Schema Registry に存在する必要があります。
  • timestamp または timestamp+incrementing モードの場合、タイムスタンプ列を null 許容にすることはできません。
  • Cloud Console に表示されない構成プロパティでは、デフォルト値が使用されます。プロパティの定義とデフォルト値については、「JDBC Connector Source Connector 構成プロパティ」を参照してください。

PostgreSQL Sink Connector

PostgreSQL Sink（JDBC）Connector for Confluent Cloud の制限事項は次のとおりです。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • データベースと Kafka クラスターは同じリージョンに存在している必要があります。別のリージョンを使用する場合、追加のデータ転送料金が発生する可能性があることに注意してください。
  • For tombstone records, set delete.enabled to true

Pagerduty Sink Connector

現時点では、PagerDuty Sink Connector for Confluent Cloud には制限事項はありません。

PostgreSQL CDC Source（Debezium）Connector

PostgreSQL CDC Source Connector (Debezium) for Confluent Cloud の制限事項は次のとおりです。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • Azure では、汎用の PostgreSQL データベースまたはメモリーが最適化された PostgreSQL データベースを使用する必要があります。基本データベースは使用できません。
  • スキーマベースのメッセージフォーマット（Avro など）を使用するには、有効なスキーマが Confluent Cloud Schema Registry に存在する必要があります。
  • Azure Virtual Network のクライアントは、デフォルトではサーバーへのアクセスが許可されません。Azure Virtual Network が正しく構成され、Azure サービスへのアクセスを許可 が有効になっていることを確認してください。
  • デフォルトのパーティションおよびレプリケーション係数のプロパティは次のとおりです。
    • topic.creation.default.partitions=1
    • topic.creation.default.replication.factor=3
  • オプションのプロパティ After-state only を使用する予定がある場合は、「After-state only の出力制限」を参照してください。
  • 組織では複数のコネクターを実行できますが、コネクターあたり 1 つのタスク（"tasks.max": "1"）という制限があります。

PostgreSQL Source Connector

PostgreSQL Source（JDBC）Connector for Confluent Cloud の制限事項は次のとおりです。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • スキーマベースのメッセージフォーマット（Avro など）を使用するには、有効なスキーマが Confluent Cloud Schema Registry に存在する必要があります。
  • Azure Virtual Network のクライアントは、デフォルトではサーバーへのアクセスが許可されません。Azure Virtual Network が正しく構成されていることを確認し、"Azure サービスへのアクセスを許可" を有効にしてください。
  • timestamp または timestamp+incrementing モードの場合、タイムスタンプ列を null 許容にすることはできません。
  • ジオメトリ列の型はサポートされていません。
  • Cloud Console に表示されない構成プロパティでは、デフォルト値が使用されます。プロパティの定義とデフォルト値については、「JDBC Connector Source Connector 構成プロパティ」を参照してください。

RabbitMQ Sink Connector

RabbitMQ Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。
    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

Redis Sink Connector

Redis Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • Redis インスタンスと Kafka クラスターは同じリージョンに存在している必要があります。

Salesforce Bulk API Source Connector

Salesforce Bulk API Source Connector for Confluent Cloud の制限事項は次のとおりです。

  • 組織では複数のコネクターを実行できますが、コネクターあたり 1 つのタスク（"tasks.max": "1"）という制限があります。

  • 再起動: コネクターは、実行中に、Connect オフセットトピックにクエリの最終実行時刻を定期的に記録します。コネクターは、再起動されると、LastModifiedDate がクエリの最終実行時刻よりも後の Salesforce オブジェクトをフェッチできます。

  • API の制限: Salesforce Bulk API Source Connector は、複合以外のフィールドに制限されます。たとえば、一括クエリでは、住所または地理位置情報のフィールドはサポートされていません。コネクターでは、住所および地理位置情報のフィールドは破棄されます。

  • Salesforce Bulk API Source Connector を使用しているときに、以下の Salesforce オブジェクト（SObject）エラーメッセージが表示される場合があります。

    Entity 'Order' is not supported to use PKChunking.

    これらの SObject の場合は、構成プロパティ Enable Batching を false（CLI プロパティ batch.enable=false）に設定します。

  • サポートされない SObject: サポートされる、またはサポートされない SObject のリストについては、「サポートされる SObject」および「サポートされない SObject」 を参照してください。

Salesforce CDC Source Connector

Salesforce CDC Source Connector for Confluent Cloud の制限事項は次のとおりです。

  • コネクター用に構成された Salesforce ユーザーアカウントには、View All Data （すべてのデータを表示）のアクセス許可が必要です。詳細については、「Required Permissions for Change Events Received by CometD Subscribers」を参照してください。
  • スキーマベースのメッセージフォーマット（Avro など）を使用するには、有効なスキーマが Confluent Cloud Schema Registry に存在する必要があります。

Salesforce Platform Event Sink Connector

Salesforce Platform Event Sink Connector for Confluent Cloud の制限事項は次のとおりです。

Salesforce Platform Event Source Connector

Salesforce Platform Event Source Connector for Confluent Cloud については、1 つの制限事項があります。

  • 組織では複数のコネクターを実行できますが、コネクターあたり 1 つのタスク（"tasks.max": "1"）という制限があります。

Salesforce PushTopic Source Connector

Salesforce PushTopic Source Connector for Confluent Cloud の制限事項は次のとおりです。

  • 組織では複数のコネクターを実行できますが、コネクターあたり 1 つのタスク（"tasks.max": "1"）という制限があります。
  • 少なくとも 1 回のデリバリーについては、以下の制限があります。
    • コネクターは、実行中に、Kafka に書き込まれた最新レコードの再生 ID を定期的に記録します。コネクターが停止してから 24 時間以内に再起動された場合は、停止した時点からの PushTopic の消費を続けるので、イベントの損失はありません。しかし、コネクターが 24 時間を超えて停止していた場合は、コネクターによる読み取りが可能になる前に、Salesforce 内で一部のイベントが破棄されます。
    • コネクターが失敗のため想定外に停止した場合は、Kafka に正常に書き込まれた最新レコードの再生 ID が記録されていない可能性があります。コネクターが再起動すると、最後に記録された再生 ID から再開されます。このため、Kafka で一部のイベントが重複する可能性があります。

Salesforce SObject Sink Connector

Salesforce SObject Sink Connector for Confluent Cloud の制限事項は次のとおりです。

ServiceNow Sink Connector

現時点では ServiceNow Sink Connector for Confluent Cloud には制限事項はありません。

ServiceNow Source Connector

現時点では ServiceNow Source Connector for Confluent Cloud には制限事項はありません。

SFTP Sink Connector

SFTP Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • flush size: デフォルトは 1000 です。この値は、必要に応じて増やすことができます。Confluent Cloud 専用クラスター を実行する場合は、この値を下げることができます（最小値 1）。専用ではないクラスターの最小値は 1000 です。

    以下のシナリオは、レコードがストレージにフラッシュされる状況の例を表しています。

    • デフォルト設定の 1000 を使用しており、トピックに 6 つのパーティションがあります。1000 件を超えるレコードが各パーティションに存在するようになると、ストレージでのファイルの作成が開始されます。

    • デフォルト設定の 1000 を使用しており、パーティショナーが "毎時" に設定されています。午後 2 時から午後 3 時までの間に 1 つのパーティションに 500 件のレコードが到達します。午後 3 時に、さらに 5 件のレコードがそのパーティションに到達します。午後 3 時のストレージには、500 件のレコードが格納されます。

      注釈

      rotate.schedule.interval.ms プロパティと rotate.interval.ms プロパティを flush.size と一緒に使用して、ストレージにファイルを作成する条件を指定できます。これらのパラメーターが有効になると、最初に満たされた条件に基づいてファイルが保管されます。

      たとえば、トピックのパーティションが 1 つあるとします。flush.size=1000 と rotate.schedule.interval.ms=600000 （10 分）を設定します。12:01 から 12:10 までの間にこのトピックのパーティションに 500 件のレコードが到達します。12:11 から 12:20 までの間にさらに 500 件のレコードが到達します。それぞれ 500 件のレコードが入った 2 つのファイルがストレージバケットに作成されます。これは、flush.size=1000 条件が満たされる前に、10 分の rotate.schedule.interval.ms 条件が作動したからです。

  • schema.compatibility は NONE に設定されます。

  • スキーマベースのメッセージフォーマット（Avro など）を使用するには、有効なスキーマが Confluent Cloud Schema Registry に存在する必要があります。

  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。

    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

SFTP Source Connector

SFTP Source Connector for Confluent Cloud の制限事項は次のとおりです。

  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。
    • org.apache.kafka.connect.transforms.HoistField$Value
    • org.apache.kafka.connect.transforms.ValueToKey
  • 現在、SFTP Source Connector には、特定の SFTP ディレクトリのファイルを処理する際に、ファイルの読み取りおよび移動は 1 回限りという制限があります。後に同じ名前のファイルが同じ SFTP ディレクトリで生成された場合、そのファイルはコネクターでは処理されません。

Snowflake Sink Connector

Snowflake Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • サービス環境に応じて、なんらかのネットワークアクセス制限が存在する場合があります。コネクターがサービスにアクセスできることを確認してください。詳細については、「Networking and DNS Considerations」を参照してください。
  • Snowflake データベースと Kafka クラスターは同じリージョンに存在している必要があります。
  • Snowflake Sink Connector は、コネクターが削除されたときに Snowflake パイプを除去しません。Snowflake パイプを手動でクリーンアップする方法については、パイプのドロップ を参照してください。
  • スキーマベースのメッセージフォーマット（Avro など）を使用するには、有効なスキーマが Confluent Cloud Schema Registry に存在する必要があります。
  • 各タスクのトピックのパーティション数は、buffer.size.bytes プロパティの値に基づいて制限されます。たとえば、10 MB バッファサイズではトピックのパーティション数は 50 に制限されます。20 MB バッファでは 25、50 MB バッファでは 10、100 MB バッファでは 5 です。
  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。
    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

Solace Sink Connector

Solace Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • コネクターはキューを作成できますが、永続トピックのエンドポイントは作成できません。
  • スキーマレジストリ ベースのフォーマット（Avro など）を使用するには、有効なスキーマが Schema Registry に存在する必要があります。
  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。
    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

Splunk Sink Connector

Splunk Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • 無効なインデックスが指定されると、コネクターは Splunk に正常にイベントを送信しますが、Splunk では破棄されたように見えます。

Zendesk Source Connector

Zendesk Source Connector for Confluent Cloud の制限事項は次のとおりです。

  • コネクターインスタンスごとに 1 つのタスクという制限があります。

Cloud コネクターの制限事項

プレビューコネクターの制限事項については、以下を参照してください。

注意

プレビューコネクターは現在サポート対象外であり、本稼働環境での使用には推奨されません。

Google Cloud Dataproc Sink Connector

Google Cloud Dataproc Sink Connector for Confluent Cloud の制限事項は次のとおりです。

  • Confluent Cloud クラスターとターゲットの Dataproc クラスターが VPC ピアリング構成に指定されている必要があります。

    注釈

    VPC ピアリング環境以外では、Dataproc クラスターが配置されている VPC に対するパブリックインバウンドトラフィックアクセス（0.0.0.0/0）を許可する必要があります。また、Dataproc マスターとワーカーノード（HDFS NameNode および DataNodes）のプライベート IP アドレスを維持しながら、Dataproc クラスターへのパブリックアクセスを許可するように構成を変更する必要もあります。構成の詳細については、「非 VPC ピアリング環境の構成」を参照してください。リソースに対するパブリックインターネットアクセスの詳細については、「Networking and DNS Considerations」を参照してください。

  • Dataproc イメージのバージョンは 1.4（またはそれ以降）でなければなりません。Cloud の『Dataproc イメージ バージョン リスト』を参照してください。

  • 1 つのタスクで処理できるパーティションの数は最大 100 個です。

  • プレビューコネクターでは、JSON フォーマットで入力して AVRO フォーマットで出力することはできません。

  • パーティショニング（毎時または毎日）は Kafka レコードの時刻に基づいています。

  • flush size: デフォルトは 1000 です。この値は、必要に応じて増やすことができます。Confluent Cloud 専用クラスター を実行する場合は、この値を下げることができます（最小値 1）。専用ではないクラスターの最小値は 1000 です。

    以下のシナリオは、レコードがストレージにフラッシュされる状況の例を表しています。

    • デフォルト設定の 1000 を使用しており、トピックに 6 つのパーティションがあります。1000 件を超えるレコードが各パーティションに存在するようになると、ストレージでのファイルの作成が開始されます。

    • デフォルト設定の 1000 を使用しており、パーティショナーが "毎時" に設定されています。午後 2 時から午後 3 時までの間に 1 つのパーティションに 500 件のレコードが到達します。午後 3 時に、さらに 5 件のレコードがそのパーティションに到達します。午後 3 時のストレージには、500 件のレコードが格納されます。

      注釈

      rotate.schedule.interval.ms プロパティと rotate.interval.ms プロパティを flush.size と一緒に使用して、ストレージにファイルを作成する条件を指定できます。これらのパラメーターが有効になると、最初に満たされた条件に基づいてファイルが保管されます。

      たとえば、トピックのパーティションが 1 つあるとします。flush.size=1000 と rotate.schedule.interval.ms=600000 （10 分）を設定します。12:01 から 12:10 までの間にこのトピックのパーティションに 500 件のレコードが到達します。12:11 から 12:20 までの間にさらに 500 件のレコードが到達します。それぞれ 500 件のレコードが入った 2 つのファイルがストレージバケットに作成されます。これは、flush.size=1000 条件が満たされる前に、10 分の rotate.schedule.interval.ms 条件が作動したからです。

  • schema.compatibility は NONE に設定されます。

  • スキーマベースのメッセージフォーマット（Avro など）を使用するには、有効なスキーマが Confluent Cloud Schema Registry に存在する必要があります。

  • Confluent Cloud と Confluent Cloud Enterprise では、組織はタスク 1 つとコネクター 1 つに制限されます。このコネクターは期間限定で無料で使用できます。

  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。

    • org.apache.kafka.connect.transforms.TimestampRouter
    • io.confluent.connect.transforms.MessageTimestampRouter
    • io.confluent.connect.transforms.ExtractTopic$Header
    • io.confluent.connect.transforms.ExtractTopic$Key
    • io.confluent.connect.transforms.ExtractTopic$Value
    • io.confluent.connect.cloud.transforms.TopicRegexRouter

注釈

Confluent Cloud Enterprise を利用している場合、このコネクターの一般提供の開始後、その使用の詳細について Confluent の営業担当者にお問い合わせください。

RabbitMQ Source Connector

  • 現在、コネクターでは以下の Single Message Transformations（SMT） をサポートしていません。
    • org.apache.kafka.connect.transforms.HoistField$Value
    • org.apache.kafka.connect.transforms.ValueToKey

注釈

Confluent Cloud Enterprise を利用している場合、このコネクターの一般提供の開始後、その使用の詳細について Confluent の営業担当者にお問い合わせください。