シンクの構成プロパティ¶
このトピックでは、Confluent Platform で使用できる構成パラメーターについて説明します。パラメーターは、重要度の高いものから順に並べられています。
-
name
このコネクターに使用するグローバルに一意の名前。
型: string デフォルト: 指定可能な値: ISO 制御文字を含まない空白以外の文字列 重要度: 高 -
connector.class
このコネクターのクラスの名前またはエイリアス。org.apache.kafka.connect.connector.Connector のサブクラスである必要があります。コネクターが org.apache.kafka.connect.file.FileStreamSinkConnector である場合、このフルネームを指定するか、"FileStreamSink" または "FileStreamSinkConnector" を使用して構成を多少短くすることができます。
型: string デフォルト: 指定可能な値: 重要度: 高 -
tasks.max
このコネクターに使用するタスクの最大数。
型: int デフォルト: 1 指定可能な値: [1,...] 重要度: 高 -
topics
消費対象のトピックのコンマ区切りのリスト
型: リスト デフォルト: "" 指定可能な値: 重要度: 高 -
topics.regex
消費対象のトピックを指定する正規表現。内部的には、正規表現はコンパイルされ、
java.util.regex.Pattern
になります。1 つのトピックのみ、または topics.regex を指定する必要があります。型: string デフォルト: "" 指定可能な値: 有効な正規表現 重要度: 高 -
key.converter
Kafka Connect フォーマットと、Kafka に書き込まれるシリアル化形式の間での変換のために使用されるコンバーターのクラス。このプロパティでは、Kafka に対して読み書きされるメッセージのキーのフォーマットを制御します。また、これはコネクターに依存しないため、どのコネクターもすべてのシリアル化形式で動作します。一般的なフォーマットの例には JSON や Avro があります。
型: class デフォルト: null 指定可能な値: 重要度: 低 -
value.converter
Kafka Connect フォーマットと、Kafka に書き込まれるシリアル化形式の間での変換のために使用されるコンバーターのクラス。このプロパティでは、Kafka に対して読み書きされるメッセージの値のフォーマットを制御します。また、これはコネクターに依存しないため、どのコネクターもすべてのシリアル化形式で動作します。一般的なフォーマットの例には JSON や Avro があります。
型: class デフォルト: null 指定可能な値: 重要度: 低 -
header.converter
Kafka Connect フォーマットと、Kafka に書き込まれるシリアル化形式の間での変換のために使用される HeaderConverter クラス。このプロパティでは、Kafka に対して読み書きされるメッセージのヘッダー値のフォーマットを制御します。また、これはコネクターに依存しないため、どのコネクターもすべてのシリアル化形式で動作します。一般的なフォーマットの例には JSON や Avro があります。デフォルトでは、SimpleHeaderConverter が、ヘッダー値を文字列にシリアル化し、スキーマを推測して逆シリアル化するために使用されます。
型: class デフォルト: null 指定可能な値: 重要度: 低 -
config.action.reload
外部の構成プロバイダーの変更によりコネクターの構成プロパティが変更された場合に、Connect がコネクターに対して実行すべきアクション。値「none」は、Connect が一切のアクションを実行しないことを意味します。値「restart」は、Connect が更新された構成プロパティでコネクターを再起動または再読み込みすることを意味します。外部の構成プロバイダーが将来的に構成値が期限切れになることを示している場合は、実際の再起動が将来にスケジュールされることがあります。
型: string デフォルト: restart 指定可能な値: [none、restart] 重要度: 低 -
transforms
レコードに適用される変換のエイリアス。
型: リスト デフォルト: "" 指定可能な値: null 以外の文字列、一意の変換エイリアス 重要度: 低 -
predicates
変換によって使用される述語のエイリアス。
型: リスト デフォルト: "" 指定可能な値: null 以外の文字列、一意の述語エイリアス 重要度: 低 -
errors.retry.timeout
失敗した操作が再試行されるまでの最長時間(単位: ミリ秒)。デフォルトの 0 は、再試行が一切行われないことを意味します。-1 を使用すると、無限に再試行されます。
型: long デフォルト: 0 指定可能な値: 重要度: 中 -
errors.retry.delay.max.ms
連続的な再試行の最大間隔(単位: ミリ秒)。この制限に達すると、thundering herd 問題を回避するために、遅延にジッターが追加されます。
型: long デフォルト: 60000(1 分) 指定可能な値: 重要度: 中 -
errors.tolerance
コネクター操作中のエラーを許容するための動作。「none」はデフォルト値で、すべてのエラーが即座にコネクタータスクの失敗になることを意味します。「all」は、問題のあるレコードをスキップするように動作を変更します。
型: string デフォルト: なし 指定可能な値: [none、all] 重要度: 中 -
errors.log.enable
true の場合、各エラーと、失敗した操作および問題のあるレコードの詳細が Connect アプリケーションのログに書き込まれます。デフォルトでは「false」であるため、許容されないエラーのみが報告されます。
型: boolean デフォルト: false 指定可能な値: 重要度: 中 -
errors.log.include.messages
失敗した Connect レコードをログに含めるかどうか。デフォルトの「false」では、レコードのキー、値、ヘッダーがログファイルに書き込まれませんが、トピックやパーティション番号などの一部の情報は引き続きログに記録されます。
型: boolean デフォルト: false 指定可能な値: 重要度: 中 -
errors.deadletterqueue.topic.name
このシンクコネクターまたはその変換 / コンバーターによって処理された場合にエラーになるメッセージのデッドレターキュー(DLQ)として使用されるトピックの名前。トピック名はデフォルトで空白です。これは、DLQ に一切メッセージが記録されないことを意味します。
型: string デフォルト: "" 指定可能な値: 重要度: 中 -
errors.deadletterqueue.topic.replication.factor
デッドレターキュートピックを作成するため(まだ存在しない場合)に使用されるレプリケーション係数。
型: short デフォルト: 3 指定可能な値: 重要度: 中 -
errors.deadletterqueue.context.headers.enable
true の場合、エラーのコンテキストを含むヘッダーを、デッドレターキューに書き込まれるメッセージに追加します。元のレコードのヘッダーとの競合を回避するために、すべてのエラーコンテキストのヘッダーキーは __connect.errors で始まります。
型: boolean デフォルト: false 指定可能な値: 重要度: 中
注釈
このウェブサイトには、Apache License v2 の条件に基づいて Apache Software Foundation で開発されたコンテンツが含まれています。