Salesforce Bulk API Source Connector 構成プロパティ¶
このコネクターを使用するには、connector.class
構成プロパティでこのコネクタークラスの名前を指定します。
connector.class=io.confluent.connect.salesforce.SalesforceBulkApiSourceConnector
コネクター固有の構成プロパティについて、以降で説明します。
接続¶
salesforce.username
コネクターで使用される Salesforce ユーザー名。
- 型: string
- 指定可能な値: 空ではない文字列
- 重要度: 高
salesforce.password
コネクターで使用される Salesforce パスワード。
- 型: password
- 重要度: 高
salesforce.password.token
ユーザー名に関連付けられた Salesforce セキュリティトークン。
- 型: password
- 重要度: 高
salesforce.instance
使用する Salesforce エンドポイントの URL。これにより、コネクターは、認証応答の中で指定されたエンドポイントを使用します。
- 型: string
- デフォルト : https://login.salesforce.com
- 指定可能な値: 「https」と「http」のいずれかのスキームを使用した URI
- 重要度: 高
salesforce.object
Salesforce オブジェクト名
- 型: string
- 指定可能な値: 空ではない文字列
- 重要度: 高
poll.interval.ms
Salesforce に対して新規レコードのクエリを実行する頻度
- 型: long
- デフォルト: 10000
- 指定可能な値: [8700,…,2147483647]
- 重要度: 高
batch.enable
PK Chunking を適用したバッチ処理を有効にします。
- 型: boolean
- デフォルト: true
- 重要度: 中
batch.max.rows
Bulk API によって返される各バッチ内の Salesforce テーブルの最大レコードおよび行数。デフォルト値は、Salesforce のドキュメント に従って 100000 に設定されています。
- 型: int
- デフォルト: 100000
- 指定可能な値: [1,…,250000]
- 重要度: 中
salesforce.since
CreatedDate。これ以降のレコードがプルされます。フォーマットは yyyy-MM-dd にする必要があります。
- 型: string
- デフォルト: 現在の日付
- 指定可能な値 :
Salesforce Since
として有効なyyyy-MM-dd
フォーマット - 重要度: 高
http.proxy
コネクターが Salesforce との通信している際に使用する必要がある HTTP(S)プロキシホストおよびポート。このデフォルトは空の文字列で、プロキシを使用しないことを意味します。
- 型: string
- デフォルト: null
- 重要度: 低
http.proxy.auth.scheme
HTTP(S)プロキシでコネクターの認証に使用される認証スキーム。基本および NTLM 認証スキームがサポートされています。
- 型: string
- デフォルト: NONE
- 指定可能な値: [NTLM, NONE, BASIC] のいずれか
- 重要度: 低
http.proxy.user
Salesforce に接続するための Salesforce プロキシユーザー名。
- 型: string
- デフォルト: ""
- 重要度: 低
http.proxy.password
Salesforce に接続するための Salesforce プロキシのパスワード。
- 型: password
- デフォルト: [hidden]
- 重要度: 低
http.proxy.auth.ntlm.domain
NTLM スキーマが使用される場合に認証するドメイン。
- 型: string
- デフォルト: null
- 重要度: 低
Kafka¶
kafka.topic
データのパブリッシュ先である Apache Kafka のトピック。トピックは 1 つだけ指定する必要があります。Salesforce のレコードがこのトピックにパブリッシュされます。
- 型: string
- 指定可能な値: 有効なトピック名(正規表現 [a-zA-Z0-9._-]{1,249} に一致)
- 重要度: 高
トピックの自動作成¶
トピックの自動作成の詳細については、「ソースコネクターのトピックの自動作成の構成|userguide.html#connect-source-auto-topic-creation 」を参照してください。
注釈
構成プロパティには、Java regex として定義されている正規表現(regex)を使用できます。
topic.creation.groups
一致するトピックにグループ別のトピック構成を定義するために使用するグループ別名のリスト。
default
グループは常に存在し、すべてのトピックに一致します。- 型: String 型のリスト
- デフォルト: 空
- 指定可能な値: このプロパティの値には、追加グループを指定できます。トピックの構成には常に
default
グループが定義されています。
topic.creation.$alias.replication.factor
コネクターで作成する新規トピックのレプリケーション係数。この値は、Kafka クラスターのブローカーの数を超えてはなりません。この値が Kafka ブローカーの数よりも大きい場合、コネクターがトピックの作成を試行するとエラーが発生します。
default
グループの場合、これは 必須のプロパティ です。topic.creation.groups
で定義されている他のグループの場合、このプロパティでは、省略可能です。他のグループは、Kafka ブローカーのデフォルト値を使用します。- 型: int
- デフォルト: なし
- 指定可能な値 : 具体的な有効値を指定する場合は
>= 1
で指定し、Kafka ブローカーのデフォルト値を使用する場合は-1
を指定します。
topic.creation.$alias.partitions
このコネクターによって作成されるトピックのパーティションの数。
default
グループの場合、これは 必須のプロパティ です。topic.creation.groups
で定義されている他のグループの場合、このプロパティは省略可能です。他のグループでは、Kafka ブローカーのデフォルト値が使用されます。- 型: int
- デフォルト: なし
- 指定可能な値 : 具体的な有効値を指定する場合は
>= 1
で指定し、Kafka ブローカーのデフォルト値を使用する場合は-1
を指定します。
topic.creation.$alias.include
トピック名に一致する正規表現を表す文字列のリスト。このリストは、一致する値を持つトピックを対象に含め、このグループの特定の構成を一致するトピックに適用するために使用します。
topic.creation.groups
で定義されているすべてのグループに、$alias
が適用されます。default
グループには、このプロパティは適用されません。- 型: String 型のリスト
- デフォルト: 空
- 指定可能な値: 正確なトピック名または正規表現のコンマ区切りのリスト。
topic.creation.$alias.exclude
トピック名に一致する正規表現を表す文字列のリスト。このリストは、一致する値を持つトピックを、グループの特定の構成の適用から除外するために使用します。
topic.creation.groups
で定義されているすべてのグループに、$alias
が適用されます。default
グループには、このプロパティは適用されません。トピックの除外ルールは、すべての包含ルールをオーバーライドすることに注意してください。- 型: String 型のリスト
- デフォルト: 空
- 指定可能な値: 正確なトピック名または正規表現のコンマ区切りのリスト。
topic.creation.$alias.${kafkaTopicSpecificConfigName}
レコードの書き込み先の Kafka ブローカーのバージョンに対するすべての ブローカー構成の動的な変更 。ルールに対して構成が指定されていない場合、ブローカーのトピックレベルの構成値が使用されます。
default
グループ、およびtopic.creation.groups
で定義されているすべてのグループに、$alias
が適用されます。- 型: プロパティ値
- デフォルト : Kafka ブローカー値
Confluent Platform ライセンス¶
confluent.topic.bootstrap.servers
ライセンス供与に使用される Kafka クラスターとの初期接続を確立するために使用するホストとポートのペアのリスト。初期接続で、クラスター内のすべてのサーバーが検出されます。このリストは、host1:port1,host2:port2,…
という形式にする必要があります。これらのサーバーは、初期接続ですべてのクラスターメンバーシップを検出するためにのみ使用されます。これは動的に変わる可能性があるので、このリストにすべてのサーバーセットを含める必要はありません(ただし、サーバーの障害に備えて、複数指定しておくこともできます)。
- 型: List
- 重要度: 高
confluent.topic
Confluent Platform の構成(ライセンス情報など)で使用される Kafka のトピックの名前。
- 型: string
- デフォルト: _confluent-command
- 重要度: 低
confluent.topic.replication.factor
Confluent Platform の構成(ライセンス情報など)で使用される Kafka のトピックのレプリケーション係数。これは、トピックがまだ存在しない場合にのみ使用されます。デフォルトの 3 は、本稼働環境での使用に適しています。ブローカー数が 3 未満の開発環境を使用する場合は、そのブローカー数をこのプロパティに設定する必要があります(多くの場合、1 です)。。
- 型: int
- デフォルト: 3
- 重要度: 低
Confluent ライセンスのプロパティ¶
ちなみに
コネクターの構成にライセンス関連のプロパティを含めることができますが、Confluent Platform バージョン 6.0 以降では、各コネクターの構成ではなく、Connect ワーカーの構成 でライセンス関連のプロパティを設定できるようになりました。
注釈
このコネクターはプロプライエタリであり、ライセンスが必要です。ライセンス情報は、_confluent-command
トピックに格納されています。ブローカーで、接続に SSL が要求される場合は、以下で説明するセキュリティ関連の confluent.topic.*
プロパティを含める必要があります。
confluent.license
Confluent では、各契約者にエンタープライズライセンスキーを発行します。ライセンスキーはテキストであるため、コピーアンドペーストで
confluent.license
の値として使用できます。試用ライセンスでは、コネクターを 30 日間使用できます。開発者ライセンスでは、ブローカーが 1 つの開発環境で、コネクターを無期限に使用できます。既にご契約されている場合は、詳細について Confluent サポートにお問い合わせください。
- 型: string
- デフォルト: ""
- 指定可能な値: Confluent Platform ライセンス
- 重要度: 高
confluent.topic.ssl.truststore.location
トラストストアファイルの場所。
- 型: string
- デフォルト: null
- 重要度: 高
confluent.topic.ssl.truststore.password
トラストストアファイルのパスワード。パスワードを設定しなくてもトラストストアにアクセスできますが、整合性チェックは無効になります。
- 型: password
- デフォルト: null
- 重要度: 高
confluent.topic.ssl.keystore.location
キーストアファイルの場所。クライアントでは省略可能です。クライアントの相互認証に使用できます。
- 型: string
- デフォルト: null
- 重要度: 高
confluent.topic.ssl.keystore.password
キーストアファイルのストアパスワード。クライアントでは省略可能です。ssl.keystore.location を構成した場合にのみ必要となります。
- 型: password
- デフォルト: null
- 重要度: 高
confluent.topic.ssl.key.password
キーストアファイル内のプライベートキーのパスワード。クライアントでは省略可能です。
- 型: password
- デフォルト: null
- 重要度: 高
confluent.topic.security.protocol
ブローカーとの通信に使用されるプロトコル。指定可能な値は、PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL です。
- 型: string
- デフォルト: "PLAINTEXT"
- 重要度: 中
ライセンストピックの構成¶
Confluent エンタープライズライセンスは、_confluent-command
トピックに格納されます。このトピックは、デフォルトで作成され、confluent.license
プロパティで指定されたライセンスキーに対応するライセンスが含まれます。
注釈
パブリックキーは Kafka のトピックには格納されません。
以下では、デフォルトの _confluent-command
トピックがさまざまなシナリオでどのように生成されるかを説明します。
confluent.license
プロパティを追加していない場合、またはこのプロパティを(confluent.license=
などで)空にした場合は、_confluent command
トピックに、30 日間の試用ライセンスが自動的に生成されます。- 有効なライセンスキーを(
confluent.license=<valid-license-key>
などで)追加すると、有効なライセンスが_confluent-command
トピックに追加されます。
以下は、開発およびテスト用の最小限のプロパティの例です。
_confluent-command
トピックの名前は confluent.topic
プロパティを使用して変更できます(たとえば、環境に厳格な命名規則がある場合など)。以下の例は、この変更と、構成される Kafka ブートストラップサーバーを示しています。
confluent.topic=foo_confluent-command
confluent.topic.bootstrap.servers=localhost:9092
上の例は、開発およびテストで使用できる、ブートストラップサーバーの必要最小限のプロパティを示しています。本稼働環境の場合は、プレフィックスとして confluent.topic.
を付けて、通常のプロデューサー、コンシューマー、およびトピックの各構成プロパティをコネクターのプロパティに追加します。
デフォルトの構成プロパティのオーバーライド¶
confluent.topic.replication.factor
を使用することにより、レプリケーション係数をオーバーライドできます。たとえば、(開発およびテスト用の)ブローカー数 3 未満の環境で送信先として Kafka クラスターを使用する場合、confluent.topic.replication.factor
プロパティに 1
を設定する必要があります。
プロデューサー固有のプロパティは、confluent.topic.producer.
プレフィックスを使用することによりオーバーライドできます。コンシューマー固有のプロパティは、confluent.topic.consumer.
プレフィックスを使用することによりオーバーライドできます。
デフォルト値を使用することも、他のプロパティをカスタマイズすることもできます。たとえば、confluent.topic.client.id
プロパティのデフォルトは、コネクターの名前に -licensing
サフィックスを付けたものです。クライアント接続に SSL または SASL を必要とするブローカーの構成設定では、このプレフィックスを使用します。
トピックのクリーンアップのポリシーはオーバーライドできません。トピックは、常にパーティションが単一で、圧縮されるからです。また、このプレフィックスを使用してシリアライザーおよびデシリアライザーを指定しないでください。追加しても無視されます。