Azure Synapse Analytics Sink Connector 構成プロパティ¶
このコネクターを使用するには、connector.class
構成プロパティでコネクタークラスの名前を指定します。
connector.class=io.confluent.connect.azuresqldw.AzureSqlDwSinkConnector
コネクター固有の構成プロパティについて、以降で説明します。
データベース接続のセキュリティ¶
コネクターの構成にセキュリティのパラメーターがないことに気づかれるでしょう。これは、SSL が JDBC 標準に含まれておらず、使用中の JDBC ドライバーに依存するからです(このコネクターは、SQL Server 用 Microsoft JDBC ドライバー を使用します)。通常は、SSL を azure.sql.dw.url
パラメーターで構成する必要があります。たとえば、SSL で暗号化する接続 URL は以下のように指定できます。
azure.sql.dw.url="jdbc:sqlserver://sample-server.database.windows.net:1433;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;"
SSL 暗号化を有効にするために使用できる各種接続プロパティの詳細については、ここ にあるドキュメントを参照してください。
Azure Synapse Analytics¶
azure.sql.dw.url
Synapse Analytics 用の JDBC 接続 URL
- 型: string
- 重要度: 高
azure.sql.dw.user
Synapse Analytics ユーザー
- 型: string
- デフォルト: null
- 重要度: 高
azure.sql.dw.password
Synapse Analytics パスワード
- 型: password
- デフォルト: null
- 重要度: 高
azure.sql.dw.database.name
接続先のデータベースの名前
- 型: string
- デフォルト: null
- 重要度: 高
データマッピング¶
table.name.format
マップ先テーブル名の形式制御文字列。マップ元のトピック名を表すプレースホルダーとして「${topic}」を含めることができます。
たとえば、トピック「orders」の
kafka_${topic}
は、テーブル名「kafka_orders」にマップされます。- 型: string
- デフォルト:
${topic}
- 重要度: 中
fields.whitelist
レコード値フィールド名のコンマ区切りのリスト。空の場合は、レコード値のすべてのフィールドが利用されます。リストを設定した場合は、目的のフィールドのフィルター処理に使用されます。
- 型: list
- デフォルト: ""
- 重要度: 中
db.timezone
コネクターで時間ベースの値を挿入する場合に使用する必要がある JDBC タイムゾーンの名前。デフォルトは UTC です。
- 型: string
- デフォルト: UTC
- 重要度: 中
書き込み¶
batch.size
書き込み先テーブルへの挿入で、バッチ処理を試みる際のレコード数を指定します(可能な場合)。
- 型: int
- デフォルト: 3000
- 指定可能な値: [0,...]
- 重要度: 中
SQL/DDL サポート¶
auto.create
書き込み先テーブルが指定されていないことが判明した場合に、
CREATE
を発行して、レコードスキーマに基づくテーブルを自動的に作成するかどうかを指定します。- 型: boolean
- デフォルト: false
- 重要度: 中
auto.evolve
テーブルスキーマで列が指定されていない場合に、
ALTER
を発行し、レコードスキーマに応じて列を自動的に追加するかどうかを指定します。- 型: boolean
- デフォルト: false
- 重要度: 中
quote.sql.identifiers
SQL ステートメントで、テーブル名、列名、その他の識別子をいつ引用するかを指定します。後方互換性のため、デフォルトは「always」となっています。
- 型: string
- デフォルト: ALWAYS
- 重要度: 中
再試行¶
max.retries
エラー時に再試行する最大回数。これを超えるとタスクは失敗します。
- 型: int
- デフォルト: 10
- 指定可能な値: [0,...]
- 重要度: 中
retry.backoff.ms
エラーの後、再試行するまでの待ち時間(ミリ秒)。
- 型: int
- デフォルト: 3000
- 指定可能な値: [0,...]
- 重要度: 中
Confluent Platform ライセンス¶
confluent.topic.bootstrap.servers
ライセンス供与に使用される Kafka クラスターとの初期接続を確立するために使用するホストとポートのペアのリスト。初期接続で、クラスター内のすべてのサーバーが検出されます。このリストは、host1:port1,host2:port2,...
という形式にする必要があります。これらのサーバーは、初期接続ですべてのクラスターメンバーシップを検出するためにのみ使用されます。これは動的に変わる可能性があるので、このリストにすべてのサーバーセットを含める必要はありません(ただし、サーバーの障害に備えて、複数指定しておくこともできます)。
- 型: list
- 重要度: 高
confluent.topic
Confluent Platform の構成(ライセンス情報など)で使用される Kafka のトピックの名前。
- 型: string
- デフォルト: _confluent-command
- 重要度: 低
confluent.topic.replication.factor
Confluent Platform の構成(ライセンス情報など)で使用される Kafka のトピックのレプリケーション係数。これは、トピックがまだ存在しない場合にのみ使用されます。デフォルトの 3 は、本稼働環境での使用に適しています。ブローカー数が 3 未満の開発環境で使用する場合は、そのブローカー数をこのプロパティに設定する必要があります(多くの場合、1 です)。
- 型: int
- デフォルト: 3
- 重要度: 低
Confluent ライセンスのプロパティ¶
ちなみに
コネクターの構成にライセンス関連のプロパティを含めることができますが、Confluent Platform バージョン 6.0 以降では、各コネクターの構成ではなく、Connect ワーカーの構成 でライセンス関連のプロパティを構成できるようになりました。
注釈
このコネクターはプロプライエタリであり、ライセンスが必要です。ライセンス情報は、_confluent-command
トピックに保存されています。ブローカーで、接続に SSL が要求される場合は、以下で説明するセキュリティ関連の confluent.topic.*
プロパティを含める必要があります。
confluent.license
Confluent では、各契約者にエンタープライズライセンスキーを発行します。ライセンスキーはテキストであるため、コピーアンドペーストで
confluent.license
の値として使用できます。試用版ライセンスでは、コネクターを 30 日間使用できます。開発者ライセンスでは、ブローカーが 1 つの開発環境で、コネクターを無期限に使用できます。既にご契約されている場合は、詳細について Confluent サポートにお問い合わせください。
- 型: string
- デフォルト: ""
- 指定可能な値: Confluent Platform ライセンス
- 重要度: 高
confluent.topic.ssl.truststore.location
トラストストアファイルの場所。
- 型: string
- デフォルト: null
- 重要度: 高
confluent.topic.ssl.truststore.password
トラストストアファイルのパスワード。パスワードが設定されていなくてもトラストストアにアクセスできますが、整合性チェックが無効になります。
- 型: password
- デフォルト: null
- 重要度: 高
confluent.topic.ssl.keystore.location
キーストアファイルの場所。クライアントでは省略可能です。クライアントの相互認証に使用できます。
- 型: string
- デフォルト: null
- 重要度: 高
confluent.topic.ssl.keystore.password
キーストアファイルのストアパスワード。クライアントでは省略可能です。ssl.keystore.location を構成した場合にのみ必要となります。
- 型: password
- デフォルト: null
- 重要度: 高
confluent.topic.ssl.key.password
キーストアファイルの秘密鍵のパスワード。クライアントでは省略可能です。
- 型: password
- デフォルト: null
- 重要度: 高
confluent.topic.security.protocol
ブローカーとの通信に使用されるプロトコル。指定可能な値は、PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL です。
- 型: string
- デフォルト: "PLAINTEXT"
- 重要度: 中
ライセンストピックの構成¶
Confluent エンタープライズライセンスは、_confluent-command
トピックに保存されています。このトピックは、デフォルトで作成され、confluent.license
プロパティで指定されたライセンスキーに対応するライセンスが含まれます。
注釈
公開鍵は Kafka トピックには保存されません。
以下に、デフォルトの _confluent-command
トピックがさまざまなシナリオでどのように生成されるかを説明します。
confluent.license
プロパティを追加していない場合、またはこのプロパティを(confluent.license=
などで)空にした場合は、_confluent command
トピックに、30 日間の試用版ライセンスが自動的に生成されます。- 有効なライセンスキーを(
confluent.license=<有効なライセンスキー>
などで)追加すると、有効なライセンスが_confluent-command
トピックに追加されます。
以下は、開発およびテスト用の最小限のプロパティの例です。
使用する環境に厳格な命名規則がある場合などには、confluent.topic
プロパティを使用することにより、_confluent-command
トピックの名前を変更できます。以下の例は、この変更と、構成された Kafka ブートストラップサーバーを示しています。
confluent.topic=foo_confluent-command
confluent.topic.bootstrap.servers=localhost:9092
上の例は、開発およびテストで使用できるブートストラップサーバーの必要最小限のプロパティを示しています。本稼働環境の場合は、プレフィックスとして confluent.topic.
を付けて、通常のプロデューサー、コンシューマー、およびトピックの各構成プロパティをコネクターのプロパティに追加します。
ライセンストピックの ACL¶
_confluent-command
トピックには、confluent.license
プロパティで指定されたライセンスキーに対応するライセンスが含まれます。このトピックはデフォルトで作成されます。このトピックにアクセスするコネクターには、以下の ACL を構成する必要があります。
コネクターでトピックの作成が必要な場合は、リソースクラスターの CREATE および DESCRIBE。
_confluent-command
トピックの DESCRIBE、READ、および WRITE。重要
You may also use DESCRIBE and READ without WRITE to restrict access to read-only for license topic ACLs. If a topic exists, the LicenseManager will not try to create the topic.
ライセンスを使用する各プリンシパルに個別にアクセス許可を付与することができます。または、ワイルドカード入力 を使用すると、すべてのクライアントを許可できます。以下の例では、リソースクラスターおよび _confluent-command
トピックの ACL を構成するために使用できるコマンドを示しています。
リソースクラスターの CREATE および DESCRIBE の ACL を設定します。
kafka-acls --bootstrap-server localhost:9092 --command-config adminclient-configs.conf \ --add --allow-principal User:<principal> \ --operation CREATE --operation DESCRIBE --cluster
_confluent-command
トピックの DESCRIBE、READ、および WRITE の ACL を設定します。kafka-acls --bootstrap-server localhost:9092 --command-config adminclient-configs.conf \ --add --allow-principal User:<principal> \ --operation DESCRIBE --operation READ --operation WRITE --topic _confluent-command
デフォルトの構成プロパティのオーバーライド¶
confluent.topic.replication.factor
を使用することにより、レプリケーション係数をオーバーライドできます。たとえば、(開発およびテスト用の)ブローカー数 3 未満の環境で送信先として Kafka クラスターを使用する場合、confluent.topic.replication.factor
プロパティに 1
を設定する必要があります。
プロデューサー固有のプロパティは、confluent.topic.producer.
プレフィックスを使用することによりオーバーライドできます。コンシューマー固有のプロパティは、confluent.topic.consumer.
プレフィックスを使用することによりオーバーライドできます。
デフォルト値を使用することも、他のプロパティをカスタマイズすることもできます。たとえば、confluent.topic.client.id
プロパティのデフォルトは、コネクターの名前に -licensing
サフィックスを付けたものです。クライアント接続に SSL または SASL を必要とするブローカーの構成では、このプレフィックスを使用します。
トピックのクリーンアップのポリシーはオーバーライドできません。トピックは、常にパーティションが単一で、圧縮されるからです。また、このプレフィックスを使用してシリアライザーおよびデシリアライザーを指定しないでください。追加されても無視されます。