Syslog Source Connector 構成プロパティ¶
このコネクターを使用するには、connector.class
構成プロパティでこのコネクタークラスの名前を指定します。
connector.class=io.confluent.connect.syslog.SyslogSourceConnector
コネクター固有の構成プロパティについて、以降で説明します。
リスナー¶
syslog.port
リッスンするポート。
- 型: int
- 指定可能な値: ValidPort{start=1, end=65535}
- 重要度: 高
syslog.listener
使用するリスナーの種類。
- 型: string
- デフォルト: UDP
- 指定可能な値:
TCPSSL
、TCP
、UDP
- 重要度: 高
syslog.ssl.provider
使用する SSLContext プロバイダー。JDK は、JDK のデフォルト実装です。OPENSSL は OpenSSL ベースの実装です。OPENSSL_REFCNT は、ファイナライザーを持たない代わりに ReferenceCounted を実装する OpenSSL ベースの実装です。
- 型: string
- デフォルト: JDK
- 指定可能な値:
JDK
、OPENSSL
、OPENSSL_REFCNT
- 重要度: 高
syslog.listen.address
リッスンする IP アドレス。
- 型: string
- デフォルト: 0.0.0.0
- 重要度: 低
topic
すべてのレコードを挿入するトピックの名前。
- 型: string
- デフォルト: syslog
- 重要度: 高
topic.prefix
非推奨 : topic を使用してください。
- 型: string
- デフォルト: syslog
- 重要度: 高
syslog.backoff.millis
Apache Kafka® 用のキューにメッセージがない場合に待機する時間(ミリ秒)。
- 型: int
- デフォルト: 100
- 指定可能な値: [10,…]
- 重要度: 低
syslog.queue.batch.size
バッファからの取得を試みるレコード数。
- 型: int
- デフォルト: 1000
- 指定可能な値: [0,…,1000000]
- 重要度: 低
syslog.queue.max.size
コネクターにバッファするレコードの最大数。このキューは、Kafka にデータを書き込む前の中間的な場所として使用されます。
- 型: int
- デフォルト: 50000
- 指定可能な値: [0,…,1000000]
- 重要度: 低
syslog.write.timeout.millis
Kafka 用のキューにメッセージがない場合に待機する時間(ミリ秒)。
- 型: int
- デフォルト: 60000
- 指定可能な値: [100,…]
- 重要度: 低
自動トピック作成¶
トピックの自動作成の詳細については、「ソースコネクターのトピックの自動作成の構成」を参照してください。
注釈
構成プロパティには、Java regex として定義されている正規表現(regex)を使用できます。
topic.creation.groups
一致するトピックにグループ別のトピック構成を定義するために使用するグループ別名のリスト
default
グループは常に存在し、すべてのトピックに一致します。- 型: String 型のリスト
- デフォルト: 空
- 指定可能な値: このプロパティの値には、任意の追加グループを指定できます。トピックの構成には常に
default
グループが定義されています。
topic.creation.$alias.replication.factor
コネクターで作成する新規トピックのレプリケーション係数。この値は、Kafka クラスターのブローカーの数を超えてはなりません。この値が Kafka ブローカーの数よりも大きい場合、コネクターがトピックの作成を試行するとエラーが発生します。
default
グループの場合、これは 必須のプロパティ です。topic.creation.groups
で定義されている他のグループの場合、このプロパティは任意です。他のグループは、Kafka ブローカーのデフォルト値を使用します。- 型: int
- デフォルト: なし
- 指定可能な値 : 具体的な有効値を指定する場合は
>= 1
で指定し、Kafka ブローカーのデフォルト値を使用する場合は-1
を指定します。
topic.creation.$alias.partitions
このコネクターによって作成されたトピックのパーティションの数。
default
グループの場合、これは 必須のプロパティ です。topic.creation.groups
で定義されている他のグループの場合、このプロパティは任意です。他のグループは、Kafka ブローカーのデフォルト値を使用します。- 型: int
- デフォルト: なし
- 指定可能な値 : 具体的な有効値を指定する場合は
>= 1
で指定し、Kafka ブローカーのデフォルト値を使用する場合は-1
を指定します。
topic.creation.$alias.include
トピック名に一致する正規表現を表す文字列のリスト。このリストは、一致する値を持つトピックを対象に含め、このグループの特定の構成を一致するトピックに適用するために使用します。
topic.creation.groups
で定義されているすべてのグループに、$alias
が適用されます。default
グループには、このプロパティは適用されません。- 型: String 型のリスト
- デフォルト: 空
- 指定可能な値: 正確なトピック名または正規表現のコンマ区切りのリスト。
topic.creation.$alias.exclude
トピック名に一致する正規表現を表す文字列のリスト。このリストは、一致する値を持つトピックを、グループの特定の構成の適用から除外するために使用します。
topic.creation.groups
で定義されているすべてのグループに、$alias
が適用されます。default
グループには、このプロパティは適用されません。トピックの除外ルールは、すべての包含ルールをオーバーライドすることに注意してください。- 型: String 型のリスト
- デフォルト: 空
- 指定可能な値: 正確なトピック名または正規表現のコンマ区切りのリスト。
topic.creation.$alias.${kafkaTopicSpecificConfigName}
レコードの書き込み先の Kafka ブローカーのバージョンに対するすべての ブローカー構成の動的な変更 。ルールに対して構成が指定されていない場合、ブローカーのトピックレベルの構成値が使用されます。
default
グループ、およびtopic.creation.groups
で定義されているすべてのグループに、$alias
が適用されます。- 型: プロパティ値
- デフォルト : Kafka ブローカー値
Netty¶
netty.trace.addresses
トレースを有効にする IP アドレス。このオプションを設定した場合、トレースはこのリスト内のアドレスに対してのみ有効になります。空の場合は、すべてのアドレスでトレースが有効になります。
- 型: list
- デフォルト: ""
- 重要度: 低
netty.trace.enabled
Netty レベルのトレースログ記録を有効にするフラグ。
io.confluent.connect.syslog.protocol
を TRACE に設定する必要があります。この設定では、コネクターで受信したものがすべてログにダンプされる点に注意してください。- 型: ブール値
- デフォルト: false
- 重要度: 低
netty.worker.threads
着信メッセージを処理するワーカーグループのワーカースレッド数。
- 型: int
- デフォルト: 16
- 指定可能な値: [1,…,500]
- 重要度: 低
SSL¶
syslog.ssl.cert.chain.path
PEM フォーマットの X.509 証明書チェーンファイルへのパス。
- 型: string
- デフォルト: ""
- 重要度: 高
syslog.ssl.key.password
キーファイル(syslog.ssl.key.path)のパスワード、またはパスワードで保護されない場合は空白。
- 型: password
- デフォルト: [hidden]
- 重要度: 高
syslog.ssl.key.path
PEM フォーマットの PKCS#8 プライベートキーファイルへのパス。
- 型: string
- デフォルト: ""
- 重要度: 高
syslog.ssl.self.signed.certificate.enable
自己署名証明書が生成および使用されるかどうかを決定するフラグ。
- 型: ブール値
- デフォルト: false
- 重要度: 高
TCP¶
syslog.tcp.idle.timeout.secs
アイドルセッションが切断されるまでの待機時間(秒)。
- 型: int
- デフォルト: 600
- 指定可能な値: [0,…]
- 重要度: 低
syslog.tcp.max.frame.size
tcp 経由で送信された Syslog メッセージの最大フレームサイズ(バイト)。
- 型: int
- デフォルト: 10000
- 指定可能な値: [1, 2147483647]
- 重要度: 低
ソケット¶
netty.event.group.type
Netty リスナーで使用するイベントグループの種類。EPOLL は Linux でのみサポートされています。
- 型: string
- デフォルト: EPOLL
- 指定可能な値:
NIO
、EPOLL
- 重要度: 低
socket.backlog.size
- 型: int
- デフォルト: 1000
- 指定可能な値: [100,…]
- 重要度: 低
socket.rcvbuf.bytes
ソケット受信バッファのサイズ(バイト)。
- 型: int
- デフォルト: 256000
- 指定可能な値: [256,…]
- 重要度: 低
メッセージの解析¶
cef.timestamp.mode
CEF フォーマットのメッセージのタイムスタンプを解析する際に使用する方法。デフォルトモードの
header
は、ヘッダーのみを対象とします。extension_field
は、指定された拡張フィールドキーを対象とします。これは、サブ構成で指定されます。- 型: string
- デフォルト: header
- 指定可能な値: [extension_field, header] のいずれか
- 重要度: 低
- 依存関係 :
cef.timestamp.mode.extension_field.key
cef.timestamp.mode.extension_field.key
CEF 拡張フィールドからタイムスタンプを抽出するために使用するキー。
- 型: string
- デフォルト: ""
- 重要度: 低
syslog.date.time.formatter.pattern
Syslog メッセージのタイムスタンプを解析する際に使用するパターン。
- 型: string
- デフォルト: サポートされている RFC 3164、RFC 5424、CEF の各フォーマットで指定されているフォーマット: DateTimeFormatter.ISO_OFFSET_DATE_TIME、"MMM d[ yyyy] HH:mm:ss"、"yyyy-MM-dd HH:mm:ss.SSSX"
- 重要度: 低
Confluent Platform ライセンス¶
confluent.topic.bootstrap.servers
ライセンス供与に使用される Kafka クラスターとの初期接続を確立するために使用するホストとポートのペアのリスト。初期接続で、クラスター内のすべてのサーバーが検出されます。このリストは、
host1:port1,host2:port2,…
という形式にする必要があります。これらのサーバーは、初期接続ですべてのクラスターメンバーシップを検出するためにのみ使用されます。これは動的に変わる可能性があるので、このリストにすべてのサーバーセットを含める必要はありません(ただし、サーバーの障害に備えて、複数指定しておくこともできます)。- 型: list
- 重要度: 高
confluent.topic
ライセンス情報を含む Confluent Platform の構成で使用される Kafka のトピック名。
- 型: string
- デフォルト: _confluent-command
- 重要度: 低
confluent.topic.replication.factor
Confluent Platform の構成(ライセンス情報など)で使用される Kafka のトピックのレプリケーション係数。これは、トピックがまだ存在しない場合にのみ使用されます。デフォルトの 3 は、本稼働環境での使用に適しています。ブローカー数を 3 未満の開発環境で使用している場合は、そのブローカー数をこのプロパティに設定する必要があります(多くの場合、1 です)。
- 型: int
- デフォルト: 3
- 重要度: 低
Confluent ライセンスのプロパティ¶
ちなみに
コネクターの構成にライセンス関連のプロパティを含めることができますが、Confluent Platform バージョン 6.0 以降では、各コネクターの構成ではなく、Connect ワーカーの構成 でライセンス関連のプロパティを設定できるようになりました。
注釈
このコネクターはプロプライエタリであり、ライセンスが必要です。ライセンス情報は、_confluent-command
トピックに保管されています。ブローカーが SSL 接続を必要とする場合は、以下で説明するセキュリティ関連の confluent.topic.*
プロパティを含める必要があります。
confluent.license
Confluent では、各契約者にエンタープライズライセンスキーを発行します。ライセンスキーはテキストであるため、コピーアンドペーストで
confluent.license
の値として使用できます。試用ライセンスでは、コネクターを 30 日間使用できます。開発者ライセンスでは、ブローカーが 1 つの開発環境で、コネクターを無期限に使用できます。すでにご契約されている場合は、詳細について Confluent サポートにお問い合わせください。
- 型: string
- デフォルト: ""
- 指定可能な値: Confluent Platform ライセンス
- 重要度: 高
confluent.topic.ssl.truststore.location
トラストストアファイルの場所。
- 型: string
- デフォルト: null
- 重要度: 高
confluent.topic.ssl.truststore.password
トラストストアファイルのパスワード。パスワードが設定されていなくてもトラストストアにアクセスできますが、整合性チェックが無効になります。
- 型: password
- デフォルト: null
- 重要度: 高
confluent.topic.ssl.keystore.location
キーストアファイルの場所。クライアントでは省略可能です。クライアントの相互認証に使用できます。
- 型: string
- デフォルト: null
- 重要度: 高
confluent.topic.ssl.keystore.password
キーストアファイルのストアパスワード。クライアントでは省略可能です。ssl.keystore.location を構成した場合にのみ必要となります。
- 型: password
- デフォルト: null
- 重要度: 高
confluent.topic.ssl.key.password
キーストアファイル内のプライベートキーのパスワード。クライアントでは省略可能です。
- 型: password
- デフォルト: null
- 重要度: 高
confluent.topic.security.protocol
ブローカーとの通信に使用されるプロトコル。指定可能な値は、PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL です。
- 型: string
- デフォルト: "PLAINTEXT"
- 重要度: 中
ライセンストピックの構成¶
Confluent エンタープライズライセンスは、_confluent-command
トピックに格納されます。このトピックは、デフォルトで作成され、confluent.license
プロパティで指定されたライセンスキーに対応するライセンスが格納されます。
注釈
パブリックキーは Kafka のトピックには保管されません。
以下では、デフォルトの _confluent-command
トピックがさまざまなシナリオでどのように生成されるかを説明します。
confluent.license
プロパティを追加していない場合、またはこのプロパティを(confluent.license=
などで)空にした場合は、_confluent command
トピックに、30 日間の試用ライセンスが自動的に生成されます。- 有効なライセンスキーを(
confluent.license=<valid-license-key>
などで)追加すると、有効なライセンスが_confluent-command
トピックに追加されます。
以下は、開発およびテストのための最小限のプロパティの例です。
_confluent-command
トピックの名前は confluent.topic
プロパティを使用して変更できます(たとえば、環境に厳格な命名規則がある場合など)。以下の例は、この変更と、構成される Kafka ブートストラップサーバーを示しています。
confluent.topic=foo_confluent-command
confluent.topic.bootstrap.servers=localhost:9092
上の例は、開発およびテストで使用できるブートストラップサーバーの必要最小限のプロパティを示しています。本稼働環境の場合は、プレフィックスとして confluent.topic.
を付けて、通常のプロデューサー、コンシューマー、およびトピックの各構成プロパティをコネクターのプロパティに追加します。
ライセンストピックの ACL¶
_confluent-command
トピックには、confluent.license
プロパティで指定されたライセンスキーに対応するライセンスが格納されます。このトピックはデフォルトで作成されます。このトピックにアクセスするコネクターには、以下の ACL を構成する必要があります。
コネクターでトピックの作成が必要な場合は、リソースクラスターでの CREATE および DESCRIBE。
_confluent-command
トピックでの DESCRIBE、READ、および WRITE。重要
You may also use DESCRIBE and READ without WRITE to restrict access to read-only for license topic ACLs. If a topic exists, the LicenseManager will not try to create the topic.
ライセンスを使用する各プリンシパルに個々にアクセス許可を付与することも、 ワイルドカード入力 を使用してすべてのクライアントを許可することもできます。以下の例は、リソースクラスターおよび _confluent-command
トピックの ACL を構成するために使用できるコマンドを示しています。
リソースクラスターの CREATE および DESCRIBE の ACL を設定します。
kafka-acls --bootstrap-server localhost:9092 --command-config adminclient-configs.conf \ --add --allow-principal User:<principal> \ --operation CREATE --operation DESCRIBE --cluster
_confluent-command
トピックに対する DESCRIBE、READ、および WRITE の ACL を設定します。kafka-acls --bootstrap-server localhost:9092 --command-config adminclient-configs.conf \ --add --allow-principal User:<principal> \ --operation DESCRIBE --operation READ --operation WRITE --topic _confluent-command
デフォルトの構成プロパティのオーバーライド¶
confluent.topic.replication.factor
を使用することにより、レプリケーション係数をオーバーライドできます。たとえば、(開発およびテスト用の)ブローカー数 3 未満の環境で送信先として Kafka クラスターを使用する場合、confluent.topic.replication.factor
プロパティに 1
を設定する必要があります。
プロデューサー固有のプロパティは、confluent.topic.producer.
プレフィックスを使用してオーバーライドできます。コンシューマー固有のプロパティは、confluent.topic.consumer.
プレフィックスを使用してオーバーライドできます。
デフォルト値を使用することも、他のプロパティをカスタマイズすることもできます。たとえば、confluent.topic.client.id
プロパティのデフォルトは、コネクターの名前に -licensing
サフィックスを付けたものです。クライアント接続に SSL または SASL を必要とするブローカーの構成設定では、このプレフィックスを使用できます。
トピックのクリーンアップのポリシーはオーバーライドできません。トピックは、常にパーティションが単一で、圧縮されるからです。また、このプレフィックスを使用してシリアライザーおよびデシリアライザーを指定しないでください。追加しても無視されます。