Syslog Source Connector 構成プロパティ¶

このコネクターを使用するには、connector.class 構成プロパティでこのコネクタークラスの名前を指定します。

connector.class=io.confluent.connect.syslog.SyslogSourceConnector

コネクター固有の構成プロパティについて、以降で説明します。

リスナー¶

syslog.port

リッスンするポート。

型: int
指定可能な値: ValidPort{start=1, end=65535}
重要度: 高

syslog.listener

使用するリスナーの種類。

型: string
デフォルト: UDP
指定可能な値: TCPSSL、TCP、UDP
重要度: 高

syslog.ssl.provider

使用する SSLContext プロバイダー。JDK は、JDK のデフォルト実装です。OPENSSL は OpenSSL ベースの実装です。OPENSSL_REFCNT は、ファイナライザーを持たない代わりに ReferenceCounted を実装する OpenSSL ベースの実装です。

型: string
デフォルト: JDK
指定可能な値: JDK、OPENSSL、OPENSSL_REFCNT
重要度: 高

syslog.listen.address

リッスンする IP アドレス。

型: string
デフォルト: 0.0.0.0
重要度: 低

topic

すべてのレコードを挿入するトピックの名前。

型: string
デフォルト: syslog
重要度: 高

topic.prefix

非推奨 : topic を使用してください。

型: string
デフォルト: syslog
重要度: 高

syslog.backoff.millis

Apache Kafka® 用のキューにメッセージがない場合に待機する時間（ミリ秒）。

型: int
デフォルト: 100
指定可能な値: [10,…]
重要度: 低

syslog.queue.batch.size

バッファからの取得を試みるレコード数。

型: int
デフォルト: 1000
指定可能な値: [0,…,1000000]
重要度: 低

syslog.queue.max.size

コネクターにバッファするレコードの最大数。このキューは、Kafka にデータを書き込む前の中間的な場所として使用されます。

型: int
デフォルト: 50000
指定可能な値: [0,…,1000000]
重要度: 低

syslog.write.timeout.millis

Kafka 用のキューにメッセージがない場合に待機する時間（ミリ秒）。

型: int
デフォルト: 60000
指定可能な値: [100,…]
重要度: 低

自動トピック作成¶

トピックの自動作成の詳細については、「ソースコネクターのトピックの自動作成の構成」を参照してください。

注釈

構成プロパティには、Java regex として定義されている正規表現（regex）を使用できます。

topic.creation.groups

一致するトピックにグループ別のトピック構成を定義するために使用するグループ別名のリスト default グループは常に存在し、すべてのトピックに一致します。

型: String 型のリスト
デフォルト: 空
指定可能な値: このプロパティの値には、任意の追加グループを指定できます。トピックの構成には常に default グループが定義されています。

topic.creation.$alias.replication.factor

コネクターで作成する新規トピックのレプリケーション係数。この値は、Kafka クラスターのブローカーの数を超えてはなりません。この値が Kafka ブローカーの数よりも大きい場合、コネクターがトピックの作成を試行するとエラーが発生します。default グループの場合、これは 必須のプロパティ です。topic.creation.groups で定義されている他のグループの場合、このプロパティは任意です。他のグループは、Kafka ブローカーのデフォルト値を使用します。

型: int
デフォルト: なし
指定可能な値 : 具体的な有効値を指定する場合は >= 1 で指定し、Kafka ブローカーのデフォルト値を使用する場合は -1 を指定します。

topic.creation.$alias.partitions

このコネクターによって作成されたトピックのパーティションの数。default グループの場合、これは 必須のプロパティ です。topic.creation.groups で定義されている他のグループの場合、このプロパティは任意です。他のグループは、Kafka ブローカーのデフォルト値を使用します。

型: int
デフォルト: なし
指定可能な値 : 具体的な有効値を指定する場合は >= 1 で指定し、Kafka ブローカーのデフォルト値を使用する場合は -1 を指定します。

topic.creation.$alias.include

トピック名に一致する正規表現を表す文字列のリスト。このリストは、一致する値を持つトピックを対象に含め、このグループの特定の構成を一致するトピックに適用するために使用します。topic.creation.groups で定義されているすべてのグループに、$alias が適用されます。default グループには、このプロパティは適用されません。

型: String 型のリスト
デフォルト: 空
指定可能な値: 正確なトピック名または正規表現のコンマ区切りのリスト。

topic.creation.$alias.exclude

トピック名に一致する正規表現を表す文字列のリスト。このリストは、一致する値を持つトピックを、グループの特定の構成の適用から除外するために使用します。topic.creation.groups で定義されているすべてのグループに、$alias が適用されます。default グループには、このプロパティは適用されません。トピックの除外ルールは、すべての包含ルールをオーバーライドすることに注意してください。

型: String 型のリスト
デフォルト: 空
指定可能な値: 正確なトピック名または正規表現のコンマ区切りのリスト。

topic.creation.$alias.${kafkaTopicSpecificConfigName}

レコードの書き込み先の Kafka ブローカーのバージョンに対するすべてのブローカー構成の動的な変更。ルールに対して構成が指定されていない場合、ブローカーのトピックレベルの構成値が使用されます。default グループ、および topic.creation.groups で定義されているすべてのグループに、$alias が適用されます。

型: プロパティ値
デフォルト : Kafka ブローカー値

Netty¶

netty.trace.addresses

トレースを有効にする IP アドレス。このオプションを設定した場合、トレースはこのリスト内のアドレスに対してのみ有効になります。空の場合は、すべてのアドレスでトレースが有効になります。

型: list
デフォルト: ""
重要度: 低

netty.trace.enabled

Netty レベルのトレースログ記録を有効にするフラグ。io.confluent.connect.syslog.protocol を TRACE に設定する必要があります。この設定では、コネクターで受信したものがすべてログにダンプされる点に注意してください。

型: ブール値
デフォルト: false
重要度: 低

netty.worker.threads

着信メッセージを処理するワーカーグループのワーカースレッド数。

型: int
デフォルト: 16
指定可能な値: [1,…,500]
重要度: 低

SSL¶

syslog.ssl.cert.chain.path

PEM フォーマットの X.509 証明書チェーンファイルへのパス。

型: string
デフォルト: ""
重要度: 高

syslog.ssl.key.password

キーファイル（syslog.ssl.key.path）のパスワード、またはパスワードで保護されない場合は空白。

型: password
デフォルト: [hidden]
重要度: 高

syslog.ssl.key.path

PEM フォーマットの PKCS#8 プライベートキーファイルへのパス。

型: string
デフォルト: ""
重要度: 高

syslog.ssl.self.signed.certificate.enable

自己署名証明書が生成および使用されるかどうかを決定するフラグ。

型: ブール値
デフォルト: false
重要度: 高

TCP¶

syslog.tcp.idle.timeout.secs

アイドルセッションが切断されるまでの待機時間（秒）。

型: int
デフォルト: 600
指定可能な値: [0,…]
重要度: 低

syslog.tcp.max.frame.size

tcp 経由で送信された Syslog メッセージの最大フレームサイズ（バイト）。

型: int
デフォルト: 10000
指定可能な値: [1, 2147483647]
重要度: 低

ソケット¶

netty.event.group.type

Netty リスナーで使用するイベントグループの種類。EPOLL は Linux でのみサポートされています。

型: string
デフォルト: EPOLL
指定可能な値: NIO、EPOLL
重要度: 低

socket.backlog.size

型: int
デフォルト: 1000
指定可能な値: [100,…]
重要度: 低

socket.rcvbuf.bytes

ソケット受信バッファのサイズ（バイト）。

型: int
デフォルト: 256000
指定可能な値: [256,…]
重要度: 低

メッセージの解析¶

cef.timestamp.mode

CEF フォーマットのメッセージのタイムスタンプを解析する際に使用する方法。デフォルトモードの header は、ヘッダーのみを対象とします。extension_field は、指定された拡張フィールドキーを対象とします。これは、サブ構成で指定されます。

型: string
デフォルト: header
指定可能な値: [extension_field, header] のいずれか
重要度: 低
依存関係 : cef.timestamp.mode.extension_field.key

cef.timestamp.mode.extension_field.key

CEF 拡張フィールドからタイムスタンプを抽出するために使用するキー。

型: string
デフォルト: ""
重要度: 低

syslog.date.time.formatter.pattern

Syslog メッセージのタイムスタンプを解析する際に使用するパターン。

型: string
デフォルト: サポートされている RFC 3164、RFC 5424、CEF の各フォーマットで指定されているフォーマット: DateTimeFormatter.ISO_OFFSET_DATE_TIME、"MMM d[ yyyy] HH:mm:ss"、"yyyy-MM-dd HH:mm:ss.SSSX"
重要度: 低

Confluent Platform ライセンス¶

confluent.topic.bootstrap.servers

ライセンス供与に使用される Kafka クラスターとの初期接続を確立するために使用するホストとポートのペアのリスト。初期接続で、クラスター内のすべてのサーバーが検出されます。このリストは、host1:port1,host2:port2,… という形式にする必要があります。これらのサーバーは、初期接続ですべてのクラスターメンバーシップを検出するためにのみ使用されます。これは動的に変わる可能性があるので、このリストにすべてのサーバーセットを含める必要はありません（ただし、サーバーの障害に備えて、複数指定しておくこともできます）。

型: list
重要度: 高

confluent.topic

ライセンス情報を含む Confluent Platform の構成で使用される Kafka のトピック名。

型: string
デフォルト: _confluent-command
重要度: 低

confluent.topic.replication.factor

Confluent Platform の構成（ライセンス情報など）で使用される Kafka のトピックのレプリケーション係数。これは、トピックがまだ存在しない場合にのみ使用されます。デフォルトの 3 は、本稼働環境での使用に適しています。ブローカー数を 3 未満の開発環境で使用している場合は、そのブローカー数をこのプロパティに設定する必要があります（多くの場合、1 です）。

型: int
デフォルト: 3
重要度: 低

Confluent ライセンスのプロパティ¶

ちなみに

コネクターの構成にライセンス関連のプロパティを含めることができますが、Confluent Platform バージョン 6.0 以降では、各コネクターの構成ではなく、Connect ワーカーの構成でライセンス関連のプロパティを設定できるようになりました。

注釈

このコネクターはプロプライエタリであり、ライセンスが必要です。ライセンス情報は、_confluent-command トピックに保管されています。ブローカーが SSL 接続を必要とする場合は、以下で説明するセキュリティ関連の confluent.topic.* プロパティを含める必要があります。

confluent.license

Confluent では、各契約者にエンタープライズライセンスキーを発行します。ライセンスキーはテキストであるため、コピーアンドペーストで confluent.license の値として使用できます。試用ライセンスでは、コネクターを 30 日間使用できます。開発者ライセンスでは、ブローカーが 1 つの開発環境で、コネクターを無期限に使用できます。

すでにご契約されている場合は、詳細について Confluent サポートにお問い合わせください。

型: string
デフォルト: ""
指定可能な値: Confluent Platform ライセンス
重要度: 高

confluent.topic.ssl.truststore.location

トラストストアファイルの場所。

型: string
デフォルト: null
重要度: 高

confluent.topic.ssl.truststore.password

トラストストアファイルのパスワード。パスワードが設定されていなくてもトラストストアにアクセスできますが、整合性チェックが無効になります。

型: password
デフォルト: null
重要度: 高

confluent.topic.ssl.keystore.location

キーストアファイルの場所。クライアントでは省略可能です。クライアントの相互認証に使用できます。

型: string
デフォルト: null
重要度: 高

confluent.topic.ssl.keystore.password

キーストアファイルのストアパスワード。クライアントでは省略可能です。ssl.keystore.location を構成した場合にのみ必要となります。

型: password
デフォルト: null
重要度: 高

confluent.topic.ssl.key.password

キーストアファイル内のプライベートキーのパスワード。クライアントでは省略可能です。

型: password
デフォルト: null
重要度: 高

confluent.topic.security.protocol

ブローカーとの通信に使用されるプロトコル。指定可能な値は、PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL です。

型: string
デフォルト: "PLAINTEXT"
重要度: 中

ライセンストピックの構成¶

Confluent エンタープライズライセンスは、_confluent-command トピックに格納されます。このトピックは、デフォルトで作成され、confluent.license プロパティで指定されたライセンスキーに対応するライセンスが格納されます。

注釈

パブリックキーは Kafka のトピックには保管されません。

以下では、デフォルトの _confluent-command トピックがさまざまなシナリオでどのように生成されるかを説明します。

confluent.license プロパティを追加していない場合、またはこのプロパティを（ confluent.license= などで）空にした場合は、_confluent command トピックに、30 日間の試用ライセンスが自動的に生成されます。
有効なライセンスキーを（ confluent.license=<valid-license-key> などで）追加すると、有効なライセンスが _confluent-command トピックに追加されます。

以下は、開発およびテストのための最小限のプロパティの例です。

_confluent-command トピックの名前は confluent.topic プロパティを使用して変更できます（たとえば、環境に厳格な命名規則がある場合など）。以下の例は、この変更と、構成される Kafka ブートストラップサーバーを示しています。

confluent.topic=foo_confluent-command
confluent.topic.bootstrap.servers=localhost:9092

上の例は、開発およびテストで使用できるブートストラップサーバーの必要最小限のプロパティを示しています。本稼働環境の場合は、プレフィックスとして confluent.topic. を付けて、通常のプロデューサー、コンシューマー、およびトピックの各構成プロパティをコネクターのプロパティに追加します。

ライセンストピックの ACL¶

_confluent-command トピックには、confluent.license プロパティで指定されたライセンスキーに対応するライセンスが格納されます。このトピックはデフォルトで作成されます。このトピックにアクセスするコネクターには、以下の ACL を構成する必要があります。

コネクターでトピックの作成が必要な場合は、リソースクラスターでの CREATE および DESCRIBE。
_confluent-command トピックでの DESCRIBE、READ、および WRITE。

重要

You may also use DESCRIBE and READ without WRITE to restrict access to read-only for license topic ACLs. If a topic exists, the LicenseManager will not try to create the topic.

ライセンスを使用する各プリンシパルに個々にアクセス許可を付与することも、ワイルドカード入力を使用してすべてのクライアントを許可することもできます。以下の例は、リソースクラスターおよび _confluent-command トピックの ACL を構成するために使用できるコマンドを示しています。

リソースクラスターの CREATE および DESCRIBE の ACL を設定します。

kafka-acls --bootstrap-server localhost:9092 --command-config adminclient-configs.conf \
--add --allow-principal User:<principal> \
--operation CREATE --operation DESCRIBE --cluster

_confluent-command トピックに対する DESCRIBE、READ、および WRITE の ACL を設定します。

kafka-acls --bootstrap-server localhost:9092 --command-config adminclient-configs.conf \
--add --allow-principal User:<principal> \
--operation DESCRIBE --operation READ --operation WRITE --topic _confluent-command

デフォルトの構成プロパティのオーバーライド¶

confluent.topic.replication.factor を使用することにより、レプリケーション係数をオーバーライドできます。たとえば、（開発およびテスト用の）ブローカー数 3 未満の環境で送信先として Kafka クラスターを使用する場合、confluent.topic.replication.factor プロパティに 1 を設定する必要があります。

プロデューサー固有のプロパティは、confluent.topic.producer. プレフィックスを使用してオーバーライドできます。コンシューマー固有のプロパティは、confluent.topic.consumer. プレフィックスを使用してオーバーライドできます。

デフォルト値を使用することも、他のプロパティをカスタマイズすることもできます。たとえば、confluent.topic.client.id プロパティのデフォルトは、コネクターの名前に -licensing サフィックスを付けたものです。クライアント接続に SSL または SASL を必要とするブローカーの構成設定では、このプレフィックスを使用できます。

トピックのクリーンアップのポリシーはオーバーライドできません。トピックは、常にパーティションが単一で、圧縮されるからです。また、このプレフィックスを使用してシリアライザーおよびデシリアライザーを指定しないでください。追加しても無視されます。