Splunk Sink Connector 構成プロパティ¶
このコネクターを使用するには、connector.class
構成プロパティでこのコネクタークラスの名前を指定します。
connector.class=com.splunk.kafka.connect.SplunkSinkConnector
コネクター固有の構成プロパティについて、以降で説明します。
splunk.hec.token
Splunk HTTP イベントコレクタ(HEC)トークン。
- 型: password
- 重要度: 高
splunk.hec.uri
Splunk HEC URI。すべての Splunk インデクサーの FQDN または IP のコンマ(
,
)区切りのリスト、またはロードバランサー。コネクターでは、ラウンドロビン方式でインデクサーに負荷が分散されます。Splunk コネクターでは、このインデクサーのリストをラウンドロビン方式の対象とします(例 :https://hec1.splunk.com:8088,https://hec2.splunk.com:8088,https://hec3.splunk.com:8088
)。- 型: string
- 重要度: 高
splunk.hec.ssl.trust.store.password
トラストストアのパスワード。
- 型: password
- デフォルト: [hidden]
- 重要度: 高
splunk.hec.ssl.trust.store.path
ローカルディスク上の証明書トラストストアへのパス。
- 型: string
- デフォルト: ""
- 重要度: 高
splunk.hec.total.channels
Splunk へのイベントの送信に使用される HEC チャネルの総数。HEC ACK を有効にしている場合は、一般的に、インデクサー数と同じか 2 倍に設定するのが適切です。
- 型: int
- デフォルト: 2
- 重要度: 高
splunk.header.custom
この設定を有効にすると、これらの値を持つレコードヘッダーが検索され、存在する場合は各イベントに追加されます。複数のヘッダーを指定する場合はコンマで区切ります。たとえば、
custom_header_1,custom_header_2,custom_header_3
とします。- 型: string
- デフォルト: ""
- 重要度: 中
splunk.header.host
Splunk ヘッダーの Host に使用するヘッダー。
- 型: string
- デフォルト: splunk.header.host
- 重要度: 中
splunk.header.index
Splunk ヘッダーの Index に使用するヘッダー。
- 型: string
- デフォルト: splunk.header.index
- 重要度: 中
splunk.header.source
Splunk ヘッダーの Source に使用するヘッダー。
- 型: string
- デフォルト: splunk.header.source
- 重要度: 中
splunk.header.sourcetype
Splunk ヘッダーの Sourcetype に使用するヘッダー。
- 型: string
- デフォルト: splunk.header.sourcetype
- 重要度: 中
splunk.header.support
この設定を有効にすると、Kafka レコードヘッダーがメタデータのオーバーライドに使用されます。
- 型: boolean
- デフォルト: false
- 重要度: 中
splunk.hec.ack.enabled
true
に設定すると、コネクターにより、Kafka オフセットのチェックポイント設定前に、POST イベントに対して ACK がポーリングされます。この設定により、デリバリーの保証が有効になり、データ損失を回避できますが、全体のスループットが低下する可能性があります。- 型: boolean
- デフォルト: false
- 重要度: 中
splunk.hec.ack.poll.interval
イベントの ACK のポーリング間隔を制御します。この設定は、
splunk.hec.ack.enabled
がtrue
に設定されている場合にのみ適用されます。デフォルトでは、この設定は、10
秒です。- 型: int
- デフォルト: 10
- 重要度: 中
splunk.hec.ack.poll.threads
イベント の ACK のポーリングのために生成する必要があるスレッド数を制御します。この設定は、パフォーマンス調整に使用されます。
splunk.hec.ack.enabled
がtrue
に設定されている場合にのみ適用されます。デフォルトでは2
に設定されます。- 型: int
- デフォルト: 2
- 重要度: 中
splunk.hec.backoff.threshhold.seconds
失敗したイベントを Splunk に再送信する試行前にコネクターが待機する時間。
- 型: int
- デフォルト: 60
- 重要度: 中
splunk.hec.event.timeout
この設定は、コネクターでイベントの確認応答を待つ時間を決定します。これを過ぎるとタイムアウトしてイベントの再送信を試行します。この設定は、
splunk.hec.ack.enabled
がtrue
に設定されている場合に適用されます。デフォルトでは300
秒に設定されます。- 型: int
- デフォルト: 300
- 重要度: 中
splunk.hec.http.keepalive
この設定は、HTTP 接続のキープアライブ を有効または無効にします。デフォルトでは
true
に設定されます。- 型: boolean
- デフォルト: true
- 重要度: 中
splunk.hec.max.batch.size
Splunk にイベントを送信する際の最大バッチサイズ。このサイズは、バイトサイズではなく実際の Kafka レコードの数です。デフォルトでは
500
に設定されます。- 型: int
- デフォルト: 500
- 重要度: 中
splunk.hec.max.http.connection.per.channel
Splunk へのイベント送信時に、1 つの HEC チャネルにプールされる最大 HTTP 接続数。
- 型: int
- デフォルト: 2
- 重要度: 中
splunk.hec.max.outstanding.events
コネクターでメモリーに保持できる、確認応答されていないイベントの最大数。しきい値を超えると、バックプレッシャーイベントがトリガーされ、イベントの収集速度が低下します。デフォルトでは、このしきい値は
1000000
イベントに設定されます。- 型: int
- デフォルト: 1000000
- 重要度: 中
splunk.hec.max.retries
失敗したバッチの再試行の最大回数。これを超えるとタスクは強制終了されます。
-1
(デフォルト)に設定すると、コネクターは無期限に再試行します。- 型: int
- デフォルト値: -1
- 重要度: 中
splunk.hec.raw
/event
HEC エンドポイントの代わりに、/raw
HEC エンドポイントを使用してデータを取り込む場合は、この設定を有効にします。デフォルトでは、この設定はfalse
で、/event
HEC エンドポイントが使用されます。- 型: boolean
- デフォルト: false
- 重要度: 中
splunk.hec.raw.line.breaker
この設定は、Splunk でイベントを正しく区切るためのカスタムのラインブレーカーの指定に使用されます。たとえば、特別なラインブレーカーとして
#####
を指定できます。Splunk では、それらの文字でイベントが区切られます。これは、splunk.hec.raw
がtrue
に設定されている場合にのみ適用されます。- 型: string
- デフォルト: ""
- 重要度: 中
splunk.hec.ssl.validate.certs
HTTPS 証明書の検証を有効または無効にします。デフォルトでは
true
に設定されます。- 型: boolean
- デフォルト: true
- 重要度: 中
splunk.hec.use.record.timestamp
true
に設定すると、タイムスタンプが Kafka レコードから取得され、Splunk に HEC メタデータのオーバーライドとして渡されます。これは、レコードのタイムスタンプで Splunk のイベントにインデックスを付けます。デフォルトではtrue
に設定されます。- 型: boolean
- デフォルト: true
- 重要度: 中
splunk.indexes
複数のトピックの場合にインデクサーに設定される、コンマで区切られた Kafka のトピックのデータ用の Splunk のインデックス名。たとえば、"prod-index1,prod-index2,prod-index3" とします。
- 型: string
- デフォルト: ""
- 重要度: 中
splunk.sources
Kafka のトピックのデータに対応する Splunk イベントソースのメタデータ。インデックスと同じ構成ルールが適用されます。未構成の場合、デフォルトのソースが HEC トークンにバインドされます。
- 型: string
- デフォルト: ""
- 重要度: 中
splunk.sourcetypes
Kafka のトピックのデータに対応する Splunk イベントソース型のメタデータ。インデックスと同じ構成ルールがここで適用されます。未構成の場合、デフォルトのソースが HEC トークンにバインドされます。JSON イベントエンドポイント(
splunk.hec.raw=false
)を使用する場合にのみ、これを構成します。- 型: string
- デフォルト: ""
- 重要度: 中
splunk.hec.json.event.enrichment
この設定は、未加工データにメタデータフィールドを追加して補強するために使用されます。コンマ(
,
)で区切られたキーと値のペアのリストで指定します。構成された補強のメタデータは、Splunk によって未加工イベントデータとともにインデックス化されます。これは、/event
HEC エンドポイント(splunk.hec.raw=false
)にのみ適用されます。/event
HEC エンドポイントのデータ補強は、Splunk Enterprise 6.5 以上でのみ利用できます。デフォルトでは、この設定は空です。- 型: string
- デフォルト: ""
- 重要度: 低
splunk.hec.json.event.formatted
この設定により、適切な HEC JSON フォーマット にイベントが事前に必ず変換され、メタデータとイベントデータが必ずイベントに含まれるようになり、Splunk によって正しくインデックスが作成されます。既に HEC フォーマットであるイベントについては、このプロパティを
true
に設定します。- 型: boolean
- デフォルト: false
- 重要度: 低
splunk.hec.socket.timeout
ネットワークでデータの読み取りおよび書き込みを行う最長時間(秒)。これを過ぎると内部 TCP ソケットのタイムアウトが発生します。デフォルトでは 60 秒に設定されます。
- 型: int
- デフォルト: 60
- 重要度: 低
splunk.hec.threads
1 つのコネクタータスクで HEC 経由のデータ取り込みを行うために生成されるスレッド数を制御します。デフォルトでは 1 に設定されます。
- 型: int
- デフォルト: 1
- 重要度: 低
splunk.hec.track.data
true
に設定すると、データ損失とデータ取り込みレイテンシのメタデータが未加工データとともにインデックス化されます。この設定は、/event
HEC エンドポイント(splunk.hec.raw=false
)との組み合わせでのみ機能します。- 型: boolean
- デフォルト: false
- 重要度: 低