ストリームカタログユーザーガイド¶

転送中のデータが持つ価値を引き出し、組織全体の生産性を高めるうえでカギとなるのが、セルフサービス型でデータ探索を行うためのツールです。

Cloud Console と API（ストリームカタログの REST API およびストリームカタログの GraphQL API）の両方で使用できるストリームカタログにより、さまざまなチームのユーザーが、整理された一元的なライブラリを使用して連携できます。このライブラリは、プロジェクトを迅速かつ効率的に進めるために必要なデータの共有、検出、理解を目的として設計されたものです。ストリームカタログは "Data in Motion"（動き続けるデータ）のデジタルライブラリのようなもので、Kafka の経験レベルにかかわらずすべてのユーザーが、必要なものを検索し、構築済みのものを見つけ、即座に活用できるようになります。

分類が可能になっており、各チームはコンテキストに関する詳細情報をデータに追加して、ビジネスのストリームカタログの値を増やしていくことができます。たとえば、スキーマフィールドに "PII"（個人を特定できる情報）や "Sensitive"（機微情報）などのラベルを付加できます。

データとスキーマの検索¶

Confluent Cloud のストリームカタログは、スキーマ関連のすべてのメタデータを一元管理し、グローバル検索バーから検出できるようにします。特にスキーマに関しては、以下の項目を検索できます。

スキーマサブジェクト名
スキーマレコード名
スキーマフィールド名
タグ名（「データとスキーマのタグ付け」と「特定のタグが付けられたエンティティの検索」も参照してください）

グローバル検索¶

この機能を試すには、Schema Registry が有効になっている環境で Confluent Cloud にログインし、上部にある検索バーでスキーマのサブジェクト名、データレコード名、データフィールド名、タグ名などの入力を始めてみてください。入力に伴って結果が表示されます。Enter キーを押して、エンティティを選択します。

同じ検索でトピックなどの他のエンティティの一致項目も表示される点に注意してください。入力した単語を含むエンティティ名も表示されます（たとえば、stock を検索するとタグ my_stocks も表示されます）。

検索結果をクリックして、そのエンティティに移動します。以下に例を示します。

検索結果の Schema の下にサブジェクトの 1 つとして表示されている stocks-value をクリックし、stocks トピックの価格のスキーマに移動します。
検索結果の Topic の下に表示されている stocks をクリックし、stocks Kafka トピックに移動します。

同じ名前のエンティティ（スキーマ以外）が複数のクラスターに存在する場合は、すべてが関連する環境と一緒に表示されます。

../_images/dg-global-search-topic-on-multiple-clusters.png

スキーマサブジェクトは、環境ごとのスキーマレジストリクラスター内に環境レベルで存在します。同じ名前のスキーマサブジェクトが複数の環境に存在する場合は、すべてが表示されます。

../_images/dg-global-search-schema-subject-multiple-env.png

フィルターを使用した検索¶

See all.. をクリックするか、最初の検索結果で Enter キーを押すと、詳細なリストが、フィルターを適用するためのオプションとともに表示されます。

このビューは、stocks を検索したすべての結果（"All Results"）です。

../_images/dg-global-search-list-all.png

左側のメニューでエンティティを選択すると、検索結果を絞り込むことができます。たとえば、"Schemas" を選択してみます。

../_images/dg-global-search-schemas-filtered-list.png

また、上部にあるフィルターを使って、環境、タグ、エンティティごとに絞り込むこともできます。

この例では、エンティティタイプに基づいて検索結果を絞り込み、名前に stock を含むスキーマサブジェクトのみを表示しています。

../_images/dg-catalog-filter-by-schema-subject.png

この例では、デモ環境のスキーマサブジェクト、レコード、フィールドで my_stocks というタグが付加されたものを絞り込んでいます。

../_images/dg-catalog-filter-multiple.png

この詳細リストビューで検索条件を変更して、選択したエンティティタイプで他の名前を検索することもできます。たとえば、クイックスタートのステップを実行して employees トピックのスキーマを作成した場合は、スキーマで employees を検索できます。（employees スキーマと一致しないタグなど、他のフィルターはすべてクリアしておく必要があります。）

../_images/dg-global-search-schemas-filtered-list-new.png

データとスキーマのタグ付け¶

ストリームカタログの機能では、エンティティのタグ付けができます。他のエンティティと同様にタグも検索できます。

ガバナンスの根本的な側面として、複数のコンセプトやカテゴリなど、共通の語彙に基づいてデータを整理できる機能があります。Confluent Cloud に、スキーマと、データレコードやフィールドなどのきめ細かいエンティティに、タグを作成して適用するオプションが追加されました。このバージョンの Confluent Cloud では、以下を実行できます。

提供されるタグ（Public、Private、Sensitive、PII）とカスタム（"自由形式"）タグのインスタンスの作成
タグとスキーマバージョン、レコード、フィールドとの関連付け
1 つのフィールド、レコード、またはスキーマバージョンへの複数のタグの適用

重要

Confluent Cloud CATALOG API（V1）で作成されたタグ定義には現在、Confluent Cloud Console で検索やアップデートなどを目的としてアクセスできません。API を介して作成されたタグは、「ストリームカタログの REST API」で説明されているように、API を介して管理する必要があります。

タグとスキーマのバージョン管理の連携¶

タグを適用する場合、常に特定のバージョンのスキーマに適用します。スキーマを修正すると、新しいバージョンに「進化」します。前のバージョンのスキーマに適用したタグは、自動的に新しいバージョンに伝播されます。

たとえば、タグ my_stocks をバージョン 2 のスキーマから適用すると、そのタグはバージョン 3、4 などに伝播されますが、my_stocks が適用されていないバージョン 1 には、バージョンを戻って明示的にタグを追加しない限り、タグが付けられません。

タグの作成¶

タグを作成するには、以下の手順に従います。

選択した環境の設定の Schema Registry タブに移動します。
View & manage tags をクリックします。
Create tag をクリックし、free-form または commonly used tags を選択します。
- commonly used tags を選択した場合は、作成するタグを 1 つ以上選択します。（PII（個人を特定できる情報）、Sensitive、Private、Public）
- free-form を選択した場合はタグ名と説明（省略可能）を入力します。タグ名は、アルファベットで始めて、その後に英字、数字、アンダースコアを含めることができます。
名前と説明が適切に入力されると、Create ボタンがアクティブになります。Create をクリックして、現在の名前と説明のタグを作成します。
使用可能なタグを表示します。

作成されたタグは、Tag management の下のリストに表示されます。

タグの適用¶

タグを適用するには、以下の手順に従います。

タグを適用するスキーマ、データレコード、またはデータフィールドに移動します。

これを行うには複数の方法があります。
- 検索バーで、タグまたはビジネスメタデータを適用するスキーマ、レコード、フィールド、またはトピックの名前の入力を開始します。
- 同じ環境レベルビューの Schema Registry タブで View & manage schemas をクリックし、リストからスキーマを選択します。
- クラスター内で、トピックに移動し、そのトピックの Schema タブをクリックします。
トピックの Schemas タブで、以下のようにタグを追加できます。
- 選択したスキーマバージョン全体にタグを追加するには、右側のパネルで Add tags to this version を選択し、利用可能なタグのドロップダウンリストからタグを選択します。
- 選択したレコードまたはフィールドにタグを追加するには、スキーマのツリービュー（デフォルトビュー）を展開します。エンティティの横のプラスアイコンをクリックし、利用可能なタグのドロップダウンリストからタグを選択します。
適用されたタグを表示します。

適用されたタグは、それが関連付けられているスキーマバージョン、レコード、フィールドの横に表示されます。

スキーマバージョンまたはデータフィールドからのタグの削除¶

以前適用したタグをエンティティから削除するには、以下の手順に従います。

タグを含むスキーマに移動します。
適用されているタグの x をクリックします。

タグの編集¶

タグの説明を編集するには、以下の手順に従います。

選択した環境の設定の Schema Registry タブに移動します。
View & manage tags をクリックします。
Tag management リストから編集するタグを選択します。
説明の横の編集アイコンをクリックし、Save をクリックします。

ちなみに

既存のタグの名前は編集できません。説明のみ編集できます。タグの名前を変更するには、タグが適用されているすべてのエンティティからタグを削除し、タグ自体を削除した後、新しいタグを作成します。

タグの削除¶

タグを削除する場合は、まずタグが適用されているエンティティがないことを確認します。タグを使用している場合は、削除操作はエラーになります。

環境からタグを削除するには、以下の手順に従います。

選択した環境の設定の Schema Registry タブに移動します。
View & manage tags をクリックします。
Tag management リストから削除するタグを選択します。
右上にあるごみ箱アイコンをクリックします。
- タグが使用中（1 つ以上のエンティティに適用されている）の場合は、警告が表示され、タグは削除されません。
- タグを使用していない場合は、削除されます。

特定のタグが付けられたエンティティの検索¶

「データとスキーマの検索」で説明されているように、グローバル検索でタグを検出できるようになりました。

つまり、タグ名（またはタグ名の一部）を検索すると、そのタグが適用されたすべてのエンティティが返されます。そこから、他の検索と同様に、リソースにドリルダウンできます。

たとえば、stock を検索すると、結果に my_stocks タグと buy_stocks タグが表示されます。

../_images/dg-global-search-tags-my_stocks.png

いずれかをクリックすると、タグ付けされたすべてのエンティティのリストが表示されます。

たとえば、結果の Tag の下に表示された my_stocks をクリックすると、my_stocks のタグが付いたすべてのエンティティのリストが表示されます。

../_images/dg-global-search-tags-list-my_stocks.png

エンティティをクリックすると、ドリルダウンできます。たとえば、StockTrade をクリックすると、my_stocks のタグが付いたフィールドのあるスキーマにドリルダウンできます。

ちなみに

レコードおよびフィールドレベルのタグを表示するには、スキーマのツリービューに切り替える必要があります。デフォルトの未処理スキーマビューでは、これらを表示できません。スキーマのツリービューと未処理ビューのボタンは、以下の図でハイライトしているように、左上のスキーマ検索フィールドの横にあります。

../_images/dg-global-search-tags-drilldown-my_stocks.png

ここでもう 1 つ、PII （個人を特定できる情報）というタグが付いたエンティティを検索する例を示します。

../_images/dg-global-search-tags-pii.png

タグ PII を検索すると、以下のような結果が返されます。

../_images/dg-global-search-tags-list-pii.png

下にスクロールして balance を見つけます。

../_images/dg-global-search-tags-balance-pii.png

balance にドリルダウンします。これは、account-value スキーマのタグ付きフィールドです（レコードおよびフィールドレベルのタグを表示するには、ツリービューに切り替える必要があることを忘れないでください）。

../_images/dg-global-search-tags-drilldown-pii.png

スキーマのビジネスメタデータ¶

重要

This feature is available as a preview feature. A preview feature is a component of Confluent Cloud that is being introduced to gain early feedback. This feature can be used for evaluation and non-production testing purposes or to provide feedback to Confluent. Your comments, questions, and suggestions are encouraged and can be submitted to stream-governance-preview@confluent.io.

ビジネスメタデータは、キー/値ペア形式の一連の属性であり、プラットフォーム全体のエンティティにより多くのコンテキスト情報を提供します。たとえば、以下をドキュメント化または特定するとします。

特定のスキーマを担当するチームはどこか
スキーマが属す製品ドメインはどれか
スキーマの GitHub ロケーションはどこか

These are all examples of business metadata that owners can add to provide context around data, and that users can discover to augment their understanding of entities. You can assign business metadata to a schema.

たとえば、Name、Team-owner、Slack-contact という属性を含む "Domain" という名前のビジネスメタデータコレクションを作成できます。ビジネスメタデータコレクションは属性グループの "ラベル" のようなもので、これを Confluent Cloud Console またはストリームカタログの REST API を介してストリームカタログエンティティと関連付けます。

ビジネスメタデータとスキーマのバージョン管理の連携¶

ビジネスメタデータを適用する場合、常に特定のバージョンのスキーマに適用します。スキーマを修正すると、新しいバージョンに「進化」します。前のバージョンのスキーマに適用したビジネスメタデータは、自動的に新しいバージョンに伝播されます。

たとえば、ロケーションラベルおよび属性をバージョン 2 のスキーマから適用すると、そのロケーションメタデータはバージョン 3、4、およびそれ以降に伝播されますが、そのラベルが適用されていないバージョン 1 には、バージョンを戻って明示的にメタデータを追加しない限り、メタデータが適用されません。

例¶

実際のユースケースでのビジネスメタデータの使用の詳細については、「ストリームガバナンスの概要」のデモを確認してください。約 6 分間のこのビデオで、アプリケーションの概要と、スキーマにビジネスメタデータを追加する方法に関する説明を視聴できます。

ビジネスメタデータの作成と属性の追加¶

ビジネスメタデータを作成するには、次の手順に従います。

選択した環境の設定の Schema Registry タブに移動します。
View & manage business metadata をクリックします。
このクラスターで初めてビジネスメタデータを作成した場合は、Get started をクリックします。

それ以外の場合は Create business metadata をクリックします。

作成済みのメタデータの場合、現在選択されているラベルに新しい属性を追加するオプションもあります。属性を追加するには Create attribute をクリックします。
メタデータのラベル名、説明、属性の値を入力し、Create をクリックします。

タグと同様、ビジネスメタデータのラベルと属性の命名規則でも、先頭を文字とし、その後に英数字または文字 _ を続ける必要があります。

作成したメタデータがリスト表示され、左側のメニューにそのラベル名が表示されます。

利用可能なビジネスメタデータの表示¶

利用可能なビジネスメタデータを表示するには、次の手順に従います。

選択した環境の設定の Schema Registry タブに移動します。
View & manage business metadata をクリックします。

スキーマへのビジネスメタデータの適用¶

スキーマにビジネスメタデータを適用するには、次の手順に従います。

ビジネスメタデータを適用するスキーマに移動します。

これを行うには複数の方法があります。
- 検索バーで、タグまたはビジネスメタデータを適用するスキーマの名前の入力を開始します。
- 同じ環境レベルビューの Schema Registry タブで View & manage schemas をクリックし、リストからスキーマを選択します。
- クラスター内で、トピックに移動し、そのトピックの Schema タブをクリックします。
必要に応じて、ビジネスメタデータを適用する特定のスキーマバージョンを選択します。

ちなみに

スキーマのバージョンは左上に表示されます。デフォルトで、最新（現在）のバージョンが選択されます。
スキーマの Overview パネルで Add business metadata をクリックします。
Add business metadata ダイアログで、現在表示されているスキーマのバージョンに関連付けるデータおよび属性を選択します。以下に注意してください。
- このダイアログの下部にある + Add business metadata をクリックすることで、同じスキーマのバージョンに複数のラベル（ビジネスメタデータ）を適用することもできます。
- このダイアログでは新しいビジネスメタデータを作成することはできません。既存のラベルと属性を追加できるだけです。新しいラベルと属性を作成する場合は、View & manage business metadata 画面で操作する必要があります。
必要なビジネスメタデータのラベルと属性をすべて追加したら、Continue をクリックして選択したスキーマのバージョンに適用します。

このスキーマのバージョンに適用したビジネスメタデータが右下に表示されます。

ビジネスメタデータの編集¶

ビジネスメタデータを編集するには、次の手順に従います。

選択した環境の設定の Schema Registry タブに移動します。
View & manage business metadata をクリックします。
リストから編集するラベルを選択します。
説明を編集するか、属性を追加します（またはその両方の作業を行います）。
各オプションで Save をクリックします。

ちなみに

既存のメタデータ定義/レベルから属性を削除することはできません。追加できるだけです。ビジネスメタデータの定義を再構築するには、適用されているすべてのエンティティから削除し、定義/ラベルを削除して新しいビジネスメタデータの定義を作成し、含めたい属性のみを追加するという方法もあります。

ビジネスメタデータの削除¶

メタデータのグループを削除する場合は、まずラベルが適用されているエンティティがないことを確認します。ラベルが使用中の場合、削除操作はエラーになります。

環境からメタデータのグループを削除するには、次の手順に従います。

選択した環境の設定の Schema Registry タブに移動します。
View & manage business metadata をクリックします。
リストから削除するグループのラベルを選択します。
右上にあるごみ箱アイコンをクリックします。
- ラベルが使用中の場合（1 つ以上のエンティティに適用されている場合）は、警告が表示され、ラベルは削除されません。
- ラベルを使用していない場合は、削除されます。

ラベルの検索¶

ビジネスメタデータのラベルが多数ある場合は、リストの上にある検索バーでラベル名を検索できます。予測検索によって、入力している間に一致するラベルが表示されます。

ストリームカタログユーザーガイド¶

データとスキーマの検索¶

グローバル検索¶

フィルターを使用した検索¶

データとスキーマのタグ付け¶

タグとスキーマのバージョン管理の連携¶

タグの作成¶

タグの適用¶

スキーマバージョンまたはデータフィールドからのタグの削除¶

タグの編集¶

タグの削除¶

特定のタグが付けられたエンティティの検索¶

スキーマのビジネスメタデータ¶

ビジネスメタデータとスキーマのバージョン管理の連携¶

例¶

ビジネスメタデータの作成と属性の追加¶

利用可能なビジネスメタデータの表示¶

スキーマへのビジネスメタデータの適用¶

ビジネスメタデータの編集¶

ビジネスメタデータの削除¶

ラベルの検索¶

おすすめの関連情報¶