ビデオ、デモ、および参考文献¶
ストリーム処理、Apache Kafka®、または Confluent Platform を初めて使用する方のために、入門書として役立つリソースを集めました。
ちなみに
新しい Confluent 開発者向けサイト には、 Kafka、Confluent Platform、および Confluent Cloud を初めて使用する場合に役立つ多数のリソースが用意されています。ここには、ビデオチュートリアル、サンプルコード、Kafka チュートリアル集、ポッドキャストのエピソード、Kafka ミートアップに関する情報などが掲載されています。
ビデオ¶
コレクション¶
- Confluent YouTube チャンネル
- Confluent YouTube チャンネルは、チュートリアル、ハウツー、顧客事例、Confluent のトレーニング全般に関する優れたリソースです。このコンテンツは頻繁にアップデートされるため、チャンネル登録することをお勧めします。
イベントストリーミングプラットフォーム¶
- The Event Streaming Platform Explained
- Jay Kreps が、データインフラストラクチャとアプリケーションアーキテクチャで起こっている変革の中心にある主要なトレンドと概念を解説します。
- Why Kafka?
- Kafka が企業向けのイベント駆動型リアルタイムアーキテクチャとなった理由がわかります。
- Neha Narkhede | Kafka Summit 2018 Keynote (The Present and Future of the Streaming Platform)
- Neha Narkhede は、Confluent の共同創設者であり、CTO です。Confluent を設立する前に Neha は、LinkedIn でストリームインフラストラクチャの責任者を務めており、Kafka と Apache Samza の上にビルドされた、LinkedIn のストリーミングインフラストラクチャを担当していました。
- Confluent Essentials for Apache Kafka
- 1 時間のこの無料ビデオでは、Apache Kafka® のユースケースと機能を推進している基本概念を説明しています(上記のリンク先で、目的のビデオまでスクロールしてください)。
- Microservices Explained by Confluent
- マイクロサービスのアーキテクチャにより組織は、処理や応答に時間のかかる共有状態の過去のアーキテクチャからシステムを進化させることができます。Confluent は、移動中のデータを、処理や応答が軽量で効率的なマイクロサービスアーキテクチャに統合するストリーミングプラットフォームを提供します。
ストリーム処理¶
- Intro to Streams | Kafka Streams API
- Apache |ak| のストリーム API は、Kafka のサーバー側クラスターテクノロジーが持つすべての利点を備えたミッションクリティカルなリアルタイムアプリケーションおよびマイクロサービスを記述する最も簡単な方法です。これにより、標準の Java または Scala アプリケーションをビルドできます。
- Intro to KSQL | Streaming SQL for Apache Kafka
- ksqlDB は、Kafka に対する継続的で対話的なクエリを実装したストリーミング SQL エンジンです。ksqlDB では、SQL ライクなセマンティクスを使用することにより、大規模な環境でリアルタイムに、ストリーミングデータに対する読み取り、書き込み、処理を簡単に行うことができます。
デモ¶
サンプル用 GitHub リポジトリ¶
- 20 以上のデモを含むメインリポジトリ
- Confluent Platform でのストリーム処理を紹介したエンドツーエンドのデモとサンプル。
- Kafka Streams のサンプル
- Kafka Streams API のデモアプリケーションとサンプルコード。
- Kafka クライアントアプリケーションのサンプル
- 12 種類以上のプログラミング言語による、クライアントのプロデューサーとコンシューマーのサンプル。オンプレミスまたは Confluent Cloud のあらゆる Kafka クラスターに接続します。
重要ポイント¶
最初に見るデモとして最適なのは、Confluent Platform のデモ(cp-demo) です。これは、cp-demo とも呼ばれます。このデモでは、Kafka イベントストリーミングアプリケーションを起動します。このアプリケーションでは、KSQL を使用してストリーム処理を行い、エンドツーエンドのストリーミング ETL パイプラインで数多くのセキュリティ機能を有効にし、ライブ IRC チャネルからプルするソースコネクターと、Elasticsearch や Kibana に接続して可視化を行うシンクコネクターを使用します。 cp-demo には、Playbook も付属しています。また、Confluent Platform の構成リファレンスとしても非常に役立ちます。
- Confluent Platform のデモ(cp-demo)
- このデモでは、ksqlDB を使用してストリーム処理を行い、 Control Center を使用してモニタリングし、エンドツーエンドでセキュリティが有効になっている Apache Kafka® ストリーミング ETL のデプロイ方法を説明します。Playbook を参照しながらビデオチュートリアルを視聴することができます。
- 独自の Apache Kafka® デモのビルド
- Apache Kafka® または Confluent Platform の独自のデモを、オンプレミスまたは Confluent Cloud でビルドします。これらのサンプルは、独自のカスタムデモやテスト環境をビルドする場合に便利です。
- Confluent Cloud の概要
- このページには、Confluent Cloud でのソリューションのビルドと検証に役立つ、いくつかのリソースがあります。また、Confluent Cloud のフルマネージド型コンポーネントとセルフマネージド型コンポーネントの組み合わせを使用して、独自のデモをビルドするための、エンドツーエンドの自動化デモとリソースも用意されています。
- セキュリティのチュートリアル
- このチュートリアルでは、SSL 暗号化、SASL 認証、および認可を使用して Confluent Platform を構成する各手順を順に説明しています。
- Real-Time Streaming ETL from Oracle Transactional Data
- バッチ抽出をイベントストリームに置き換え、バッチ変換をイベントストリームの送信中の変換に置き換えます。Oracle 上にビルドされたトランザクションシステムからデータのストリームを取り出し、変換し、Elasticsearch 内へとストリーム処理を行います。ksqlDB を使用して、イベントのストリームをデータベースからリアルタイムでフィルター処理し、2 つのデータベーステーブルのイベントで結合を行ってデータ上で周期的集約を作成します。
- Write a User Defined Function (UDF) for ksqlDB
- ユーザー定義関数(UDF)のビルド、デプロイ、テストを行って、ksqlDB コードに用意された関数のセットを拡張します。UDF 内で Java コードを記述して、タイムスタンプを String から BigInt に変換します。
- Confluent Control Center での Kafka のモニタリング
- ksqlDB CLI と Confluent Control Center を使用して、永続的な SQL クエリの着信レコードのストリームとスループットを表示します。
参考文献¶
書籍¶
Making Sense of Stream Processing
Designing Event-Driven Systems
I Heart Logs: Event Data, Stream Processing, and Data Integration
小規模な資料¶
Top 5 Things Every Apache Kafka Developer Should Know
Streams and Tables in Apache Kafka: A Primer
Introducing Kafka Streams: Stream Processing Made Simple
Journey to Event Driven – Four-part blog series
Building a Real-Time Streaming ETL Pipeline in 20 Minutes
Data Wrangling with Apache Kafka and KSQL
Apache Kafka vs. Enterprise Service Bus (ESB) – Friends, Enemies or Frenemies?