※ 本記事は、Abhishek Bhaumikによる”Realtime Data Transformation on OCI Streaming with Apache Kafka and DeltaStream“を翻訳したものです。
2026年3月16日
イベント駆動型アーキテクチャは、多くの企業にとって不可欠になりました。顧客活動の追跡、デバイスの監視、ビジネス・シグナルの取得など、データをすばやく移動し、それに基づいて行動する能力は重要です。OCI Streaming with Apache Kafkaは、高速イベントを大規模かつ確実に処理できる信頼できるクラウドネイティブな環境を提供します。多くのチームが次に求めているのは、運用上のオーバーヘッドなしでそのデータを簡単に処理する方法です。
DeltaStreamは、まさにそれを行うための手段を提供します。Kafka互換クラスタに接続し、SQLを使用してライブ・データを探索および問合せした後、フィルタ、結合、集計およびエンリッチされた結果をイベント・エコシステムに書き込みます。その結果、複雑なコンピュート・インフラストラクチャやコネクタ・インフラストラクチャを所有したり管理したりすることなく、構築して実行できるリアルタイム・パイプラインが実現します。
この投稿では、このパターンがOCI Streaming for Kafkaでどのように機能するかについて説明し、このパターンがOracleユーザーにとってなぜ重要かを説明します。
データの「移動中」に変換
生データのイベント・ストリームは便利ですが、それ以降の下流の処理のコンシューマまたは分析システムが求めるシェイプではめったにありません。多くのチームは、管理対象インフラストラクチャ上で実行されるストリーミング・クラスタ、コネクタおよび変換コードの構築とメンテナンスに時間と労力を費やしています。その作業には専門的なスキルが必要で、コア・ビジネスの優先事項からリソースが奪われます。
DeltaStreamとOCI Streaming with Apache Kafkaを使用すると、次のことができます:
- イベント・ソースに迅速に接続
- 追加のツールなしでトピックとスキーマを探索
- 標準SQLを使用した継続的なフィルタリング、結合および変換の表現
- 分析、マイクロサービス、その他のシステムにフィードする新しいKafkaトピックとして結果を公開
- 独自のFlinkクラスタを構築・運用するのを回避
このアプローチにより、業務の負担が軽減され、実用的な結果を迅速に本番環境に導入できます。また、DeltaStreamはマネージド・サービスで変換処理を実行するため、チームは日々のシステム・メンテナンスではなく価値に注力できます。
OCI Streaming with Apache Kafkaに接続
すでにOCI Streaming with Apache Kafkaに流入するイベントがある場合は、すぐに利用を開始できます。デモでは、pageviewsというトピックを用意し、一定のレートでページ・ビュー・イベントを受信していました。
DeltaStreamの使用を開始するために、Kafkaソース用の新しいデータ・ストアを追加しました。OCIのKafkaサービスは、Kafka互換APIを公開しているため、接続は簡単です。以下の情報を指定しました:
- ストアの名前: oci_kafka
- ポート10000のブートストラップ・サーバー・アドレス
- ユーザー名とパスワード
DeltaStreamは、TLS暗号化およびスキーマ・レジストリもサポートしているため、環境の要件に応じて、より強力な認証または管理対象スキーマの進化を使用できます。
接続すると、DeltaStreamはOCIクラスタから使用可能なすべてのトピックをリストしました。ソース・トピックを選択し、最初からデータを表示することを選択しました。UI内では、JSON形式または表形式でメッセージを検査できます。これにより、チームは、変換ロジックを記述する前に受信イベントの形状を検証できます。
SQLを使用した探索および問合せ
DeltaStreamのワークスペースは、ユーザーが、ストリーミング・データをあたかもテーブルであるかのように扱えるように設計されています。これはデータベース・チームにとって親しみやすく、ストリーミング・フレームワークを日常的に扱っていない人々の学習コストを下げます。
pageviewsデータを画面に出力した後、スキーマを定義してそのトピックにリンクします:
CREATE STREAM pageviews_stream (
event_id VARCHAR,
userid VARCHAR,
viewtime TIMESTAMP_LTZ(3),
event_type STRING
)WITH (
'store' = 'oci_kafka',
'topic'='pageviews',
'value.format'='JSON'
);DeltaStreamは、トピックから読み取って結果をストリームバックするコンピュート・サンドボックスを開始しました。これは1回かぎりのスナップショットではありません。ソース・トピックに新規イベントが到着すると、結果は継続的に更新されます。
次に、特定のイベント・タイプに焦点を当てるように問合せを絞り込みました:
select *
from pageviews
where event_type = 'purchase';このフィルタされたビューでは、購入イベントのみが得られました。これは、ビジネスが分析、アラート、または下流のアプリケーションにリアルタイムで配信したいデータです。
変換された結果を新しいKafkaトピックに公開
データのフィルタリングと検査は便利ですが、多くのワークフローでは、導出されたストリームをKafkaに公開して、他のコンシューマがそのデータを処理できるようにする必要があります。DeltaStreamを使用すると、操作が簡単になります。
フィルタされた結果を新しいKafkaトピックに書き込むようにDeltaStreamに指示して、新しいストリームを作成しました:
create stream pageviews_purchases_stream
with (
store = 'oci_kafka',
topic = 'pageviews_purchases'
) as
select *
from pageviews
where event_type = 'purchase';ここでは、ソース・トピックを読み取り、問合せロジックを適用し、一致するイベントを出力トピックに書き込む管理対象Flinkジョブを開始します。スループット、レイテンシ、その他のメトリックをDeltaStreamのジョブ・ダッシュボードから監視したり、互換性のあるAPIを介して既存の可観測性ツールにプルしたりできます。
kcatコマンドで簡単に確認したところ、新しいトピックがOCI内で作成され、予想されるイベントがすでに受信されていることが確認されました。
また、新しいトピックのパーティション数や保存ポリシーなどを制御したり、集計やウィンドウ関数などのより複雑なSQLロジックを含めることもできます。
単なるKafka以上のサポート
この投稿では、Apache Kafkaを使用したOCIストリーミングに焦点を当てていますが、DeltaStreamは、他の多くのシステムのコネクタもサポートしています。つまり、リレーショナル・データベース、クラウド・ストレージおよびメッセージ・キューからの読取り、同じ連続SQLロジックの適用、Kafkaまたはその他のターゲットへのパブリッシュが可能です。
この柔軟性は、移行およびハイブリッド・アーキテクチャに役立ちます。たとえば、次のようになります:
- 最小限の中断でレガシー・キューをKafkaまたはデータベースに移行
- OLTPシステムからの変更ストリームをKafkaイベントとリアルタイムで融合
- 複数のライブ・ソースからデータレイクと分析ストアを移入
より多くのコネクタをサポートすることで、チームはすべてのソースとターゲットにカスタム・コードを使用せずにリアルタイムのデータパスを構築する統一された方法を得ることができます。
OCIのお客様にとってこれが重要な理由
OCI Streaming with Apache Kafkaは、高速イベントを収集するためのスケーラブルな場所を提供します。DeltaStreamを使用すると、これらの生のストリームを、アプリケーション、分析およびダッシュボードがすぐに使用できるデータ製品に簡単に変換できるようになりました。
このパターンは、専用のストリーミング・プラットフォームを管理する必要なく、リアルタイムの価値を提供するのに役立ちます。OCIのクラウド・ネイティブ・イベント・サービスの強みと直感的なSQL主導の処理レイヤーを組み合わせることで、チームはより迅速かつ複雑で結果を提供できます。
OCI Streaming with Apache Kafkaの開始
OCI Streaming with Apache Kafkaは、運用オーバーヘッドを削減し、Oracle Cloud Infrastructureに期待されるスケーラビリティ、可用性およびセキュリティでリアルタイムのストリーミング・アプリケーションのパワーを活用できるよう支援します。
今すぐデータ・ストリーミング・ソリューションを構築しましょう!
DeltaStreamの開始
ソリューション・アーキテクチャを確認し、オラクルのエキスパートとつながり、OCIワークロードに合わせてDeltaStreamデプロイメントを設計します。