※これはAnnouncing OCI Streaming with Apache Kafka, in limited availabilityの翻訳です
新たなマネージド Kafka サービスの Oracle Cloud Infrastructure (OCI) Streaming with Apache Kafka のリリースが近づいています。このサービスは現在制限付き利用（LA）にて提供されており、この秋後半に一般提供される予定です。
Apache Kafka はFortune 100 企業の 80% が、高性能データ統合とミッションクリティカルなアプリケーションに使用しているオープンソースの分散イベントストリーミング・プラットフォームです。OCI Streaming with Apache Kafka は、OCI のフルマネージド Kafka サービスであり、リアルタイムの分散データストリーミング・パイプラインを構築できます。これにより、1 分間に数百万のイベントをコスト効率よく収集、処理、保存、移動できます。オープンソースの Apache Kafka と 100% 互換性があります。
OCI Streaming with Apache Kafka の概要
Apache Kafka と 100% 互換性があります。
OCI Streaming with Apache Kafka を使用すると、テナント内で Kafka クラスタを簡単に実行でき、最新バージョンのオープンソース Apache Kafka のすべての機能に加え、OCI 独自のアーキテクチャにより強化されたパフォーマンス、セキュリティ、高可用性が提供されます。次の機能と利点があります:
- 自動パッチ、アップグレード、バックアップ
- クラウドスケールで、使用した分だけの支払い
- ワークロードのダウンタイムなしでクラスタを自動的に修復し、99.9% の可用性のサービスライセンス契約 (SLA) で高可用性を実現
- Kafka アクセス制御リスト (ACL) と Salted Challenge Response 認証メカニズム (SASL/SCRAM) または mTLS ベースの認証メカニズムを使用したきめ細かいセキュリティ アクセス制御
- 既存のオープンソース Kafka コネクタおよびツールとの互換性
ユースケース
Kafka の一般的な使用例には、次の例があります。
Change data capture
Change data capture (CDC) は、状態の変更が時系列のレコードシーケンスとしてログに記録されるアプリケーション設計のスタイルです。OCI Streaming with Apache Kafka はクラウドスケールの保存ログデータをサポートしているため、この方式で構築されたアプリケーションに最適なバックエンドです。Debezium CDC コネクタなどのオープンソースの Kafka コネクタを仮想マシン (VM) にデプロイすると、更新タイムスタンプ列に基づいてソースデータベースで新規データまたは変更データがポーリングされ、OCI Streaming with Apache Kafka にデータを簡単にストリーミングできます (図 1 参照)。例えば、電子商取引企業は CDC を Kafka とともに使用して、データベース内の注文更新を追跡し、注文処理やその他の注文履行マイクロ サービスを開始します。
図１：Change Data Captureのアーキテクチャ
メトリックとログの取り込み
OCI Streaming with Apache Kafka は、さまざまなソースからのメトリックまたはログ処理機能として使用できます。Fluentd、Logstash などのログ取り込みツールや Kafka Producer API を使用すると、さまざまなアプリケーションからログを収集し、Kafka トピックに配置して、データの強化と集約を行うことができます。OCI Streaming with Apache Kafka はログの詳細を抽象化し、下流の分析ツールに送信してさらに処理したり、高度なログ検索機能を使用したりすることで、データを強化できます (図 2 参照)。
図２：メトリックとログ収集のアーキテクチャ
リアルタイム分析
OCI Streaming with Apache Kafka は、IoTデバイスやその他上流のアプリケーションからの継続的なデータストリームを処理・分析して、リアルタイムの洞察、異常検出、予測分析を実現します。例えば金融機関は、このサービスを使用して市場データのフィードを処理し取引の異常を検出し、リアルタイムで取引の決定を下します。図 2 に示すように小売業者は、顧客の行動と好みをリアルタイムで分析して、パーソナライズされたお勧めや推奨を提供します。
図３：リアルタイム分析のアーキテクチャ
Web 、モバイル アクティビティデータの取り込み
OCI Streaming with Apache Kafkaを使用すると、ユーザーアクティビティ追跡パイプラインを、リアルタイムのパブリッシュ/サブスクライブのフィードのセットとして再構築できます。これらのフィードは、リアルタイム処理、リアルタイム監視、オフライン処理およびレポート用の Hadoop またはオフラインのデータ ウェアハウス・システムへのロードなど、さまざまなユース ケースでサブスクリプションに使用できます。このソリューションは、次の用途に使用できます。
- クリックストリーム：クリックストリームのユースケースでは、複数のプロデューサーから Web サイトのアクティビティ データを収集し、そのデータをリアルタイムで分析して、購入する製品、読むニュース記事、視聴するビデオなどの推奨事項を提供します。
- ゲーム分析：ゲーム会社はネットワーク ラグ、ユーザーの動作、ゲーム内のアクティビティを常に監視して、顧客にゲーム内のマイクロトランザクションを提供したり、ネットワーク負荷のバランスを調整したり、レンダリングエンジンのパラメータを変更したりします。これらのアクションはすべて、数ミリ秒から数秒のオーダーでリアルタイムに実行されます。
図４：Web 、モバイル アクティビティデータの取り込みのアーキテクチャ
まとめ
OCI Streaming with Apache Kafka は、高性能でスケーラブル、かつ安全なデータ ストリーミング ソリューションを提供するという Oracle の取り組みにおいて重要なマイルストーンとなります。OCI のマネージド Kafka サービスによりユーザーは、Oracle の最先端のインフラストラクチャによって強化されたオープンソース Kafka の堅牢な機能の恩恵を受け、自動アップグレード、きめ細かなセキュリティ、卓越した可用性と価格パフォーマンスを実現できます。
この秋後半に一般提供を開始するにあたり、制限付き利用プログラムを通じて OCI Streaming with Apache Kafka の可能性を探ってみませんか。データストリーミングのニーズを競争上の優位性に変える方法を実際に体験してください。
制限付き利用サービスについてさらに詳しく知りたい場合は、このフォームに記入して詳細をお知らせください。