※これはAnnouncing General Availability of OCI Streaming with Apache Kafkaの翻訳です。
OCI Streaming with Apache Kafkaの一般提供が開始され、Apache Kafkaの分散イベントストリーミング機能のパワーと柔軟性をOracle Cloud Infrastructure（OCI）上で実現できることを嬉しく思います。この新しいマネージド・Kafkaサービスにより、OCIのセキュアでスケーラブルな環境でイベントドリブン・アプリケーションや、リアルタイム・データパイプラインを容易に構築・運用できるだけでなく、効率的な導入、統合、管理のメリットも享受できます。
OCIストリーミングとApache Kafkaの主な機能、メリット、一般的なユースケースについて以下に解説し、最後に導入に役立つstep-by-stepガイドをご紹介します。
なぜOCI Streaming with Apache Kafkaなのか？
リアルタイムのデータ処理と分析の必要性が高まる中、Apache Kafka はストリーミング・ワークロードのための堅牢なバックボーンを提供します。Oracle のOCI 上のフルマネージド Kafka サービスにより、インフラストラクチャ管理に費やす時間を減らし、データとアプリケーションのイノベーションに注力できるようになります。主なメリットは以下のとおりです。
- フルマネージド Kafka：プロビジョニング、スケーリング、メンテナンス、パッチ適用を自動化。運用上の煩雑な作業は OCI が処理
- 高スループットとスケーラビリティ：OCI の高スループット・ネットワークと耐障害性に優れたアーキテクチャを活用し、複数の可用性ドメインにまたがって拡張できるように設計
- 包括的なセキュリティ：堅牢なネットワーク、認証（SASL-SCRAM、mTLS）、アクセス制御機能により、データを保護
主な機能
1. 柔軟なクラスタオプション
- OCI Streaming with Apache Kafka は、さまざまなワークロードをサポートする柔軟なクラスタ構成を提供します。開発・テストに推奨されるStarter Clustersは、1～30 個のブローカーでプロビジョニングできます。本番環境向けに設計された高可用性 (HA) クラスタは、複数のドメインにわたる耐障害性の高いデプロイメントをサポートし、最低 3 個のブローカーを必要とし、最大 30 個のブローカーまで拡張可能です。
2. カスタム構成
- デフォルトの構成設定を使用してクラスタを迅速に作成することも、OCI CLI または Kafka API を使用して、ブローカー設定、レプリケーション係数、その他のパラメータを特定の要件に合わせてカスタマイズすることもできます。
3. セキュリティとコンプライアンス
- 認証：SASL-SCRAM または mTLS を使用してクラスタを保護します。OCI IAM との統合は、今後のアップデートで予定されています。
- アクセス制御：Kafka アクセス制御リスト (ACL) を使用して接続と権限を管理および制限し、必要に応じてネットワークアクセスを制御するための柔軟な VCN 構成も提供します。
4. 高可用性と災害復旧
- HA構成では、リージョン内データレプリケーションにより耐久性と可用性が向上します。
- MirrorMaker 2 により、クラスター間（マルチリージョン）レプリケーションと災害復旧がサポートされます。
一般的なユースケース
OCI Streaming with Apache Kafka は、ミッションクリティカル、リアルタイム、およびAIワークフローを幅広くサポートします。
- リアルタイム AI トレーニングデータ基盤：多様なソースからリアルタイムデータをストリーミング・集約し、最新のビジネスシグナルや運用シグナルに基づいて AI や大規模言語モデル (LLM) をトレーニングおよび再トレーニングするために不可欠な、最新かつ高品質なデータセットを提供します。
- GenAI および RAG 向けベクトルデータベース・パイプライン：ベクトル埋め込みを含む処理済みデータを、統合されたベクトルデータベース（AI 検索や Retrieval-Augmented Generation シナリオで使用されるものなど）に直接ストリーミングすることで、AI モデルがコンテキストに基づいた最新情報を活用して出力の関連性と精度を向上させることを可能にします。
- AI エージェント・マルチエージェントシステム・オーケストレーション：AI マイクロサービスまたはエージェント間のリアルタイム通信とイベント共有を確立し、エージェントの状態管理をサポートし、ストリーミング・パイプラインを使用して動的なワークフローを調整することで、応答性と自律性に優れた AI ソリューションを実現します。
- リアルタイムデータ分析：IoTや患者デバイスのデータを継続的にストリーミングすることで、プロアクティブな健康モニタリング、予測分析、そしてタイムリーな介入を実現します。
- ユーザー行動分析：Webアプリケーションやモバイルアプリケーションにおけるユーザーインタラクションに関するリアルタイムデータを取得・処理し、実用的なインサイトとパーソナライズされた推奨事項を導き出します。
- 需要予測：リアルタイムの売上データと運用データをストリーミング・分析することで、即座の予測と予測精度を向上させ、データ駆動的なビジネス上の意思決定をサポートします。
- 不正検出：金融取引をリアルタイムで継続的に監視し、疑わしいパターンや異常を検出し、潜在的な不正の脅威に迅速に対応します。
- 変更データ・キャプチャ（CDC）：データベースの変更を分析プラットフォームまたはデータレイクにシームレスにストリーミングすることで、下流のシステムを低レイテンシーで最新のデータと同期させます。
Getting Started: コンソールのウォークスルー
前提条件: ポリシーの設定
最初の Kafka クラスタをプロビジョニングする前に、Kafka サービス（rawfka と呼びます）とユーザーグループの両方に必要な権限を付与する必要があります。以下のポリシーステートメントを自身の環境に応じて変更して実行してください。
サービス権限:
Allow service rawfka to use vnics in compartment <compartment>
Allow service rawfka to use network-security-groups in compartment <compartment>
Allow service rawfka to use subnets in compartment <compartment>
ユーザー権限:
Allow group <dynamic-group> to {
KAFKA_CLUSTER_INSPECT, KAFKA_CLUSTER_READ, KAFKA_CLUSTER_CREATE,
KAFKA_CLUSTER_DELETE, KAFKA_CLUSTER_UPDATE, KAFKA_CLUSTER_CONFIG_READ,
KAFKA_CLUSTER_CONFIG_INSPECT, KAFKA_CLUSTER_CONFIG_CREATE,
KAFKA_CLUSTER_CONFIG_UPDATE, KAFKA_CLUSTER_CONFIG_DELETE,
KAFKA_CLUSTER_MOVE
} in <compartment> | tenancy
SASL スーパーユーザー権限 (必要に応じて):
Allow service rawfka to {SECRET_UPDATE} in compartment <compartment>
Allow service rawfka to use secrets in compartment <compartment> where request.operation = ‘UpdateSecret’
Step-by-Step：Kafka クラスタの作成
スクリーンショット付きの詳細なチュートリアルはドキュメントに記載されています。プロセスの概要は以下のとおりです。
1. Kafka クラスタの表示または作成：コンパートメントに移動して既存の Kafka クラスタを確認するか、「クラスタの作成」を選択して開始します。
2. クラスタの詳細設定：クラスタ名、バージョン、クラスタを作成するコンパートメントを指定します。
3. ブローカー設定：クラスタタイプ（Starerまたは HA）、ブローカー数、リソース割り当て（CPU、メモリ、ストレージ）を選択します。
4. クラスタ構成：必要に応じて、デフォルトまたはカスタムの Kafka 構成を適用します。
5. セキュリティ設定：クラスタ内セキュリティのために mTLS（適切な証明書を使用）を設定します。デプロイ後に SASL-SCRAM を構成します。
6. ネットワーク: 仮想クラウドネットワーク (VCN) とサブネットを選択します。HA クラスタにはリージョナルサブネットが推奨されます。
7. 確認と作成: 新しい Kafka クラスターを起動する前に、すべての設定を確認します。
料金の概要
OCI Streaming with Apache Kafka は、インフラストラクチャの使用量に基づいて課金されます。
料金は、ブローカー、CPU コア、メモリ、ストレージの数によって異なります。
サービス料金: 1 OCPU あたり 1 時間あたり $0.10 (ARM A1 シェイプの場合は 1 OCPU あたり 1 時間あたり $0.05)。
最新情報については、OCI 料金ページをご覧ください。
今すぐ始めましょう
OCI Straming with Apache Kafkaは、運用オーバーヘッドを削減しながら、リアルタイム・ストリーミング・アプリケーションのパワーを最大限に活用できるよう支援します。さらに、Oracle Cloud Infrastructureに期待されるスケーラビリティ、可用性、セキュリティも備えています。
今すぐデータ・ストリーミング・ソリューションの構築を始めましょう！
ご質問やサポートについては、公式ドキュメントを参照するか、OCIサポートにお問い合わせください。