※ 本記事は、Doug Hoodによる”Announcing the Private Large Language Model Service“を翻訳したものです。

2026年10月20日


Private AI Services Containerのリリース26.2で、Private Large Language Model Serviceの提供を開始しました。重みを公開した大規模言語モデル (オープンウェイトLLM)を、Private AI Services Container内で稼働させられるようになりました。

Private Large Language Model Serviceで解決する課題

機密性とプライバシー

商用の大規模言語モデルは、さまざまな用途に役立ちます。ただし通常は、質問、コード、文書などを、判断に必要な情報として渡します。つまり、それらの内容を、商用LLMを運用するプロバイダーと共有することになります。

プロバイダー、サービスの設定、契約条件によっては、プロンプト、文書、コードなど、送信した内容がどのように処理・保持されるかを検討が必要です。

質問、コード、文書を、自分や会社だけの機密情報として扱う必要がある場合、第三者が運用する商用LLMは、用途に適さない可能性があります。

費用とトークン使用量の不確実性

商用LLMは有料サービスです。サブスクリプション、またはトークン使用量に応じて料金を支払います。料金が手頃で固定されている、あるいはトークン使用量が少ない場合は、問題にならないかもしれません。しかし、予告なく料金が変わる場合や、大量のトークンを使う用途では、利用計画と費用を、より自分たちで管理できる導入方法が必要になることがあります。

Private Large Language Model Serviceでできること

機密性とプライバシー

お客さまの環境内に導入することで、プロンプト、コード、文書を、自分たちが管理するインフラ内に置いておけるよう設計しています。Private AI Services Containerは、お客さまのデータセンターで動作し、必要に応じて、外部ネットワークから切り離した環境でも利用できます。自社のプライベートクラウドや、パブリッククラウド上の自分のテナンシ内に導入することもできます。選んだ環境の中で、データの管理を自分たちで維持できるようにするための選択肢となります。

費用とトークン利用を予測しやすくする

Private Large Language Model Serviceでは、お客さまが管理するオープンウェイトLLMを使い、トークン使用量に応じた料金は課しません。サービスを動かすインフラは、お客さまが用意して運用します。Oracle Private AI Services Container自体の料金は不要で、トークン数の上限もありません。このLLMサービスの利用について、トークン単位の料金が発生することもありません。ただし、コンテナを動かすハードウェアは、自分たちで用意する必要があります。Linux x86-64のCPUを利用できるほか、多くの処理では、GPUを使うとCPUより高速に推論できます。

Private Large Language Model Serviceの仕組み

広く使われているRESTインターフェースであるOpenAI APIを実装しているため、OpenAI互換APIを使う既存クライアントを、このサービスでも利用できるはずです。接続先URLをPrivate AI Services Containerに変更し、同コンテナの無料のAPI_KEYを使うことがポイントです。

内部では、LLMの推論にllama.cppとvLLMの実行環境を使います。largeコンテナに含まれるデフォルトのmistralai/Ministral-3-3B-Reasoning-2512を使うか、llama.cppまたはvLLMに対応したオープンウェイトLLMをダウンロードして利用できます。サービスで動作することが分かっているモデルは、こちらの一覧に掲載しています。

次のような多くのクライアントを設定して利用できます:

  • チャット・クライアント: Oracle Private Agent Factory、OpenWebUI、AnythingLLM、OpenAI APIクライアントなど。
  • RAGクライアント: Oracle AI Vector Search、Oracle Private Agent Factory、LangChain、LlamaIndexなど。
  • コーディング・エージェント: OpenCodeなど。
  • 自律型エージェント: Hermes Agentなど。

Private Large Language Model Serviceのセキュリティ

Private AI Services Containerでは、次のようにセキュリティを考慮しています: 

  • お客さま自身のインフラでコンテナを実行
  • 外部のAIサービスを必要としない構成にする
  • 外部ネットワークから切り離した環境で実行
  • TLS 1.3で通信中のデータを保護
  • APIキーで要求を認証
  • PKCS#12キーストアで証明書と認証情報を保護

利用を始める

Oracle Private AI Services Containerでは、APIキー認証、TLS 1.3の暗号化通信、キーストアによる認証情報の管理を使い、データベースの外でベクトル埋め込みを生成できます。ベクトル索引の作成も高速化します。今回、LLMの推論、再ランキング、テキスト分類も追加し、データベースに推論処理の負荷を増やさずに利用できるようにしました。

Oracle Container RegistryからOracle Private AI Services Containerを直接ダウンロードできます。設定の詳細は、Private AI Services Containerユーザーズ・ガイドに掲載しています。

ぜひお試しください。

関連ブログ