※ 本記事は、Doug Hoodによる”Announcing the Private Large Language Model Service“を翻訳したものです。

2026年10月20日

Private AI Services Containerのリリース26.2には、Private Large Language Models Serviceが含まれていることをお知らせします。つまり、オープンウェイトの大規模言語モデル (LLM)をPrivate AI Services Containerでホストできるようになりました。

Private Large Language Model Serviceはどのような課題に対応?

機密保持 / プライバシー

商用大規模言語モデルは、多くの場合に役立ちますが、通常は質問、コード、および/またはドキュメントをコンテキストとして提供する必要があります。つまり、質問、コードまたはドキュメントは、商用LLMをホストするプロバイダと共有されます。

プロバイダ、サービス構成および契約条件によっては、プロンプト、ドキュメント、コードおよびその他の送信済コンテンツの処理方法および保持方法を検討する必要がある場合があります。

質問、コードまたはドキュメントが、お客様またはお客様の会社に対して非公開で機密のままである必要がある場合、第三者がホストする商用LLMを使用することは、お客様のユース・ケースに適していない可能性があります。

コストとトークンの不確実性

商用LLMは有料サービスです。これは、なんらかの形式のサブスクリプションを使用しているか、トークンベースの使用料を支払っていることを意味します。サブスクリプションが手頃な価格で固定されているか、トークン使用率が低い場合、これは問題ありません。ただし、サブスクリプション料金が予告なく変更される場合や、ユース・ケースで大量のトークンが使用される場合は、使用計画とコストをより詳細に制御できるデプロイメント・オプションが必要になる場合があります。

Private Large Language Model Serviceはどのように役立つか

機密保持 / プライバシー

顧客の環境内にデプロイされた場合、このサービスは、組織がプロンプト、コードおよびドキュメントを自社の管理下にあるインフラストラクチャ内に保持できるように設計されています。Private AI Services Containerは、お客様のデータ・センター、オプションでエアギャップ・システム、または独自のプライベート・クラウドで実行されます。お客様は、パブリック・クラウド上の独自のテナンシ内にPrivate Large Language Model Serviceをデプロイすることもできます。これらのデプロイメント・オプションは、お客様が選択した環境内でデータを管理できるように設計されています。

コストとトークンの確実性

Private Large Language Model Serviceでは、顧客が制御するオープンウェイトLLMを使用し、トークンベースの使用料金は課されません。お客様は、サービスを実行するインフラストラクチャを提供および運用します。お客様は、Oracle Private AI Services Containerの料金を支払う必要も、トークン制限もありません。組織は、Private Large Language Model Serviceの使用に対してトークン単位で課金されません。ただし、お客様はPrivate AI Services Containerを実行する独自のハードウェアを提供する必要があります。Private Large Language Model ServiceではCPU (Linux x86-64)を使用できますが、多くのワークロードではGPUによりCPUより高速な推論が可能です。

Private Large Language Model Serviceの仕組み

Private Large Language Model Serviceは、一般的なRESTインタフェース (OpenAI API)を実装します。これは、OpenAI互換APIを使用する既存のクライアントがPrivate Large Language Model Serviceと連携できることを意味します。重要なのは、エンドポイントURLをPrivate AI Services Containerを指すように変更し、Private AI Services Containerの(無償の)API_KEYを使用することです。

内部的には、Private Large Language Model ServiceはLLM推論にllama.cppおよびvLLMランタイムを使用します。お客様は、大規模コンテナに付属するデフォルトのmistralai/Ministral-3-3B-Reasoning-2512 LLMを使用するか、llama.cppまたはvLLMランタイムと連携するオープンウェイトLLMをダウンロードできます。このオープンウェイトLLMのリストは、Private Large Language Model Serviceと連携することが知られています。

これは、Private Large Language Model Serviceと連携するように多くのクライアントを構成できることを意味します:

  • Oracle Private Agent Factory、OpenWebUI、AnythingLLM、OpenAI APIクライアントなどのチャット・クライアント
  • Oracle AI Vector Search、Oracle Private Agent Factory、LangChain、LlamaIndexなどのRAGクライアント
  • OpenCodeのようなエージェントのコーディング
  • Hermes Agentなどの自律エージェント

Private Large Language Model Serviceのセキュリティ

Private AI Services Containerは、セキュリティを考慮して設計されています: 

  • コンテナは顧客のインフラストラクチャで実行
  • デプロイメントは、外部AIサービスを必要とせずに構成
  • エアギャップ環境で動作可能
  • TLS 1.3は転送中のデータを保護
  • APIキーによるリクエストの認証
  • PKCS#12キーストアは証明書と資格証明を保護

はじめに

結論: Oracle Private AI Services Containerは、APIキー認証、TLS 1.3暗号化通信、キーストアベースの資格証明管理、およびベクトル索引作成の高速化によってサポートされる外部ベクトル埋込み生成を可能にします。これにより、データベースに追加の推論ワークロードを配置せずに、LLM推論、再ランク付けおよびテキスト分類が追加されます。

Oracle Private AI Services ContainerをOracle Container Registryから直接ダウンロードし、Private AI Services Containerユーザーズ・ガイドですべての設定詳細を確認できます。

今すぐお試しください!

関連ブログ