※ 本記事は、Sagar Zanwar, Akshai Parthasarathyによる”Announcing the general availability of OCI Compute with NVIDIA L40S GPUs for AI, simulation, and digital twin workloads“を翻訳したものです。

2024年10月17日

AIと機械学習(ML)の導入が業界やユース・ケース全体に拡大するにつれ、お客様はAIモデルのトレーニング、導入、ファインチューニングのためにパフォーマンスと価格を最適化するためのより多くのオプションを必要としています。より多くの選択肢を提供するために、Oracle Cloud Infrastructure(OCI)は、普遍的なAI/MLおよびグラフィックス・ワークロードのための新しいコンピュート・インスタンスを導入しています。

NVIDIA L40S GPUを搭載したOCI Computeベアメタル・インスタンス: BM.GPU.L40S.4

NVIDIA L40S GPU(BM.GPU.L40S.4)を搭載したOCI Computeベアメタル・インスタンス提供開始を発表できることを嬉しく思います。OCIのGPUインスタンスに特有のベア・メタルは、ハイパーバイザーのオーバーヘッドを排除し、エンド・ユーザーが各インスタンスのパフォーマンスを最大限に活用できるようにします。

BM.GPU.L40S.4インスタンスは、4つのNVIDIA L40S GPUを持つスタンドアロン仮想ワークステーションとして使用できます。OCI Superclusterでは、この新しいインスタンス・タイプも使用でき、最大3,840個のL40S GPUまでスケーリングできます。OCI Superclusterの超低レイテンシ・ネットワーキングにより、大規模言語モデル(LLM)の中規模でのトレーニングと推論が可能になります。OCIのクラスタ・ネットワークは、NVIDIA ConnectX-7ネットワーク・インタフェース・カード(NIC)の上部にあるRDMA over Converged Ethernet Version 2 (RoCE v2)を使用して、高スループットでレイテンシの影響を受けやすいワークロードをサポートします。

OCIのフリート全体にわたるすぐに使用できる仮想化戦略により、各インスタンスのハードウェア・アクセラレーションと効率的なネットワーク処理が可能になります。BM.GPU.L40S.4では、NVIDIA BlueField-3 DPUを使用して、ネットワーク、ストレージおよびセキュリティのワークロードを高速化します。たとえば、OCI File Storageの新しい高パフォーマンス・マウント・ターゲット(HPMT)へのI/O転送や、次回のフルマネージドLustre Fileサービス(近日提供)は、DPUハードウェア・アクセラレーションを利用します。

アップグレードされた200Gbpsのフロントエンド・ネットワークにより、各インスタンスは、データの取込み/取得のための大規模なデータセット、およびストレージとGPUの間の大規模なデータセットをより効率的に移動できるため、モデルのトレーニングおよび推論時のボトルネックが軽減されます。膨大な量のデータに迅速にアクセスすることで、反復を迅速化し、より効率的なスケーリングを実現できます。新しいインスタンスには次の機能があります:

  • インスタンス名: BM.GPU.L40S.4
  • インスタンス・タイプ: Bare-metal
  • 定価: $3.50 Per GPU/Hour
  • GPU: Four NVIDIA L40S GPUs with 48 GB each
  • CPU: Two 56-core Intel Sapphire Rapids 8480+
  • システム・メモリ: 1,024 GB DDR5
  • ローカル・ストレージ: Two 3.84-TB NVMe
  • ハードウェア・アクセラレーション: NVIDIA BlueField-3 DPUでデフォルトで有効
  • フロントエンド・ネットワーク: 200 Gbps
  • クラスタ・ネットワーク: 800 Gbps
  • OCI Superclusterスケール: Up to 3,840 NVIDIA L40S GPUs

BM.GPU.L40S.4のユース・ケース

新しいインスタンスは、次のユース・ケースなどに使用できます:

  • トレーニング、ファインチューニング、推論: 第4世代のNVIDIA Tensorコアにより、BM.GPU.L40S.4は、小規模から中規模のLLMのトレーニングとファインチューニング、および幅広い生成AIユース・ケースでの推論に優れています。
  • シミュレーションとデジタル・ツイン: ベアメタル・コンピュート、すぐに利用可能な仮想化、およびNVIDIA RTコアにより、これらのインスタンスは、OpenUSDおよびNVIDIA Omniverseプラットフォームで開発されたリアルタイムの3Dアプリケーションの開発とデプロイにも適しており、フォトリアリスティックな物理ベースのシミュレーションおよびAI搭載のデジタル・ツインにも適しています。
  • ビデオ・トランスコーディングおよびイメージ処理: BM.GPU.L40S.4は、第3世代のNVIDIA RTコアと、GPU当たり3つの専用エンコードおよびデコード・エンジンにより、クラス最高のグラフィックスおよびメディア・アクセラレーションを提供します。

「NVIDIA L40S GPUを搭載したOCI Computeにより、正確な世界規模の洪水検出のためのFloodSENS MLモデルをコスト効率の高い方法でトレーニングできます」と、RSS-HydroのCEOであるGuy Schumann氏は述べています。

「ベアメタル・インスタンスとNVIDIA L40S GPUを搭載したOCI AIインフラストラクチャを選び、30%効率的なビデオ・エンコーディングを実現しました」と、Beam CloudのCEO、Sharon Carmel氏は述べています。「OCI上でBeamrCloudで処理されたビデオは、ストレージおよびネットワーク帯域幅の消費を最大50%削減し、ファイル転送を2倍高速化し、エンド・ユーザーの生産性を向上させます。Beamrは、OCIのお客様にビデオAIワークフローを提供し、ビデオの未来に備えます。」

はじめに

BM.GPU.L40S.4インスタンスは、計算能力を損なうことなく、コスト効率の高いGPUソリューションを提供し、企業がAIの潜在能力を活用できるようにします。OCIのお客様は、Oracle Cloudコンソールで今すぐ新しいインスタンスを起動できます。選択したリージョンで使用可能なRDMAクラスタリングについては、Oracle営業チームに連絡し、Oracle Cloud Infrastructure AI Infrastructureの詳細を参照してください。