※ 本記事は、Sid Padgaonkar, Amar Gowdaによる”Announcing General Availability of OCI Compute with AMD MI300X GPUs“を翻訳したものです。

AMD Instinct MI300X GPU、BM.GPU.MI300X.8を搭載したOracle Cloud Infrastructure (OCI) Computeベア・メタル・インスタンスの提供開始を発表できることを嬉しく思います。

AIの導入が拡大し、推論、ファインチューニング、トレーニングの新しいユース・ケースをサポートするようになったため、AMD Instinctアクセラレータを搭載した最初のコンピュート・インスタンスをお客様に提供したいと考えています。現在、アプリケーションは、特に生成AIと大規模言語モデル(LLM)の領域において、より大規模で複雑なデータセットを必要としています。AIインフラストラクチャには、コンピューティング・パフォーマンス、クラスタ・ネットワーク帯域幅、高GPUメモリー容量と帯域幅の3つの重要な要素が必要です。OCIのベア・メタル・インスタンスは、ハイパーバイザのオーバーヘッドなしでパフォーマンスを提供します。AMD Instinct MI300Xアクセラレータを備えたOCI Superclusterは、最大16,384個のMI300X GPU用の高スループット、超低レイテンシのRDMAクラスタ・ネットワーク・アーキテクチャを提供します。アクセラレータあたり192GBのメモリ容量により、AMD Instinct MI300Xは、単一のGPU上で660億のパラメータHugging Face OPTトランスフォーマLLMを実行できます。

AMD Instinct MI300XのOCI Compute MI300X

このインスタンス・タイプは、競争力のある経済性を提供します。これは、GPU/時間あたり6ドルで、次の仕様で提供されます: 

6月に更新したように、AMDと提携して、LLMを提供するためのInstinct MI300X GPUを検証しました。検証に基づいて、最初のトークン・レイテンシまでの時間は65ミリ秒以内であり、バッチ・サイズが1の場合の平均レイテンシは1.5秒でした。バッチ・サイズが大きくなると、ハードウェアは直線的にスケーリングでき、同時256ユーザー・リクエスト(バッチ)で最大3,643個のトークンを生成できました。詳細は、ブログ投稿「AMD Instinct MI300X GPUによる早期LLMの提供経験とパフォーマンス結果」をご覧ください。

BM.GPU.MI300X.8を使い始める

BM.GPU.MI300X.8は、Oracle Cloudコンソールで一般提供されています。Oracleの営業担当またはAIインフラストラクチャ販売担当VPのKyle Whiteまでお問い合わせください。このベア・メタル・インスタンスの詳細は、ドキュメントを参照してください。