OCIでNVIDIA Grace Hopper Superchipを提供予定の発表

※ 本記事は、Sagar Rawalによる”Announcing plans to offer NVIDIA Grace Hopper Superchip on OCI“を翻訳したものです。

その他の寄稿者: Miao Yu氏、Product Management、OCI; Akshai Parthasarathy氏、Product Marketing、OCI

本日、SC23で、NVIDIA GH200 Grace Hopper Superchipを搭載したOracle Cloud Infrastructure (OCI) Computeインスタンスの提供予定を発表します。GH200は、高帯域幅のメモリー領域が576 GBのNVIDIA H100 Tensor Core GPU (Hopper)にリンクされたArm CPU (Grace)で構成されます。NVIDIA GH200は、従来のアクセラレーテッド・システムにある標準のPCIe Gen5レーンより7倍高い帯域幅で900 GB/秒で実行されるNVIDIA NVLink Chip-2-Chip (C2C)インターコネクティビティを使用し、最も要求の厳しいジェネレーティブAIおよびHPCアプリケーションに対応するために、より多くのスループットを提供します。

NVIDIA GH200はOCI Computeベアメタル・インスタンスにデプロイする予定で、物理サーバーの分離と制御に柔軟性とクラウド操作の容易さを提供します。ベアメタル・インスタンスは、ハイパーバイザなしで基礎となるハードウェアに直接アクセスできます。これにより、「ノイジー・ネイバー」に関連する問題が解消され、高パフォーマンスでレイテンシの影響を受けやすいワークロードに対して最大限の分離が提供されます。ベアメタル・インスタンスのOCIファミリには、幅広いユース・ケースに対応するStandardシェイプ、大規模なデータベースおよびビッグ・データ・ワークロード用のDense I/Oシェイプ、高パフォーマンス・コンピューティング用のHPCおよび最適化されたシェイプ、ハードウェア加速ワークロード用のGPUシェイプが含まれます。

今度のOCI BM.GPU.GH200インスタンスは、大規模言語モデル(LLM)およびレコメンダー・システム用の高速で大容量のメモリーを必要とする、最も激しいAI推論ワークロードをサポートするように設計されたベアメタルGPUシェイプです。これらのインスタンスを使用できるその他のワークロードには、ベクトル・データベース、科学的および高パフォーマンス・コンピューティング、グラフ・ニューラル・ネットワーク(GNN)および単一インスタンスのLLM推論があります。NVIDIA H100と比較して、各NVIDIA GH200 GPUは、最大9倍のAIトレーニング・パフォーマンス、2.3倍のLLM推論パフォーマンス、および1.7倍のHPCパフォーマンスを提供します。

お客様の声

「Uberは、機械学習プラットフォームであるMichelangelo用のOCI ComputeとNVIDIA GPUで大きな成果を達成しました。NVIDIA Grace Hopperに基づく今後のインスタンスにより、同様のワークロードの価値をさらに高めることを目指しています」- Uber、テクノロジー戦略担当シニアディレクター、Kamran Zargahi氏

「Cohereは、OCI Compute GPUインスタンスを活用して、生成AIのパワーをOracleにもたらしています。NVIDIA GH200に基づくこれらの新しいインスタンスにより、LLMをより迅速かつ経済的に作成し、提供することを期待しています。」- Cohere、社長兼COO、Martin Kon氏

詳細

NVIDIA GH200 Grace Hopper SuperchipでOCI Computeインスタンスに関心がある場合は、今すぐ会話を開始し、AIインフラストラクチャの詳細をご覧ください。スーパーコンピューティング会議のブース#937 (SC23)で私たちを訪問し、会議で他のイベントに参加してください。

免責事項:

前述の発表は、オラクルの一般的な製品の方向性の概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組込むことはできません。マテリアルやコード、機能を提供することのコミットメント(確約)ではないため、購買決定を行う際の判断材料になさらないでください。Oracle製品に説明されている機能の開発、リリース、タイミングおよび価格は、Oracle Corporationの単独の裁量により変更される場合があります。