※ 本記事は、Elena Albright, David Millerによる”Announcing Llama 3.1 405B and 70B models from Meta on OCI Generative AI“を翻訳したものです。

2024年9月12日

本日、Oracle Cloud Infrastructure (OCI) Generative AIサービスでMetaのLlama 3.1モデル(70Bおよび405B)の一般提供を発表します。Metaによると、このリリースでは、オープン・ソース・モデルを通じてすべての人にオープン・インテリジェンスをもたらすことができます。この最新リリースでは、コンテキストの長さが128Kに拡張され、8つの言語にわたってサポートが追加され、最初のフロンティアレベルのオープン・ソースAIモデルであるLlama 3.1 405Bが含まれています。この最新リリースでは、最も優れたクローズド・ソース・モデルに匹敵する柔軟性、制御性および最新機能が追加されています。

OCI Generative AIには、次のコア機能があります:

  • Llama 3.1 405B: オンデマンド推論、専用ホスティング
  • Llama 3.1 70B: オンデマンド推論、専用ホスティング、ファインチューニング
  • Llama 3.1 8B: AI Quick Actionsで独自のモデルを導入することでOCI Data Scienceで利用可能

Llama 3.1 405Bは、シカゴ地域のオンデマンド推論と専用ホスティングに加え、フランクフルト、ロンドン、サンパウロでの専用ホスティングにも利用できます。Llama 3.1 70Bは、シカゴ、フランクフルト、ロンドンおよびサンパウロのリージョンのオンデマンド推論および専用ホスティングおよび微調整に使用できます。

Llama 3.1モデル・ファミリには、次の主要な機能があります:

  • モデル・サイズ: 8B、70B、405Bのパラメータ
  • コンテキストの長さ: 128Kトークン (Llama 3から16回増加)
  • 多言語サポート: 英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語を含む8つの言語

モデル概要

Metaによると、Llama 3.1 405Bは、世界最大の公的に利用可能な大規模言語モデル(LLM)を提供し、企業レベルのアプリケーションや研究開発に最適です。これは、一般的な知識、合成データ生成、高度な推論とコンテキスト理解、長形式のテキスト、多言語翻訳、コーディング、数学、およびツールの使用に優れています。

Llama 3.1 70Bは、コンテンツ作成、会話型AI、エンタープライズ・アプリケーションに最適です。その強みは、テキスト要約、分類、センチメント分析、言語モデリング、対話システム、およびコーディング支援です。

Llama 3.1 8Bは、限られた計算リソース用に最適化されています。効率的なテキスト要約、分類、センチメント分析、低レイテンシのシナリオでの翻訳に最適です。

パフォーマンス

Metaは、150以上のベンチマークデータセットでLlama 3.1を厳密にテストし、Llama 3と比較してすべての主要カテゴリーで大幅な改善を実証しています。トレーニングの詳細やパフォーマンスベンチマークについては、Llama 3.1モデル・カードと評価のドキュメントを参照してください。

これまでのOCIエクスペリエンス

7月31日、Bring Your Own Container(BYOC)アプローチにより、OCI Data ScienceがLlama 3.1 405Bをサポートすることを発表しました。OCI Data Scienceは、業界をリードするGPUをサポートしており、この大規模なモデルをデプロイできます。Meta-Llama-3.1-405B-Instruct-FP8は、インフラストラクチャ要件を減らすために定量化されたモデルの特定のバージョンです。

OCI生成AIへのLlama 3.1の提供により、OCIのお客様はLlama 3.1 405Bおよび70Bをサービスとして使用でき、コンテナやインフラストラクチャを管理する必要はありません。お客様は、オンデマンドでホストされるモデルAPIまたは専用のホストされたエンドポイントとして、チャットを介してモデルにアクセスできます。Low Rank Adaptation (LoRA)を使用したLlama 3.1 70Bファインチューニングも、カスタムモデル用のプライベートな専用ホスティングを備えたマネージド・ファインチューニング製品でサポートされています。

Oracle Cloud Infrastructure上のAIプロジェクトでLlama 3.1モデルを使用する方法の詳細は、Generative AIサービス・ドキュメントを参照するか、Oracle担当者にお問い合せください。

 

詳細は、次のリソースを参照してください: