※ 本記事は、Prashant Jagannathanによる”Announcing Bi-Directional Object Copy for OCI File Storage with Lustre: Accelerate Data Pipelines with Seamless Copying Between Lustre and Object Storage“を翻訳したものです。

2025年12月9日

Oracle Cloud Infrastructure(OCI)のお客様向けの大幅な機能強化を発表できることを嬉しく思います。OCI File Storage with Lustre File System(LFS)で双方向オブジェクト・コピーを使用できるようになりました。この新機能により、高パフォーマンスのLustreファイル・システムとOCI Object Storageの間で、双方向にシームレスかつ効率的にデータをコピーできるようになりました。

データ・パイプラインの効率性の次のレベルの実現

OCI File Storage with Lustreは、フルマネージドでスケーラブルな高スループットのパラレル・ファイル・システムで、重要なAI/MLおよびHPCワークロードを強化します。大規模言語モデル(LLM)トレーニング、遺伝子研究、ロボット工学、エンジニアリング・シミュレーションなどのユースケースでは、お客様はOCI Lustreに依存しています。データ量は定期的にペタバイトに拡張され、超低レイテンシを必要とします。

オブジェクト・コピー機能を起動する前に、rcloneなどの手動プロセスを使用してデータをエクスポートする必要がありました。これらのプロセスはエラーが発生しやすく、運用上のオーバーヘッドが発生します。今日から次のことができます:

  • データ・コピー・ワークフローの100%を自動化: 日常的な手動介入を排除します。OCIコンソール、CLI、SDK、およびAPIへの完全な統合により、データ・コピーはバックグラウンド操作となり、人間の監視を最小限に抑え、チームがイノベーションに集中できるようにします。
  • 信頼性の向上とリスクの低減: 手動スクリプト(rcloneなど)は、運用が激しくなるだけでなく、エラーが発生しやすくなります。単一のコピーが失敗しても、数時間のGPUまたはAIトレーニングのダウンタイムが発生し、数千ドルの無駄なコンピュート・サイクルがかかる可能性があります。双方向オブジェクト・コピーを使用すると、ネイティブで監視されたコピー操作によって信頼性が大幅に向上します。組込みのチェックと統合メトリックにより、重要なデータセットが安全かつ時間厳守に確実に到着し、コストのかかるリソースのアイドル時間やトレーニング実行の失敗のリスクを最小限に抑えることができます。
  • TCOの削減: 永続ストレージにObject Storageを使用し、高パフォーマンスの処理時間枠にLustreを予約すると、コンピュート・コストとストレージ・コストが緊密に最適化されます。早期導入者は、長期的なパイプラインで最大30%のコスト削減を達成しています。
  • スケーラビリティ: Lustreファイル・システムごとに最大10個のオブジェクト・ストレージ・バケットまたはプリフィクスのリンクをサポートすることで、操作上のボトルネックなく、かつてない柔軟性を実現できます。

AIパイプラインに両者の長所をもたらす

AI/MLデータ・パイプラインは、多くの場合、オブジェクト・ストレージとファイル・システムを結合します。Object Storageは、無制限のスケーラビリティとコスト効率の高い耐久性を実現し、大規模なデータセット、RAWインプットおよび長期アーカイブの格納に最適です。一方、Lustreは、ファイル・システム・インタフェースを期待するアプリケーションのPOSIX準拠により、反復的なトレーニング、シミュレーションおよび分析に必要なパフォーマンスを提供します。

  • コピーによる前処理およびトレーニングのために、RAWデータセットをObject StorageからLustreクラスタに直接インポートします。
  • シミュレーション出力、AIチェックポイントまたはモデル・アーティファクトをオブジェクト・ストレージにエクスポートして、長期的な耐久性とコピーによる共有を実現します。
  • 反復間の結果を、ファイルのスキップまたは上書きの自動ルールと同期して、データのライフサイクル管理をシンプルかつ反復可能にします。

仕組み—時間から分まで

新しいLLMを開発する研究チームは、これまでストレージ層間で最大5PBのデータを管理するのに何日も費やしていました。Object Copyより:

  1. トレーニング・データを数分でLustreに一括コピーします。
  2. GPUまたはHPCノードに接続されたLustreファイル・システムで、トレーニング・ジョブを直接実行します。
  3. チェックポイントおよびアーカイブ・モデルは、1回のコピー操作でオブジェクト・ストレージに戻され、ハンドオフまたはクラスタ・ティアダウンが可能です。

チームは、エンドツーエンドのデータ・コピー時間を最大90%短縮し、多くのバッチ・ワークフローで運用オーバーヘッドをほぼ100%削減すると報告しています。

はじめ方は簡単

  1. OCIコンソールで、「File Storage with Lustre」に移動します。
Screen to create object storrage links
図1.オブジェクト・ストレージ・リンクの作成
  1. Lustreディレクトリ、コピーするオブジェクト・ストレージ・バケットまたは接頭辞(あるいはその両方)を入力します(図2を参照)。このようなリンクは、ファイル・システムごとに最大10個構成できます。
Screen to enter Lustre Directory and Object STorage Bucket details
図2. Lustreディレクトリおよびオブジェクト・ストレージ・バケット詳細の入力
  1. 各オブジェクト・ストレージ・リンクについて、「Import」(「オブジェクト・ストレージ」 → 「Lustre」)または「Export」(「Lustre」 → 「オブジェクト・ストレージ」)を選択してデータ転送を開始します。また、ファイル・システムまたはバケットにすでに存在するファイルをスキップまたは上書きするルールを設定することもできます(図3を参照)。
Screen where you can set Import and Export rules for file handling
図3. ファイル処理のインポートおよびエクスポート・ルールの設定
  1. コンソールで進捗を直接モニター(図4を参照)、またはOCI CLI、SDKおよびREST APIを使用してコピー操作を自動化します。
Screen where you can monitor progress
図4. オブジェク・コピー・メトリクス

今すぐ利用可能—より高速なパイプラインの構築を開始

OCI Lustre File Systemの双方向オブジェクト・コピーは、Lustreがサポートされているすべてのリージョンで使用できます。この機能により、スピード、自動化および運用効率が変革的に向上します。

ワークロードを加速する準備はできていますか? OCI File Storage with Lustreを使い始めると、自動化された高パフォーマンスのデータコピーの可能性を最大限に引き出すことができます。