※本ページは、”Enabling RDMA Live Migration for Exadata“の翻訳です。
Exadataアーキテクチャの概要
Oracle Exadata Database Machineは、Oracle Databaseを高性能かつコスト効率よく、スケーラブルに実行するエンジニアド・システムであり、オンプレミスにもOracle OCIなどのクラウドにも導入できます。Exadataは、データベース・サーバーとストレージ・サーバーという2種類の物理サーバーで構成され、これらはRemote Direct Memory Access(RDMA)をサポートするネットワークで相互接続されています。最新のExadataシステムでは、ネットワークにRDMA over Converged Ethernet(RoCE)を採用し、ネットワーク・アダプタにはNvidia ConnectX-7を使用しています。データベース・サーバー上で稼働する仮想マシン(VM)は、RDMAを介して、他のVMやストレージ・サーバーと常時通信しています。これは性能と可用性の観点では優れていますが、要望の多かった機能、すなわち、あるデータベース・サーバーから別のデータベース・サーバーへVMをライブ・マイグレーションする機能の実装を難しくしていました。この機能は、負荷分散やメンテナンスに役立ちます。Exadataの最新リリースである26.1では、データベースVMのライブ・マイグレーションがサポートされました。その実現には、Exadataが仮想マシン・マネージャとして使用しているQEMUで、大規模な開発作業が必要でした。このブログ記事では、Exadata VMのライブ・マイグレーションに伴う課題と、この機能を実現するために必要だったQEMUの機能拡張の概要を説明します。
QEMU Live Migration
ライブ・マイグレーションは、VMを稼働させたまま、ある物理サーバーから別の物理サーバーへ移動する仕組みです。理想的には、ゲストが移行の発生を検知することなく実行されます。移行元から移行先へ転送する状態情報には、永続状態と実行時状態の両方が含まれます。永続状態には、CPUの種類と数、システム・バスの構成と接続されているデバイスの種類、NVRAMの内容、接続されているブロック・ストレージ・デバイスなどが含まれます。実行時状態には、メモリーの内容、CPUレジスタの内容、接続されているデバイスの内部状態、ネットワーク・スタックの状態などが含まれます。ネットワーク・アダプタのSR-IOV Virtual Function(VF)など、パススルー・デバイスを使用するVMには、それらのデバイスに関連する実行時状態もあります。ExadataのデータベースVMでは、ConnectX-7のVFをパススルーしてRDMA機能を実現しています。
QEMUのライブ・マイグレーション処理は、1)初期化、2)プリコピー、3)ストップ・アンド・コピー、4)再開、5)クリーンアップの5つのフェーズに分けられます。初期化フェーズでは、移行先のQEMUインスタンスを起動し、移行元から永続状態の情報を転送して構成します。プリコピーでは、移行元VMを稼働させたまま、移行元のQEMUインスタンスがメモリーを移行先へ繰り返しコピーします。移行元のすべてのメモリー・ページは少なくとも1回は移行先へ転送されます。また、移行元のQEMUインスタンスは、VMによって変更されたダーティ・ページを追跡し、必要に応じて再び移行先へコピーします。このため、移行元のQEMUインスタンスがダーティ・ページを検出する仕組みには、正確さと効率の両方が求められます。ストップ・アンド・コピー・フェーズでは、移行元VMを停止し、残っているダーティ・ページを含め、残りの実行時状態情報をすべて移行先へコピーします。再開フェーズでは移行先VMを起動し、クリーンアップ・フェーズでは移行元VMを終了します。VMから見たダウンタイムは、ストップ・アンド・コピー・フェーズに相当します。QEMUは、反復的なプリコピーによって、このダウンタイムを最小限に抑えます。具体的には、ストップ・アンド・コピー・フェーズで移行先へ転送する必要がある実行時状態情報の量から、目標ダウンタイムを達成できると判断するまでプリコピーを続けます。
multifdオプション
multifdは、複数のスレッドを使用してメモリー・ページを走査し、ダーティ・ページを移行元から移行先へ転送するQEMUのライブ・マイグレーション・オプションです。このオプションを有効にすると、QEMUのメインのライブ・マイグレーション・スレッドが処理を主導し、ダーティ・ページを走査してmultifdスレッドに作業を振り分けます。使用するmultifdスレッド数は構成可能ですが、適切な値を選ぶのは簡単ではありません。目標ダウンタイム、VMのメモリー容量、ダーティ・ページの発生速度、multifdスレッドの実行に利用できるCPU数などが関係します。また、メインのライブ・マイグレーション・スレッドの負荷が高すぎて、構成したすべてのmultifdスレッドに作業を振り分けられない場合もあります。QEMUのmultifdスレッドには、いくつかの性能最適化が実装されています。たとえば、ページ全体がゼロで埋められていることを検出すると、実際にゼロで埋められたページを送る代わりに、そのページがゼロであることを示すメッセージを移行先へ送信します。Exadataシステムには、2MBのHuge Pageを活用する追加の最適化があります。4KBページの代わりに2MBページをmultifdスレッドへ渡すことで、メイン・スレッドとmultifdスレッド間の同期処理の回数を減らし、メモリーの局所性を活用します。
ダウンタイムに伴う課題
ExadataのデータベースVMでは、ライブ・マイグレーション中のダウンタイムが特に難しい課題となります。VM同士がRDMAを介して常時通信し、システム全体がReal Applications Clusters(RAC)ソフトウェアによって管理されているためです。ライブ・マイグレーション中にVMが長時間応答しなくなると、通信プロトコルのタイムアウトが発生したり、RACがそのVMは停止したと判断してクラスタ・リカバリ処理を開始したりする可能性があります。特に扱いが難しいのがRDMA VFです。RDMA VFには、QEMUのライブ・マイグレーション処理のストップ・アンド・コピー・フェーズで転送しなければならない実行時状態情報が、20MB以上含まれる場合があります。移行元VMのVFから実行時状態情報を読み出す時間も、その情報を移行先VMのVFへ書き込む時間も、QEMUではほとんど制御できません。
システム内で最も短いタイムアウトはRDMA処理に関連するものです。このケースには、ExadataシステムがVM間の通信関係を把握していることを利用して対処しています。ライブ・マイグレーション中のVMがRDMA処理を実行できない状態に入ると、LinuxのFWCTLインタフェースを使用し、移行の影響を受けるすべてのネットワーク・アダプタ上のNVIDIAファームウェアと通信します。そして、MLX5_CMD_OP_POSTPONE_CONNECTED_QP_TIMEOUTコマンドを繰り返し発行し、そのままでは通信障害として通知されるキュー・ペアのタイムアウトを延期します。最悪の場合には、ライブ・マイグレーション処理を取り消し、通信チャネルとともに移行元VMを再開します。
VFIO状態の並列転送
RDMA VFに関連する大量の実行時状態に対してQEMUが取れる対策の1つは、移行元から移行先への並列転送です。この機能は、OracleのエンジニアであるMaciej SzmigieroによってQEMU 10.0に追加されました。この変更以前は、QEMUのメインの移行スレッドが、VFIOデバイスの状態をデバイスごとに順番に転送していました。RDMA VFを4つ持つExadata VMでは、この処理に時間がかかります。変更後は、ストップ・アンド・コピーの開始時に、移行元のQEMUプロセスがVFIOデバイスごとにスレッドを作成します。そのスレッドはカーネルからデバイスの状態を読み出し、チャンクに分割して、インデックス付きのパケットに格納し、multifdスレッドによる送信用キューに登録します。メインの移行スレッドが運ぶのは、パケットの順序情報だけです。移行先のQEMUプロセスは、パケットを順番どおりに再構成し、VFIOデバイスごとの専用スレッドが、その結果をアダプタへ書き込みます。最後のパケットにはアダプタの構成情報が含まれ、特別な処理が必要です。移行先アダプタにこの情報をロードするには、完全には非同期化されていないQEMU関数を呼び出す必要があるためです。それ以外の転送処理は、高度に並列化されています。ConnectX-7のRDMA VFを4つ搭載し、各VFに約20MBの実行時状態情報を持つVMでテストしたところ、状態の並列転送によって、ストップ・アンド・コピーのうちVFに要する時間は1783ミリ秒から1068ミリ秒に短縮されました。
ダーティ・ページの追跡
QEMUのライブ・マイグレーションのプリコピー・フェーズでは、ダーティ・ページ追跡の性能が極めて重要です。追跡対象は、CPU上で動作するソフトウェアによる書き込みと、RDMAによる書き込みの2つに分かれます。
CPUによる書き込みの追跡
KVMの従来のメモリー書き込み追跡方式は、セカンダリ・ページ・テーブル・エントリの書き込み保護に基づいています。ダーティ・ロギングを有効にすると、VMに関連するメモリー・ページが書き込み保護されます。CPUがそのメモリーに書き込もうとすると、ページ・フォルトが発生します。KVMは、そのページをダーティとしてマークし、書き込み保護を解除して書き込みを許可した後、書き込み保護を再び有効にします。この仕組みにより、ダーティになった4KBページの正確な情報を取得できますが、ページ・フォルトと頻繁なページ・テーブル・ウォークが性能に大きな悪影響を与えます。カーネルは、この影響を軽減するために逆マッピング(rmap)というデータ構造を使用します。これは、物理ページを、そのページをマッピングするすべてのページ・テーブル・エントリに対応付けるものです。そのため、ページ・フォルトが発生した際に、物理ページを特定し、ビットマップ内でダーティとしてマークし、必要に応じてそのページを参照するすべてのページ・テーブル・エントリを更新する処理が容易になります。その後、QEMUはKVMからダーティ・ビットマップを取得し、それを使用してライブ・マイグレーション中にダーティ・ページを転送できます。
その後のLinuxカーネルの改良、特にTwo-Dimensional Paging(TDP)MMUによって、複数のCPUがページ・フォルトを並行処理できるようになり、この領域の性能問題は緩和されました。私たちのテストでは、TDP MMUとEager page splittingなどの機能を組み合わせることで、性能が大幅に向上しました。しかし、大量の書き込みを発生させるワークロードをVM上で実行すると、CPUあたりのダーティ・ページ追跡速度は11GB/秒で頭打ちとなり、要件を満たせませんでした。
最新のAMDプロセッサには、ダーティ・ページ追跡の性能を向上させるために、Nested Page Table(NPT)エントリ内にハードウェアのAccessed(A)ビットとDirty(D)ビットが用意されています。これらのプロセッサでは、KVMは書き込みをトラップする代わりに、ページ・テーブル・エントリを定期的に走査してダーティ・ビットの状態を収集し、ビットをクリアして、ダーティ・ページ・ビットマップを更新します。これにより、ダーティ追跡は、ページ・フォルトを起点とする仕組みから、ダーティ・ビットを収集する処理へと変わります。VMのメモリー書き込み経路が妨げられなくなり、ライブ・マイグレーションのオーバーヘッドが減り、大容量メモリーを搭載したシステムでのスケーラビリティが向上します。
もう1つの性能改善は、4KBページの代わりに2MBページを追跡することです。AMDプロセッサの1つの2MB NPTエントリは、512個の4KBページを表すため、KVMが走査するページ・テーブル・エントリ数を大幅に減らせます。ただし、代償もあります。2MBページに1ワード書き込むだけで、ページ全体がダーティとしてマークされます。追加の対策を取らなければ、QEMUは2MBページ全体を512個の4KBページとして移行元から移行先へ送信しなければなりません。QEMUのライブ・マイグレーション用ビットマップが4KB単位で動作するためです。Exadata 26.1向けに開発した解決策では、ハッシュを使って2MBページ内のダーティな4KBページを特定します。これについては後述します。
RDMAによる書き込みの追跡
DMAに対応する一部のハードウェアは、カーネルのVFIOダーティ・ページ・ロギング・インタフェースを通じて、書き込んだページを報告できます。ライブ・マイグレーションに対応するExadataシステムで使用されるNVIDIA ConnectX-7アダプタも、その1つです。QEMUはカーネル・インタフェースを使用してVFIOダーティ・ページ・ロギングを開始し、その後、VFが利用できるメモリー範囲内のダーティ・ページを示すビットマップを定期的に取得します。このビットマップは、VMのページ・サイズに対応するページを表します。ただし、ConnectX-7におけるこの仕組みの実装には制限があります。1つは、ダーティ・ページ・ロギングを同時に有効にできるVF数が4つに限られることです。もう1つの、より重要な制限は、ダーティ・ページ追跡を有効にしている間にDMA性能が低下することです。これにより、ライブ・マイグレーションの対象ではないVMの性能まで低下したため、この方式の採用を取りやめました。
Oracleのエンジニアは、この処理を改善するアップストリームのLinuxカーネルAPI、IOMMUFDの開発に貢献しました。IOMMU(Input-Output Memory Management Unit)は、DMAトランザクションを生成するデバイスとシステム・メモリーの間に位置するハードウェア抽象化層です。IOMMUは、カーネルの制御の下で、DMA処理に関連する論理アドレス(I/O仮想アドレス、IOVAとも呼ばれます)をホストの物理メモリー・アドレスへ変換します。VMと、そのVMへパススルーされたRDMAアダプタの場合、IOMMUはRDMAアダプタによるメモリー・アクセスを、そのVMに関連する領域に制限します。これにより、別のVMやハイパーバイザの領域へのアクセスを防ぎます。また、IOMMUは、RDMAアダプタが生成する割り込みを、VMに関連する割り込みハンドラへ対応付ける処理も行います。
IOMMUFDは、カーネル機能へのユーザー空間インタフェースです。これにより、新しいCPUが持つIOMMUアクセラレーション機能をVMとハイパーバイザで共有できます。その機能には、VM内で稼働するオペレーティング・システムが、論理DMAアドレスをゲスト物理アドレスへマッピングできるようにすることも含まれます。さらに、ハイパーバイザが制御する第2段階のマッピングによって、そのゲスト物理アドレスをホスト物理アドレスへ変換します。QEMUはIOMMUFD APIを使用して、VMとハイパーバイザの動作を調整します。これにより、従来は大幅に低速なエミュレーション・コードで実装していた処理を、ハードウェアのIOMMUアクセラレーションを使用して実行できるようになります。ライブ・マイグレーションにとって重要なのは、このハードウェア・アクセラレーションに、IOMMUによるダーティ・ページ追跡も含まれることです。AMDプロセッサでは、このIOMMUによるダーティ・ページ追跡は、前述したCPUによる書き込みページの追跡と同様の仕組みで動作します。
ハッシュに基づくダーティ・ページの追跡
ダーティ・ページ追跡処理が終わると、QEMUのmultifdスレッドには、CPUまたはRDMA VFによって内部のどこかに書き込みが行われた2MBページを示すデータ構造が渡されます。multifdスレッドがこれらの2MBページを移行元から移行先へ転送しようとしても、データベースVMでは通常、ライブ・マイグレーションが完了しません。あまりにも多くの2MBページが高速にダーティになるため、QEMUとネットワーク・インタフェースの処理が追い付かないからです。その結果、QEMUは目標ダウンタイムを達成できず、ライブ・マイグレーション処理中にRDMAやRACのタイムアウトが発生するおそれが生じます。
私たちは、CPU処理とメモリーを投入してこの問題を解決することにしました。具体的には、2MBページ内の4KBページのハッシュを計算し、保存します。2MBページがダーティとして報告されると、QEMUのmultifdスレッドが、その内部にある4KBページのハッシュを計算し、以前に計算したハッシュと比較します。ハッシュが一致すれば、移行先のQEMUプロセスには、そのページがすでに存在しています。ハッシュが異なれば、そのページを再送します。私たちは、衝突のリスクが極めて低く、AMDプロセッサ上で非常に高速に実行できるハッシュ・アルゴリズムを慎重に選びました。それでも、大規模なデータベースVMでは、ハッシュ計算に多くのCPUサイクル、キャッシュ・トラフィック、メモリー帯域幅を要します。この方式は機能しており、Exadata 26.1でデータベースVMのライブ・マイグレーションが実現しました。ただし、この解決策を今後もずっと使い続けるとは考えていません。プロセッサやネットワーク・アダプタのベンダーからは、将来の製品で、より効率的なダーティ・ページ追跡が可能になると聞いています。それらと新しいカーネルへの移行を組み合わせることで、いずれ、よりよい解決策を実現できるはずです。
