原文:What’s New in MySQL NDB Cluster 9.x – Better Visibility and Control in MySQL NDB Cluster

原著者:Luis Agostinho

本記事は、上記の英語記事をAIを使用して日本語に翻訳したものです。翻訳には誤訳や不正確な表現が含まれる可能性があります。内容の確認にあたっては英語原文を参照してください。


MySQL NDB Cluster 9.xは、本番環境で特に重要な特性である、運用状況の明確な把握、障害時の予測可能な動作、効率的なアプリケーション・アクセス、迅速なリカバリを引き続き重視しています。このリリース系列では、クラスター全体に実用的な可観測性を追加し、複数の例外処理経路を強化するとともに、ユーザーが利用できる制御を拡充しています。

クラスター運用の可視性向上

分散システムの診断には、適切なログに適切なコンテキストが含まれていることが不可欠です。NDB Clusterでは、ノード・ログのタイムスタンプをマイクロ秒精度で報告するようになり、データ・ノードとアプリケーション間で、時間的に近接した動作を関連付けやすくなりました。

Transporterの切断メッセージでは送信元ノードが識別されます。また、Global Schema Lockのメッセージでは、原因となったNDBコンポーネントまたはユーザー・セッションが識別され、追跡できるようにPerformance Schemaのスレッド情報も含まれます。

ノードの離脱や接続の切断が起きた場合、最も有用な証拠がデータ・ノード自体に存在することがよくあります。NDB Clusterでは、参加、離脱、API切断、起動、再起動など、より多くのイベントをローカルに記録するようになりました。そのため、接続の問題が管理ノードのログへのイベント記録にも影響する場合でも、情報を確認できます。メッセージにはノード・グループの詳細も含まれ、ノードが所属するノード・グループをすぐに把握できます。

ノードが停止したと判定される前の、ハートビートの診断も有用になりました。NDB Cluster情報データベースであるndbinfoを通じて、より細かなTransporterの活動情報とハートビート情報を提供するとともに、遅延したハートビートを報告します。これにより、通信遅延の増大を特定し、可用性の問題に発展する前に構成を調整できます。

REDOログの負荷も把握しやすくなりました。NDB Clusterは、バッファー不足、領域不足、ファイル切替の問題、REDO I/Oの過負荷など、重要なREDOログの問題の発生と解消を報告するようになりました。これらのメッセージにより、バックプレッシャーを生む、キューに入ったアプリケーション処理と、中止が必要な操作を区別しやすくなり、容量とI/Oの調整に役立つ証拠がより明確になります。

障害とタイムアウトへの対応強化

クライアント、データ・ノード、プロトコルのやり取りが想定どおりに動作しない場合にNDB Clusterが通る処理経路が、複数の改善によって強化されています。APIノードの障害処理では、Transaction Coordinatorのクリーンアップについて、トランザクションとcommit-ackマーカーの解決に必要な処理を含め、より詳しい情報を確認できます。また、長時間にわたる障害処理に上限を設けることで、エスカレーションが必要な状態をクラスターが無期限に待ち続けることを防ぎます。

データ・ノードのウォッチドッグによるシャットダウン処理がより堅牢になり、ウォッチドッグの動作が正常なシャットダウンを妨げるリスクが減少しました。Transaction CoordinatorがAPI障害を処理する際の参照カウント管理も、防御的なチェックの追加によって改善されています。

NDBAPIでは、テーブル・スキャン、順序付き索引スキャン、SPJスキャンのタイムアウトを、より一貫して処理します。APIで発生したエラーとカーネルで発生したエラーをより適切に区別でき、タイムアウトしたスキャンを閉じる処理もタイムアウトした場合に、正しくクリーンアップします。

ストレージ層では、ファイルシステムへの部分的な書込みに対するNDBの耐性が向上しました。従来は、ストレージが満杯の場合などに書込みが部分的にしか完了していなくても、OSのエラー・コードが報告されなければ、一部のケースでは成功と見なされることがありました。これによりI/O障害が見逃される可能性がありました。今回の更新では、部分的な書込みを、有効なファイルシステム・エラーを伴う失敗として常に報告し、NDBデータ・ノードが安全かつ一貫して対応できるようにしています。

NDBAPIワークロードの予測可能性向上

NDB Cluster 9.xでは、1つのトランザクション内で同じ行を繰り返し更新するワークロード向けに、新しいデータ・ノード・パラメータMaxRowVersionsPerTransactionが導入されます。このパラメータは、その行に作成できる行バージョンの数を制限し、非常に長い更新チェーンがDBTUP(データ格納・更新ブロック)およびDBTUX(順序付き索引ブロック)でのコミットやロールバックのクリーンアップを長引かせることを防ぎます。設定した上限に達すると、クリーンアップ処理を際限なく増大させる代わりに、NDBは明確なエラーを返します。

トランザクション活動の監視は、ハートビートのタイミングから切り離されました。NDBは、設定されたハートビート間隔からヒストグラムの境界を算出する代わりに、固定の活動境界を使用します。これにより、ノード種別ごとにハートビートの値が異なる環境でも、ndbinfo.transaction_activityを有用な状態に保てます。

自動コミットのワークロードでは、BLOBへのアクセスがより効率的になります。NDBは、BLOBのclose()とunlock()処理における不要なラウンドトリップを削減します。これは、BLOB列を使用する結合で特に有効です。

NDBAPIのEventOperationクラス(https://dev.mysql.com/doc/ndbapi/en/ndb-ndbeventoperation.html)には新しいメソッドが追加され、開始と停止に伴うサブスクリプションの動作を、より詳しく把握・制御できるようになりました。従来は、遷移中のエポックのイベントが不完全になることがあり、特にBLOB列を含むテーブルでは、一部のケースでNDBAPIのクラッシュや不正なバイナリ・ログ・エントリの原因となる可能性がありました。今回の更新では、最初の完全に整合したイベント・エポックを特定し、それ以前の不完全な可能性があるイベントを除外する制御が導入されます。イベントのマージでは、この保護が自動的に有効になり、バイナリ・ロギングや他のNDBAPIイベント利用処理の安定性が向上します。

より高速で制御しやすいリストア

ndb_restoreには、高スループットで運用要件の厳しいリカバリ・ワークフローに向けて、幅広い改善が加えられています。リストアの出力にはメッセージの重大度とパート識別子を含められ、複数のリストア・プロセスや複数パートのバックアップからのログが交錯していても、内容を把握しやすくなります。該当する表示オプションは、適用対象の9.xリリースではデフォルトで有効です。

リストア実行時にバックアップ・ログ・レコードを並行して適用でき、必要に応じて--hintでTransaction Coordinatorへのヒントを指定できます。ファイル読取りバッファーを設定できるようになったことで、リストアの並列性を引き出す別の手段が得られます。特に行幅の大きなスキーマでは、デフォルトのバッファーが同時実行性を制限することがあるため有効です。

マルチスレッドのリストアでは、利用可能な並列性を活用するようになりました。--parallelismの上限が拡大される一方、ファイルセットごとの処理量は基盤となるNDBAPIの同時実行数の上限内に制限されます。これにより、多数のファイルセットを使う大規模なリストアで、ファイルセットごとの安全な水準を超えることなく、より多くの処理を同時に進められます。

制御されたリカバリのシナリオ向けに、ndb_restoreに--skip-fk-checksが追加されます。索引の再構築を通じて外部キーを再度有効にする際、このオプションを使うと、リストア済みの既存行に対する外部キーの整合性チェックを省略できます。

管理の簡素化と変更計画の安全性向上

NDBスキーマとともに格納された組込みメタデータを確認できるようになりました。これにより、シリアライズされたディクショナリ情報が新しいMySQLサーバーで作成されたテーブルを識別しやすくなるため、ダウングレードの準備状況を評価する際に役立ちます。

管理ノードの構成には、デプロイ環境でその柔軟性が明示的に必要な場合、ノードID割当時の接続元ホストの照合を省略するオプションも追加されます。既存の動作をデフォルトで維持しながら、特殊なネットワーク構成やデプロイ構成をサポートします。

まとめ

MySQL NDB Cluster 9.x全体に共通するテーマは、運用の確実性です。イベントを診断する際により多くの証拠を提供し、タイムアウトや障害が起きた際により予測可能な動作を実現し、ネットワークとリストアのリソースをより効果的に利用するとともに、要求の厳しい本番環境向けに、より優れた制御を提供します。

各機能が正確にどのバージョンで利用できるかは、対象とする9.xバージョンのリリース・ノートをご確認ください。ここで紹介した変更は、9.x系列の複数のInnovationリリースとLTSリリースにまたがっています。
https://dev.mysql.com/doc/relnotes/mysql-cluster/9.7/en/