X

ZFS

ZFS

Сквозная целостность данных в ZFS

Работу любой файловой системыможно свести к следующему: на просьбу прочитать блок данных, она должнавернуть те же самые данные, которые были ранее записаны в...

Работу любой файловой системыможно свести к следующему: на просьбу прочитать блок данных, она должнавернуть те же самые данные, которые были ранее записаны в этот блок.Если этого сделать не получается -- из-за отключения диска, поврежденияданных и т.д. -- она должна обнаружить это и вернуть ошибку. Невероятно,но большинство файловых систем не проходят этот тест. Они опираются нато, что используемое "железо" определит ошибку и сообщит о ней. Еслидиск просто вернёт некорректные...

ZFS

RAID-Z

Исходным обещанием технологии RAID (избыточный массивнедорогих дисков) было обеспечение быстрого надёжного хранилища сиспользованием дешёвых дисков. Ключевым...

Исходным обещанием технологии RAID (избыточный массивнедорогих дисков) было обеспечение быстрого надёжного хранилища сиспользованием дешёвых дисков. Ключевым пунктом была дешевизна; но каким-то образом мы оказались тут. Почему? ТехнологияRAID-5 (как и другие схемы организации данных и чётности, такие какRAID-4, RAID-6, чёт-нечет и строчно-диагональная чётность) никогда вполной мере не выполняла обещания RAID -- да и не может -- из-зарокового просчёта, известного как "окно...

ZFS

Быстрые зеркала

Восстановление зеркальной копии (иливосстановление избыточности, так как это применимо не только кзеркалам) -- также известное как ресинхронизация, перестройка...

Восстановление зеркальной копии (иливосстановление избыточности, так как это применимо не только кзеркалам) -- также известное как ресинхронизация, перестройка илиреконструкция -- это процесс исправления поврежденного устройства сиспользованием содержимого нетронутых устройств. Это то, что долженсделать любой менеджер томов или RAID-массив в случае отказа, заменыили кратковременной недоступности диска. В случае зеркалавосстановление избыточности может быть не сложнее простого...

ZFS

Безудержное нарушение принципа многоуровневости?

Эндрю Мортон лихо назвал ZFS "безудержным нарушением принципа многоуровневости",поскольку она она объединяет в себе функциональность файловой системы,менеджера...

Эндрю Мортон лихо назвал ZFS "безудержным нарушением принципа многоуровневости",поскольку она она объединяет в себе функциональность файловой системы,менеджера томов и контроллера RAID. Я полагаю, все зависит от значенияслова нарушить . При разработке ZFS мы обнаружили, чтостандартное разделение на уровни в стеке управления данными приводит кудивительному количеству ненужной сложности и дублированю логики. Мыобнаружили, что путем небольшого рефакторинга -- то есть,...

ZFS

Карты пространства

Каждая файловая система должна следить за двумя основными вещами: где находятся данные, а где свободное пространство. В принципе, отслеживание свободного...

Каждая файловая система должна следить за двумя основными вещами: где находятся данные, а где свободное пространство. В принципе, отслеживание свободного пространства необязательно:каждый блок либо занят, либо свободен, поэтому свободное пространствоможет быть рассчитано как всё пространство за исключением занятого; азанятое пространство может быть обнаружено путем обхода всей файловойсистемы от корня. Блок, не найденный при обходе, свободен поопределению. На практике, поиск...

ZFS

ZFS におけるエンド・ツー・エンドのデータ整合性

ブロックの読み込み要求をした場合、前回そのブロックに書き込んだときと同じデータが返ってこなければなりません。どんなファイルシステムでも、その役割は結局ここに行き着きます。ディスクがオフラインであるとか、データが破...

ブロックの読み込み要求をした場合、前回そのブロックに書き込んだときと同じデータが返ってこなければなりません。どんなファイルシステムでも、その役割は結局ここに行き着きます。ディスクがオフラインであるとか、データが破損したとか、改ざんされたなどの理由で、もし同じデータを返せないのなら、それを検出してエラーを返さなければなりません。 驚くべきことに、ほとんどのファイルシステムがこの課題をクリアできません。そのようなファイルシステムでは、エラーの検出と報告を下位のハードウェアに頼っています。もしディスクが何の報告もせずただ誤ったデータだけを返した場合、標準的なファイルシステムはそれを検出することすらできません。 たとえすべてのディスクが完璧に動作すると仮定できたとしても、入出力経路上のデータはまだ安全ではありません。コントローラのバグやDMA パリティーエラーなどがありえます。ユーザーにわかるのは、プラッタから読み取る瞬間までデータが完全だ...

ZFS

ミラーの同期ずれ

ミラー再同期 (Resilvering) は、破損が起きたドライブのデータを、正常なほかのディスクの内容を元に修復する作業のことで、再構築、リビルド、再構成などと呼ぶこともあります。どんなボリュームマネージャーや RAID アレイでも、ディスクが寿命になった場合、交換した場合、一時的な停止があった場...

ミラー再同期 (Resilvering) は、破損が起きたドライブのデータを、正常なほかのディスクの内容を元に修復する作業のことで、再構築、リビルド、再構成などと呼ぶこともあります。どんなボリュームマネージャーや RAID アレイでも、ディスクが寿命になった場合、交換した場合、一時的な停止があった場合などには必ず、この作業をしなければなりません。 ミラーリングの場合、単にディスク全体をコピーするだけで再同期できます。RAID-5 の場合は、少しだけ複雑になります。あるディスクからほかのディスクにデータをコピーするのではなく、RAID-5 ストライプを構成する全ディスクの XOR を取ります。どちらも、基本的な考え方は同じです。 従来のストレージシステムでは、ボリュームマネージャーか RAID ハードウェアのどちらかが再同期を行なっていました。いずれにせよ、ファイルシステムよりもずっと下のレイヤーでの処理になります。 しかし、私たちが使っているのは ZFS です。従来のファイルシステムと同じなどということはありません。 以前の投稿で...