Solaris ZFS auf 12 USB-Sticks: Ein "Thumper" für Arme!

"Thumper" ist der Code-Name für den Sun Fire X4500 Server. Oder Storage. Servage? Oder Storver? Die Maschine hat nämlich 48 SATA-Platten (also Storage) und 2 Dual-Core Opterons und 4 GBE Schnittstellen (also Server). Zusammen ergibt das einen Hybriden mit unbegrenzten Möglichkeiten, mit 24TB in 4 Rack-Units für nur ca. 2$/GB.

"Immer noch zu teuer für unsere Entwickler" meint der Chef in diesem Video:

Dort zeigen wir nämlich, wie man mit Solaris ZFS und 12 billigen USB Memory Sticks einen "Thumper für Arme" bauen kann. In diesem Blog-Eintrag wollen wir ein paar Details dazu beleuchten.

Die erste Hürde, die wir überwinden mußten war die ungewöhnliche Anzahl von USB-Devices in Solaris. Mehr als 10 USB-Sticks an 3 Hubs liefert nämlich default-mäßig einen "Connecting device on port n failed" Fehler in den /var/adm/messages. Die Lösung lieferte eine Kollegin aus dem Engineering: Man setzt set ehci:ehci_qh_pool_size = 120 (oder größer) in der /etc/systems und dann geht's auch mit mehr als 10 USB-Sticks.

Die zweite Hürde hab' ich im Video kurz erwähnt: Nicht jeder USB-Stick ist gleich. Offenbar haben unsere USB-Sticks (die eigentlich Giveaways für das Sun Solution Center in Heimstetten sind) leichte Toleranzen in der genauen Speichergröße. ZFS ist dann etwas vorsichtig und weist dann bei zpool create auf die Ungleichheit der Devices hin, was man aber mit dem Flag -f leicht überwinden kann.

Wer genau aufpaßt, wird etwa bei 7:20 feststellen, daß die Entfernung eines Hubs doch nicht ganz ungefährlich war: "errors: 8 data errors, use '-v' for a list" heißt es am untersten Rand des Bildschirms. Zudem meldet zpool status ganze 6 Checksum Errors in Device c21t0d0p0. Da nach der Entfernung des Hubs keine Redundanz mehr vorhanden ist, führen diese Checksummenfehler nun zum (temporären) Datenverlust. Das liegt ganz einfach daran, daß USB-Sticks nun mal USB-Sticks sind und daher nicht immer zuverlässig. Unserer Demo hat's nicht geschadet, denn ZFS' Prefetch-Algorithmus hatte genug Daten im Hauptspeicher, um das Video weiterlaufen zu lassen. Nach dem Wiederanstecken des Hubs war die Redundanz wieder hergestellt und zpool scrub bzw. das Lesen der betroffenen Blöcke hat den Pool wieder geheilt. Fazit: Je billiger das Storage, desto mehr Redundanz ist erforderlich. In diesem Fall wäre also RAID-Z2 besser gewesen. Vielleicht haben unser Sponsor Gerhard und mein Mitstreiter Rolf noch weitere 4 USB-Sticks und einen weiteren Hub übrig?

Schließlich brauchten wir ein paar Versuche, bis der Trick mit dem zpool export, mischen, zpool import wirklich funktionierte. Zum einen sollte man auch warten, bis die USB-Sticks aufhören zu blinken, zum anderen sagte mir ein Kollege, daß die USB-Unterstützung des verwendeten Laptops nicht gerade die stabilste gewesen war...

Alles in allem hat's uns großen Spaß gemacht und ich hoffe, das Video gefällt Euch. Wenn es dem einen oder anderen das Solaris ZFS ein bisschen näher gebracht hat, umso besser! Hier ist die offizielle Dokumentation, echte Systemhelden jedoch kommen mit nur zwei man-Pages aus: zpool und zfs. Und die OpenSolaris-Community zu ZFS ist sowieso Pflicht.

Edits: Das Video ist sowohl auf Google Video als auch auf YouTube erhältlich. Leider schneidet YouTube nach 11 Min. Das Video ab, so daß wir die Google Video Version empfehlen.

Update: We finally now have an english version complete with some comments!

Update: Durch einen Copy&Paste-Unfall ist ein "ehci:" in der /etc/system-Variable oben verloren gegangen. Jetzt ist es korrigiert. Sorry, Uli!
 

Technorati Tags: , , , , , ,

Kommentare:

Heroes in white! Great stuff

Gesendet von guest am Februar 03, 2007 at 01:20 AM MEZ #

Hallo! das Video ist echt klasse. Wir hatten gerade viel Spaß gehabt beim gucken. Ich will auch so'n Kittel...

Gesendet von Achim am Februar 05, 2007 at 08:03 AM MEZ #

Hmm, vielleicht sollten wir die Bügelvorlage für die Kittel online posten? Ciao, Constantin

Gesendet von Constantin am Februar 05, 2007 at 09:27 AM MEZ #

that was awesome. even not speaking german, I was able to understand what was going on and i am simply floored by the power of that demonstration.

Gesendet von MikeTLive am Februar 06, 2007 at 07:28 AM MEZ #

Brilliant stuff, guys! Love the humor; and the mah-jongg shuffle, especially :-)

It's \*crying out\* for English subtitles, tho, to go global... any chance ?

Gesendet von Tony Heskett am Februar 07, 2007 at 06:36 AM MEZ #

Senden Sie einen Kommentar:
Kommentare sind ausgeschaltet.
Search

Archives
« April 2014
MoDiMiDoFrSaSo
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
    
       
Heute