Dienstag Okt 01, 2013

CPU-DR fuer Zonen

In meinem letzten Beitrag habe ich beschrieben, wie man die Memory-Konfiguration einer Zone im laufenden Betrieb veraendert.  Die naheliegende Frage ist natuerlich, ob das auch mit einer eventuellen CPU-Begrenzung funktioniert.  Die Antwort lautet natuerlich "Ja".

Manch einer wird sich fragen, warum das ueberhaupt notwendig ist, kann man Zonen doch bspw. mit dem Fair-Share Scheduler ganz hervoragend mit CPU versorgen und gleichzeitig unter Kontrolle halten.  Es gibt jedoch auch Gruende, Zonen mit exklusiven CPUs auszustatten - Lizenzierung oder  SLAs, die eine eher physische Partitionierung der Resourcen vorschreiben.  In solchen Faellen werden Zonen mit einer festen Anzahl von CPUs (oder vielmehr Strands) konfiguiert.  Und dann kann es natuerlich auch wuenschenswert sein, diese Konfiguration zu aendern, ohne die Zone dabei zu booten.  Wie das geht, soll hier beschrieben werden.

Grundsaetzlich gibt es zwei Moeglichkeiten, eine Zone mit einer festen Anzahl von CPUs zu betreiben.  Die klassische ist ein Resource Pool mit einem dazu gehoerenden Prozessorset, an den die Zone gebunden wird.  Eleganter geht das mit der Einstellung "dedicated-cpu" direkt in der Zonenkonfiguration.  In diesem zweiten Fall wird beim Start der Zone ein temporaerer Pool angelegt.  D.h. in beiden Faellen ist die Umsetzung die gleiche.  Und damit ist auch klar, wie die Loesung in beiden Faellen aussieht:  Die Konfiguration des Pools wird geaendert.  In der klassischen Variante ist diese Aenderung persistent.  In der zweiten Variante muss zusaetzlich die Konfiguration der Zone angepasst werden, damit die neue Anzahl von CPUs auch nach einem Zonen-Neustart erhalten bleibt.

Wird eine Zone mit "dedicated-cpu" konfiguriert, wird beim Start der Zone ein temporaerer Pool angelegt.  Dieser, und auch das dazu gehoerende Prozessorset, heisst idR. SUNWtmp_<zonenname>.  Das weitere Vorgehen ist damit fuer beide Faelle gleich:

Nehmen wir an, unsere Zone heisst orazone und hat derzeit 1 CPU.  Sie soll auf 2 CPUs erweitert werden.  Die aktuelle Pool-Konfiguration sieht wie folgt aus:

root@benjaminchen:~# pooladm                

system default
	string	system.comment 
	int	system.version 1
	boolean	system.bind-default true
	string	system.poold.objectives wt-load

	pool pool_default
		int	pool.sys_id 0
		boolean	pool.active true
		boolean	pool.default true
		int	pool.importance 1
		string	pool.comment 
		pset	pset_default

	pool SUNWtmp_orazone
		int	pool.sys_id 5
		boolean	pool.active true
		boolean	pool.default false
		int	pool.importance 1
		string	pool.comment 
		boolean	pool.temporary true
		pset	SUNWtmp_orazone

	pset pset_default
		int	pset.sys_id -1
		boolean	pset.default true
		uint	pset.min 1
		uint	pset.max 65536
		string	pset.units population
		uint	pset.load 687
		uint	pset.size 3
		string	pset.comment 

		cpu
			int	cpu.sys_id 1
			string	cpu.comment 
			string	cpu.status on-line

		cpu
			int	cpu.sys_id 3
			string	cpu.comment 
			string	cpu.status on-line

		cpu
			int	cpu.sys_id 2
			string	cpu.comment 
			string	cpu.status on-line

	pset SUNWtmp_orazone
		int	pset.sys_id 2
		boolean	pset.default false
		uint	pset.min 1
		uint	pset.max 1
		string	pset.units population
		uint	pset.load 478
		uint	pset.size 1
		string	pset.comment 
		boolean	pset.temporary true

		cpu
			int	cpu.sys_id 0
			string	cpu.comment 
			string	cpu.status on-line
Wir sehen in der Definition von pset SUNWtmp_orazone, dass CPU #0 diesem zugeordnet ist. Um den Pool um CPU #1 zu erweitern, sind folgende Kommandos notwendig:
root@benjaminchen:~# poolcfg -dc 'modify pset SUNWtmp_orapset \
                     (uint pset.max=2)' 
root@benjaminchen:~# poolcfg -dc 'transfer to pset \
                     orapset (cpu 1)'

Um umgekehrt diese CPU wieder aus dem Pool zu entfernen, diese Kommandos:

root@benjaminchen:~# poolcfg -dc 'transfer to pset pset_default \
                     (cpu 1)'
root@benjaminchen:~# poolcfg -dc 'modify pset SUNWtmp_orapset \
                     (uint pset.max=1)' 

Nun bleibt nur noch, die korrekte Anzahl von CPUs fuer den naechsten Zonen-Neustart in die Zonenkonfiguration einzutragen.

Fuer den Fall eines eigenen Pools fuer die Zone (klassische Variante) ist in diesem Verfahren lediglich der entsprechende Poolname zu verwenden.

Literatur:

Montag Aug 19, 2013

Memory-DR fuer Zonen

Zonen bieten unter Anderem die Moeglichkeit, den Hauptspeicher zu begrenzen.  Das geht idR. mit dem Zonen-Parameter "capped-memory", bei dem man die drei Werte "physical", "swap" und "locked" jeweils einzeln setzen kann.  "Physical" entspricht dabei der Resource-Control "zone.max-rss", also dem tatsaechlich belegten Hauptspeicher.  "Swap" entspricht "zone.max-swap" - dem belegten Swapspace und "locked" entspricht "zone.max-locked-memory", dem nicht pagebaren Speicher, typischerweise sind das shared memory Segmente.  Swap und Locked Memory sind dabei recht harte Grenzen, beim physischen Speicher ist es etwas "weicher".   Der physische Speicher wird durch rcapd ueberwacht, der ggf. versucht, Speicherseiten jenseits der erlaubten Menge auf das Swapdevice auszulagern.  Je nach Aktivitaet der Prozesse, die diesen Speicher verwenden, ist das mehr oder weniger erfolgreich, hat aber in jedem Fall zur Folge, dass diese Prozesse durch Paging stark beeintraechtigt werden.

Aendert man diese Werte mittels zonecfg, werden die neuen Werte erst nach einem Neustart der Zone wirksam.  Wirklich dynamisch, wie man das z.B. bei LDoms gewohnt ist, ist das nicht.  Es geht aber auch anders, wie ich an einem kleinen Beispiel zeigen moechte:

Gegeben sei eine kleine Zone, deren Speicherkonfiguration wie folgt aussieht:

root@benjaminchen:~# zonecfg -z orazone info capped-memory
capped-memory:
    physical: 512M
    [swap: 256M]
    [locked: 512M]

Um diese Werte im Betrieb zu aendern, muss an zwei verschiedenen Stellen eingegriffen werden.  Fuer den physischen Speicher beim rcapd, der diesen verwaltet.  Fuer swap und locked memory mit dem normalen Resource Control Kommando prctl.  Um also bspw. alle drei Grenzen zu verdoppeln, brauche ich folgende Kommandos:

root@benjaminchen:~# prctl -n zone.max-swap -v 512m -r -i zone orazone
root@benjaminchen:~# prctl -n zone.max-locked-memory -v 1g -r -i zone orazone
root@benjaminchen:~# rcapadm -z orazone -m 1g

Diese neuen Werte werden sofort, bzw. nach dem naechsten Rekonfigurations-Intervall des rcapd wirksam. Dieses kann man ebenfalls mit rcapadm veraendern. Wichtig ist dabei, dass diese Aenderungen nicht persistent sind. D.h. fuer den naechsten Zonen-Neustart gelten die Werte, die mittels zonecfg gesetzt wurden. Will man beides - persistente Aenderung und sofortige Wirkung, muss man an beiden Stellen eingreifen.

Literatur:

  • Solaris Admin Guide:
    http://docs.oracle.com/cd/E19683-01/817-1592/rm.rcapd-1/index.html

Dienstag Apr 17, 2012

Solaris Zones: Virtualisierung beschleunigt Benchmarks!

Wenn ich mich mit Kunden ueber Virtualisierung unterhalte ist eine der ersten Fragen oft die nach dem Overhead.  Nun wissen wir ja alle, dass Virtualisierung mit Hypervisoren nicht ohne Overhead zu machen ist.  Was wir ebenfalls alle wissen sollten ist, dass es stark vom Lastprofil und dem verwendeten Hypervisor abhaengt, wie gross dieser Overhead jeweils ausfaellt.  Zwar gab es schon einige Versuche, dies in standardisierten Benchmarks zu quantifizieren.  Dennoch bleibt die Antwort auf diese Frage noch immer in den Nebeln von Marketing und Benchmark-Unschaerfe verborgen.  Erstaunen erlebe ich jedoch regelmaessig, wenn ich zu Solaris Zonen (bei Solaris 10 hiessen sie noch Container) als Alternative zur Virtualisierung mit Hypervisoren komme. Solaris Zonen sind, grob vereinfacht, nichts weiter sind als eine Menge von Unix Prozessen, abgegrenzt durch einen Regelsatz der vom Solaris Kernel durchgesetzt wird.  Daher ist es einleuchtend, dass hier nicht besonders viel Overhead anfallen kann.  Dennoch wird die Behauptung von "Zero Overhead" oft angezweifelt, gerade auch weil vielen heute Virtualisierung per Hypervisor sehr nahe ist.  Und so sehr ich die Erklaerung mit technischen Details ueberzeugend finde, so sehr verstehe ich auch, dass sehen viel besser ist als glauben.   Daher:

Die Benchmark-Teams bei Oracle sind so ueberzeugt von den Vorteilen der Solaris Zonen, dass sie diese fuer die veroeffentlichten Benchmarks verwenden.  Das Solaris Resource Management funktioniert natuerlich auch ohne Zonen, aber Zonen machen es so viel einfacher, insb. in Verbindung mit den teilweise recht komplexen Benchmark-Konfigurationen.  Es gibt zahlreiche Benchmark-Veroeffentlichungen bis zurueck in die Tage der T5440, in denen Solaris Container zur Anwendung kommen.  Einige aktuelle Beispiele, alles Weltrekorde, sind:

Die genaue verwendung der Zonen ist in der jeweiligen Benchmark-Beschreibung dokumentiert.

Darueber hinaus hat das Benchmark-Team in einem Blogeintrag beschrieben, wie sie das Solaris Resource Management und Zonen verwenden, um die Anwendungsleistung zu erhoehen.  Das verleitet fast dazu, von "negativem Overhead" zu sprechen, waere der Begriff nicht so irrefuehrend.

Donnerstag Apr 02, 2009

Paralleles Patchen von Zonen - Licht am Horizont

CMT-Systeme sind eine ideale Virtualisierungsplatform.  Und Solaris Container sind die preiswerteste und effizienteste Virtualisierungstechnik.  Ein Pferdefuss dabei war bisher, dass das Patchen grosser Anzahl von Containern nicht gerade schnell war.  Hier ist endlich Abhilfe in Aussicht: Zonen koennen bald parallel gepatched werden.  Was das an Performance bringt, beschreibt Jeff Victor ein seinem excellenten Blog-Beitrag.

About

Neuigkeiten, Tipps und Wissenswertes rund um SPARC, CMT, Performance und ihre Analyse sowie Erfahrungen mit Solaris auf dem Server und dem Laptop.

This is a bilingual blog (most of the time). Please select your prefered language:
.
The views expressed on this blog are my own and do not necessarily reflect the views of Oracle.

Search

Categories
Archives
« April 2014
MoDiMiDoFrSaSo
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
    
       
Heute