The Easiest Way : Experience of Hadoop

Hadoop を最も簡単に体験する方法

[summary] If you want to try Hadoop, one of the easiest way must be to use "Hadoop Live CD" which is a OpenSolaris Project. 

(Translate to English)


vaio

ここに、ごくふつーのSONY VAIO PCG-5D1N(法人向けモデル)があります。
OSはWindows XP。外出先でメール読んだり、Web見たり、軽いのでそれなりに使えます。でも、使い方はそれだけ??


他に有用な使い方は??


そうですね、OpenSolarisをインストールすることでしょう。でも、会社で使うPCに入れるには、勇気のいる必要も多いかもしれませんね。それに、何故??OpenSolaris???という疑問を持つ人もいるでしょう。



そうした中、謎のCDが!!このCDを使ってbootしてみることにします。



をををを!!OpenSolarisのCDでした!!このまま、bootを続けてみます。

キーボードの種類を選択するとしばらくして、Gnomeが立ち上がり、OpenSolarisライセンスのwindow があがります。これをcloseすると次に現れるのが・・

Hadoopのライセンス!!

Desktop上の左には、Hadoop Start なるアイコンが!!!これをクリックしてみます。




VAIOのファンがうなりをあげています。なんかいい予感が。7つ道具(?)が入ったUSBメモリを差し込んで、jpsコマンドで調べてみます。(注:default では最小限のツールしか入っていないので、jpsをはじめ幾つかのツールを予め準備しました)


 Hadoopが動いています!!zoneadm で調べてみると


つまり、Solaris 上で、3つのzoneでHadoopが動かそう、、というわけです。それでは実際にやってみることとします。

まず、Hadoopのファイルシステムがどうなっているかを見てみます。


ちゃんと動いていることが確認できました。次にローカルファイルを確認します。


このLICENSE.txtを、Hadoop ファイルシステムへコピーしてみます。


1行目:Hadoopファイルシステム上に /in_dir という名称���directoryを作成します。
2行目:ローカルファイルであるLICENSE.txt をHadoopファイルシステム上の /in_dir 下へコピーします。
3行目:コピーされたかどうかを確認します。ファイルは存在しています。

 次に、完全にコピーされたかどうか、ファイルを比較してみます。


diff で確認しても差分はありませんでした。

それでは、いよいよ、Hadoop MapReduce のサンプルプログラムを試してみます。ファイルのword数をカウントする、wordcount を動かしてみます。


/in_dir 下のファイルに含まれるwordの出現回数をカウントし、その結果を/out_dir下のファイルに書き出します。うまくいったようです。複数のタスクが稼働しているのが確認できますね。

注)実行するためにはある程度、メモリが必要です。Gnomeが重いこともあり、メモリが1GBのPCでは、動くかどうか微妙なところです。メモリ不足の場合、上記の処理の途中でフリーズしてしまうこともあります。その場合、OpenSolarisブート時にテキストモードで立ち上げれば大丈夫です。また、ここに到達する前に、Gnomeが立ち上がらずクラッシュする場合も、テキストモードならば、立ち上がる可能性もありますので、やってみてください。

それでは、どんな結果がでているかを確認してみます。


/out_dir ディレクトリ下にpart-00000 が作成されています。この中を調べてみます。word毎に出現回数がちゃんと記録されています。

いかがでしょうか。手元の1GB程度のPCでもちゃんとHadoopを体験することができました。Solarisのzoneならではです。 今回、使った謎のCDの作り方は、Open Solaris Projectのここのサイトを参考に作成してみてください。


投稿されたコメント:

コメント
コメントは無効になっています。
About

Takashi Shitamichi(下道高志)

Chief Technologist
GSE Japan, Sun Microsystems

Spokes Person/Secretary@SIG-Japan,Liberty Alliance
Chair of Edu-committee, ISACA Tokyo
CISA,CISM
中小企業診断士

Search

Archives
« 4月 2014
  
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
   
       
今日