月曜日 11 24, 2008

Hadoop with 38 nodes

38ノードでHadoop を評価

[summary] Prior to my hard work for CEC2008, I worked for Hadoop with bunch of nodes. This time, I configured 36 DataNodes + 2 NameNodes and succeeded benchmarking testing.

(Translate to English)

11月上旬に開催されたCEC2008の準備のために9・10月は非常に忙しかったのですが、そうした中、複数の顧客の要望で、HadoopをSunのサーバを使って評価することとなりました。

  • 最新の0.18.1を使用
  • 36 DataNode + 2 NameNode の計38台を最大として構成(仮想環境上のノードも含む)
  • テキスト・データを500MB 〜 数十GBまで順次に利用
  • LocalファイルがHDFSに分散される経過を6 〜36 DataNodeで検証
  • replication の数による動作の変化を検証
  • 耐障害性検証を目的とした、DataNode ならびにNameNodeを止めて処理継続性をテスト
  • Map/Reduce のスケーラビリティ検証

上記の中でも、多くの方が興味を持つのは、「Map/Reduce のスケーラビリティ」でしょう。これは6 〜36 DataNodeで順次検証しました。いろいろなDemoプログラムや自作のものを試してみましたが、結局、wordcountでスケーラビリティを検証することとなりました。「Solaris でMap/Reduceを38台で稼働させている」証拠のスクリーンショットが下図です。


このタイミングでは、Map が18%まで進行していますが、各ノード共処理が正常に行われていることがおわかりいただけると思います。ここではSolaris上での稼働状況を可視するためにperfbar(日本語紹介はこちら)を使っています。上の3列のグラフがDataNodeで、下2つがNameNodeです。DataNode上ではperfbar の緑色が示す通り、アプリケーションが「よくまわっている」状態です。もし赤が多いと、I/O等のシステム側のオーバヘッドが多いことになりますがそれもなく、非常に上手くいっているようです。

さて、DataNodeを6〜36と増やしていった時のパフォーマンスの変化をグラフにしたのが下図です。


上図を見るとほぼ 6 nodeから21 node まではリニアに伸びていっているのがわかります。しかしながら、それ以降は横ばいもしくは伸びが鈍化しています。これは以下の理由によると思われます。

  • 一部仮想環境があるために、ボトルネックが発生した
  • DataNodeの数に比べてデータの大きさが十分でないために、データをHDFS空間へコピーする際に的確な分散がされてなく、Mapプロセスによる処理が均質化されていない
前述したエントリでも書きましたように、Hadoop は小規模で動かすことはそれほど難しくありません。しかしながら、ある程度の規模を超えると、構成やチューニングポイント等、考えなければならない箇所が数多く出てきて、大規模な構成で構築するには、中規模構成での検証の経験等ある程度のknow-howは必須だと感じました。

火曜日 9 09, 2008

The Easiest Way : Experience of Hadoop

Hadoop を最も簡単に体験する方法

[summary] If you want to try Hadoop, one of the easiest way must be to use "Hadoop Live CD" which is a OpenSolaris Project. 

(Translate to English)


vaio

ここに、ごくふつーのSONY VAIO PCG-5D1N(法人向けモデル)があります。
OSはWindows XP。外出先でメール読んだり、Web見たり、軽いのでそれなりに使えます。でも、使い方はそれだけ??


他に有用な使い方は??


そうですね、OpenSolarisをインストールすることでしょう。でも、会社で使うPCに入れるには、勇気のいる必要も多いかもしれませんね。それに、何故??OpenSolaris???という疑問を持つ人もいるでしょう。



そうした中、謎のCDが!!このCDを使ってbootしてみることにします。



をををを!!OpenSolarisのCDでした!!このまま、bootを続けてみます。

キーボードの種類を選択するとしばらくして、Gnomeが立ち上がり、OpenSolarisライセンスのwindow があがります。これをcloseすると次に現れるのが・・

Hadoopのライセンス!!

Desktop上の左には、Hadoop Start なるアイコンが!!!これをクリックしてみます。




VAIOのファンがうなりをあげています。なんかいい予感が。7つ道具(?)が入ったUSBメモリを差し込んで、jpsコマンドで調べてみます。(注:default では最小限のツールしか入っていないので、jpsをはじめ幾つかのツールを予め準備しました)


 Hadoopが動いています!!zoneadm で調べてみると


つまり、Solaris 上で、3つのzoneでHadoopが動かそう、、というわけです。それでは実際にやってみることとします。

まず、Hadoopのファイルシステムがどうなっているかを見てみます。


ちゃんと動いていることが確認できました。次にローカルファイルを確認します。


このLICENSE.txtを、Hadoop ファイルシステムへコピーしてみます。


1行目:Hadoopファイルシステム上に /in_dir という名称���directoryを作成します。
2行目:ローカルファイルであるLICENSE.txt をHadoopファイルシステム上の /in_dir 下へコピーします。
3行目:コピーされたかどうかを確認します。ファイルは存在しています。

 次に、完全にコピーされたかどうか、ファイルを比較してみます。


diff で確認しても差分はありませんでした。

それでは、いよいよ、Hadoop MapReduce のサンプルプログラムを試してみます。ファイルのword数をカウントする、wordcount を動かしてみます。


/in_dir 下のファイルに含まれるwordの出現回数をカウントし、その結果を/out_dir下のファイルに書き出します。うまくいったようです。複数のタスクが稼働しているのが確認できますね。

注)実行するためにはある程度、メモリが必要です。Gnomeが重いこともあり、メモリが1GBのPCでは、動くかどうか微妙なところです。メモリ不足の場合、上記の処理の途中でフリーズしてしまうこともあります。その場合、OpenSolarisブート時にテキストモードで立ち上げれば大丈夫です。また、ここに到達する前に、Gnomeが立ち上がらずクラッシュする場合も、テキストモードならば、立ち上がる可能性もありますので、やってみてください。

それでは、どんな結果がでているかを確認してみます。


/out_dir ディレクトリ下にpart-00000 が作成されています。この中を調べてみます。word毎に出現回数がちゃんと記録されています。

いかがでしょうか。手元の1GB程度のPCでもちゃんとHadoopを体験することができました。Solarisのzoneならではです。 今回、使った謎のCDの作り方は、Open Solaris Projectのここのサイトを参考に作成してみてください。


水曜日 5 14, 2008

Implementation of an MVM Environment on Ruby and JRuby ( from Feb 27 press release)

Implementation of an MVM Environment on Ruby and JRuby

[Summary] I'm so sorry that I forgot to forward the press release of English version for Ruby related R&D with Tokyo Univ. The press release is here. (Original Japanese version is here)

 

Implementation of a multiple virtual machine (MVM) environment on Ruby and JRuby

A group led by Professor Ikuo Takeuchi at the Graduate School of Information Science and Technology, the University of Tokyo will collaborate with Sun's Tim Bray (Director of Web Technologies) and the members of the JRuby team to implement a multiple virtual machine (MVM) environment on both Ruby and JRuby. The MVM environment is expected to make Ruby programs run more efficiently than was previously possible. The results of the research are scheduled to be open sourced via the broader community of Ruby developers, which could inspire further innovations.

Previously, running more than one application simultaneously on Ruby required multiple interpreters, leading to excessive memory consumption. The proposed MVM environment could generate multiple VM instances on a single interpreter, allowing applications to run more efficiently. The collaborative research aims to clarify such technical issues as the definition of common interfaces for using MVM, parallelization of VM instances and memory sharing, and then to implement technologies that can be used on Ruby and JRuby. While Ruby has already been widely in use in commercial and other environments, the research on MVM will further enhance the performance and utility of Ruby......

more

 

 

金曜日 5 09, 2008

Tim said "I love Ruby/JRuby" at the interview by Japanese media

"やっぱり好きなのはRuby/JRuby" by Tim Bray

 

[Summary] Tim Bray was interviewed by Japanese media. The article is here ( yes, it is written in Japanese ! )

(Translate to English)

マイコミジャーナルより。Tim 曰く、

コミュニティはテクノロジを評価する上で非常に重要なポイントだと考えている。RubyおよびRailsのコミュニティは非常に大きく、そしてフレンドリーだ。Rubyを始めようとしたときや、何かわからないことがあったときには、すぐに良いアドバイスをくれる

 
 

月曜日 4 28, 2008

NEKOBEAN Flash-- NetBeans community effort from Japan



ねこび〜んの「ネットビースンズトラベル」Flash・・・NBコミュニティ

[Summary] This is the great effort from NetBeans Japan Community. Enjoy this. :-)

(Translate to English)


出た!!ねこび〜んFlash。こちらでお楽しみください。情報は片貝さんのこちらのブログより。

火曜日 3 04, 2008

Guys for another Dynamic Language --- Sun for Python!



2人のPythonエンジニアがSunに入社!!

[Summary] Frank Wierzbicki of the Jython project and Ted Leung of OSAF (and a bunch of other stuff) to help with the Python story at Sun. JRuby, MySQL, then Jython/Python!!

(Translate to English)


JRubyに続いて、今度はJython/Python のエンジニアがSunに集合です。

Sunの"The Official Site for Breaking News and the Latest Information from Sun"に書いてありますが、Pythonの中心人物であるTed LeungJython の中心人物のFrank WierzbickiがSun に3月3日付で入社しましたっ!!

各々のblogでそのあたりを述べています。Ted はここ。Frank はここ

新しい波である、Dynamic Language にSunは本気であることがご理解いただけると思います。先日のMySQLの買収完了に続き、新しい時代のシステム・アーキテクチャに果敢に挑戦するSunです。Javaという技術を生かしながら。

木曜日 1 10, 2008

R&D with Tokyo Univ. : Multiple VM for Ruby and JRuby


東大との共同研究活動を開始:「Fortress上でのスケルトン並列プログラミング手法に基づいたライブラリ開発」と「RubyとJRubyでのマルチVM(MVM)環境の実現」

[Summary] News for Rubyist! Sun Japan delivered the press release that The University of Tokyo and SMI have selected two topics and commenced collaborative research, based on the joint development agreement that was signed in June 2005 to establish a new university-corporate collaboration model. One is about Fortess. Another is about MVM for Ruby and JRuby.
(Translate to English)


新年立て続けに出るニュースリリース。 今回は東大との共同研究。Ruby に関しての箇所を抜き出してみました。

     国立大学法人東京大学(総長:小宮山 宏、以下東京大学)とサン・マイクロ システムズ株式会社(本社:東京都世田谷区、代表取締役社長:末次 朝彦、以 下サン)は、新しい産学連携モデルの確立を目指して2005年6月に締結した共同 研究に係る協定書に基づいて2つの研究テーマを決定し、具体的な共同研究に着 手したことを本日発表します。今回の共同研究は、東京大学の価値創造型産学連 携共同研究立案スキーム「Proprius21(プロプリウス21)」を利用して創出され た最初の海外共同研究となります。
     この度、研究を開始したテーマは、次の2つです。

       ① 「Fortress上でのスケルトン並列プログラミング手法に基づいたライブラリ開発」
       ② 「RubyとJRubyでのマルチVM(MVM)環境の実現」
<中略>
    ■ RubyとJRubyでのマルチVM(MVM)環境の実現

       東京大学 大学院情報理工学系研究科 竹内郁雄教授のグループと、米国サン のティム・ブレイ(Director of Web Technologies)およびJRubyのメンバーと の間で、RubyおよびJRuby上でのマルチVirtual Machine (MVM)環境の実現を目指 します。MVM 環境の実現によりRubyプログラムがさらに効率的に実行できること が期待されます。この成果はオープンソースとして公開を予定しており、他の Ruby開発者も含めたコミュニティへと環流するのとともに、更なるイノベーショ ンを生む素地になることが期待されています。
       従来、Rubyで複数アプリケーションを実行すると複数のインタプリタを起動し てしまい、メモリ消費量などに問題がありました。今回共同開発するマルチVMで は1つのインタプリタ上に複数のVMインスタンスを生成することで効率的な実行 を実現します。本共同研究は、MVMを利用するための共通インターフェースの策 定やVMインスタンス間での並列化やメモリ共有など、複数のVMインスタンスの取 り扱いについての技術的課題を明らかにしたうえで、実際にRubyおよびJRubyで 利用できる技術の実現を目指します。商用を含め、さまざまな環境で利用されて いるRubyにおいて、このMVMの研究はさらなる性能や利便性の向上に寄与するこ とになります。
       なお、当共同研究開発の期間は2009年 9月末までの計画で、サンは当初1年間 分の予算として10万ドルを拠出します。サンのJRubyチームと竹内教授のグルー プを研究開発の中心として、さまざまな研究者及びプログラマの関与を促す予定 です。
<後省略>

金曜日 12 28, 2007

KRI: Ruby1.9.0 vs. JRuby1.1 -- Ruby Dead Heat!!


Ruby1.9.0 vs. JRuby : 宿命の(?)スピード対決

[Summary] Kazuya who is working with me did "Ruby1.9.0 vs. JRuby1.1" benchmarks which Charles provided with JRuby1.1 Source. The result is interesting. See this.
(Translate to English)


Sun Japan でWeb2.0系を主にやっている河原君が、Ruby1.9.0 とJRuby1.1b のスピード競争をしてみました。特にオプションもつけず、make時のコンパイルオプションもそのまま。結果だけをみると、

フィボナッチはRuby1.9.0 の勝ち。string オペレーションはJRuby1.1 の勝ち。

いろいろと異論はあるでしょうが、まずは、そくっとやってみた結果です。詳細はこちらをご覧ください。この続きは年明けに。

Ruby 1.9.0 Released and Runs on Solaris10


Ruby1.9.0リリース。Solaris10で動きますっ!!

[Summary] Ruby 1.9.0 was released. Matz, Ko1 and Ruby community, great job!! I downloaded the source and built it. It is running on Solaris 10.
(Translate to English)


予定より遅れること数分(笑)、Ruby1.9.0がリリースされました。まつもとさん、ささださん、そして、コミュニティの皆さん、本当にお疲れさまでした。

さて、ワタクシも、ちと、使ってみようと、source をdownload して、make してみました。ターゲットは・・・・Solaris10!!。そりゃ、Sun の社員ですもの。以下が証拠となります。test も通過。無事に稼働しているのであります。






日曜日 12 16, 2007

JRuby 1.0.3 Released


JRuby 1.0.3がリリースされました

[Summary] JRuby 1.0.3 was released and can be downloaded now!!
(Translate to English)


JRuby 1.0.3 が正式リリースとなりました。core developer の一人である、Thomas Enebo のblogJRubyの本家blogにて発表されました。
ハイライトととしては、mongrelを含むシグナル・ハンドリングに関する修正とか、28に及ぶ問題点---この中にはRails2.0、YAML、JVM 等に関するものが修正されています。

さて実際に、http://dist.codehaus.org/jruby/より、jruby-bin-1.0.3.zip をダウンロードして展開し、$JRUBY_HOMEを指定してみます。私の環境では以下の通りです。
    foxtrot:~/Ruby_dev/jruby-1.0.3 shita$ echo $JRUBY_HOME
    /Users/shita/Ruby_dev/jruby-1.0.3
    foxtrot:~/Ruby_dev/jruby-1.0.3 shita$ which jruby
    /Users/shita/Ruby_dev/jruby-1.0.3/bin/jruby
    foxtrot:~/Ruby_dev/jruby-1.0.3 shita$ jruby -v
    ruby 1.8.5 (2007-12-15 rev 5200) [i386-jruby1.0.3]
    foxtrot:~/Ruby_dev/jruby-1.0.3 shita$
はい、これで安定板JRubyの最新版である、1.0.3 が使えるようになりました。皆さんも、是非、試してみてください!!

木曜日 11 22, 2007

CardSpace and OpenSSO :an article from BigAdmin


BigAdmin "CardSpace と OpenSSO によるサイトアクセスのセキュリティー保護"

[Summary] Multilingual BigAdminintroduces "Securing Site Access With CardSpace and OpenSSO: An Overview" in some languages.
(Translate to English)


先週のWeb2.0 EXPO Tokyoの私のセッションでは、さっと飛ばしてとまった感のあるCardSpaceですが、BigAdmin日本語版の「CardSpace と OpenSSO によるサイトアクセスのセキュリティー保護:概要」で、OpenSSOを使って設計されたセキュリティアーキテクチャについて、詳しく解説されています。CardSpaceの動きを理解するには一番いいかもしれません。

bigadmin



bigadmin


火曜日 11 20, 2007

@Web2.0 EXPO Japan : OpenID and user centric identity for Web2.0


事後報告:Web2.0 EXPO Japan

[Summary]  I participated in Web2.0 EXPO Tokyo and made a presentation of "identity related technology and OpenID in Web2.0 era" introducing user centric identity, OpenID, SAML, CardSpace, Liberty Alliance and Project Concordia.

(Translate to English)


事後報告となってしまいますが、先週Web2.0 EXPO Tokyoテクノロジー・セッションにて、「Web2.0時代のアイデンティティ技術とOpenID」というセッションを持たせていただきました。ユーザ・セントリック・アイデンティティOpenIDSAMLCardSpaceLiberty AllianceProject Concordiaといったあたりを紹介させていただきました。

実は、OpenID を使っている実際のサイトを3つほど動かそうと準備をしていたのですが、本番直前、一つもまともに動かなくなっていて、さて、いったいどうしたものか、、と途方に暮れていたのでした。私のセッションは90分もあったのでした。ふつーは飽きますよね。ですから、デモは必須だったのです。

ところが、各方面にメッセージを打ちまくったせいか、途中、Project Concordiaのサイトが復活したのでした。それでは!というわけで、OpenID.sun.comを使って、Project Concordia のサイトにログインする有様をお見せしました。

お客さんの反応が心配だったのですが、最後の拍手でほっとしました。途中、疲れて2回程、気を失いそうになったのですが、最後まで体力が持ってよかったです。みなさん、ありがとうございました。また、いくつかのブログ(こことかここ)でも、感想をいただいております。ありがとうございました。

opneid.sun.com


月曜日 11 12, 2007

URGENT! Tune In On Your TV for Porject Blackbox


緊急通告!!Project Blackbox が今宵、テレビに出る!!

[Summary]  Project Blackbox has come to Japan. Tonight, it will be on air with TV program. Tune in!!

(Translate to English)


全米を騒がせ社会現象(?)にもなりつつある感のある「Project Blackbox」が日本上陸です。一般公開もあります。是非、おいでください。

さて、急遽、テレビでの紹介が決まりました。本日、11月12日(月)。「ワールドビジネスサテライト」(23:00- テレビ東京)!! 是非、ご覧下さい。

PBB


日曜日 10 21, 2007

Liberty Alliance Day 2007


今年もLiberty Alliance Day !!

[Summary]  At Liberty Alliance Day 2007 on this Friday, there will be an reception, giveaways , etc.

(Translate to English)


さて、いくつかのサイトやメール配信で、既報でありますがLiberty Alliance Day2007が今年も開催されます。10/26(金)。今週金曜日です。登録されていない方は、お早くどーぞ。

またまたPat が来ます。Paul もいます。私が大変お世話になった、情報セキュリティ大学院大学の板倉先生も登場します。 その他、昨年同様、大人気のレセプションがあります!また、粗品もあります!!今年のLiberty のロゴ入りUSBメモリはCool。写真がそれ。(この中にプレゼンのスライドを入れる予定でいます)

Liberty_Spin.jpg


個数が限られます。早いもん勝ち。急げー!!

火曜日 9 18, 2007

SAML2.0 interoperability testing is mandatory for eAuthentication


GSAのeAuthentication ではSAML2.0適合試験合格が必須

[Summary]
GSA requires that providers complete the Liberty Alliance SAML 2.0 interoperability testing requirements for the Liberty Interoperable certification program. See this


(Translate to English)


GSA(米国一般入札局)では、 サービスを提供するプロバイダーに対し、Liberty Alliance の提供するSAML2.0 適合試験合格を入札条件とする旨を、最新ニュースにてアナウンスしました。



それによれば、
As a pre-requisite for such testing, GSA requires that providers complete the Liberty Alliance SAML 2.0 interoperability testing requirements for the Liberty Interoperable certification program.
つまり、「プロバイダーは、LibertyのSAML2.相互接続性試験の要求事項をみたすことが必須」だそうです。ここでいう、Liberty certification program というのは、ここに記載してあります。

最近、ワタクシがおつきあいをさせて頂いているお客さんやcommunity の方々にしてみれば、「SAML ? えー、SOAPなの??古い。ダセー。。」などなど、感じている方も多いかもしれませんが、「安全・確実」なsecure web services 実現のためには、SAMLのアーキテクチャやその思想、さらには用途も学ぶべきかと。

工藤氏や私が以前のエントリで紹介したように、blueshiftとredshift をブリッジするテクノロジの中で、重要なポジションを占めると確信するのであります。

ともあれ、政府関係者ならびに設計/発注/納入関係者にも、世界の動向をよく観察して頂きたいものです。独自仕様にこだわることが、必ずしも国民生活向上の資することになるわけではありませんから・・・・・
About

Takashi Shitamichi(下道高志)

Chief Technologist
GSE Japan, Sun Microsystems

Spokes Person/Secretary@SIG-Japan,Liberty Alliance
Chair of Edu-committee, ISACA Tokyo
CISA,CISM
中小企業診断士

Search

Archives
« 4月 2014
  
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
   
       
今日