月曜日 11 24, 2008

Hadoop with 38 nodes

38ノードでHadoop を評価

[summary] Prior to my hard work for CEC2008, I worked for Hadoop with bunch of nodes. This time, I configured 36 DataNodes + 2 NameNodes and succeeded benchmarking testing.

(Translate to English)

11月上旬に開催されたCEC2008の準備のために9・10月は非常に忙しかったのですが、そうした中、複数の顧客の要望で、HadoopをSunのサーバを使って評価することとなりました。

  • 最新の0.18.1を使用
  • 36 DataNode + 2 NameNode の計38台を最大として構成(仮想環境上のノードも含む)
  • テキスト・データを500MB 〜 数十GBまで順次に利用
  • LocalファイルがHDFSに分散される経過を6 〜36 DataNodeで検証
  • replication の数による動作の変化を検証
  • 耐障害性検証を目的とした、DataNode ならびにNameNodeを止めて処理継続性をテスト
  • Map/Reduce のスケーラビリティ検証

上記の中でも、多くの方が興味を持つのは、「Map/Reduce のスケーラビリティ」でしょう。これは6 〜36 DataNodeで順次検証しました。いろいろなDemoプログラムや自作のものを試してみましたが、結局、wordcountでスケーラビリティを検証することとなりました。「Solaris でMap/Reduceを38台で稼働させている」証拠のスクリーンショットが下図です。


このタイミングでは、Map が18%まで進行していますが、各ノード共処理が正常に行われていることがおわかりいただけると思います。ここではSolaris上での稼働状況を可視するためにperfbar(日本語紹介はこちら)を使っています。上の3列のグラフがDataNodeで、下2つがNameNodeです。DataNode上ではperfbar の緑色が示す通り、アプリケーションが「よくまわっている」状態です。もし赤が多いと、I/O等のシステム側のオーバヘッドが多いことになりますがそれもなく、非常に上手くいっているようです。

さて、DataNodeを6〜36と増やしていった時のパフォーマンスの変化をグラフにしたのが下図です。


上図を見るとほぼ 6 nodeから21 node まではリニアに伸びていっているのがわかります。しかしながら、それ以降は横ばいもしくは伸びが鈍化しています。これは以下の理由によると思われます。

  • 一部仮想環境があるために、ボトルネックが発生した
  • DataNodeの数に比べてデータの大きさが十分でないために、データをHDFS空間へコピーする際に的確な分散がされてなく、Mapプロセスによる処理が均質化されていない
前述したエントリでも書きましたように、Hadoop は小規模で動かすことはそれほど難しくありません。しかしながら、ある程度の規模を超えると、構成やチューニングポイント等、考えなければならない箇所が数多く出てきて、大規模な構成で構築するには、中規模構成での検証の経験等ある程度のknow-howは必須だと感じました。

月曜日 5 12, 2008

Gartner report : Open Source at Sun Microsystems, 2008

Gartnerのレポート:"Open Source at Sun Microsystems, 2008"

[Summary] Gartner reported Sun's open source strategy. Visit here.

(Translate to English)


Gartner から"Open Source at Sun Microsystems, 2008"なる興味深いレポートがWebにあがっています。 以下、気になる箇所について引用と共に。

まずは現状について:

No other major IT platform vendor has committed so much of its core assets to the open-source software model as Sun Microsystems. Certainly, companies such as IBM, Oracle and BEA Systems have dramatically expanded their own open-source strategies in recent years, but only Sun has literally open-sourced nearly the entire family of products — that is, its intellectual property (IP) — from its operating system to Java.

(超荒訳)

Sunほどコアの資産をオープンソース・ソフトウェア・モデルにコミットしているメジャーなITプラットフォームベンダーはいない。たぶん、IBM, Oracle, BEA Systemsといったところは、数年のうちに劇的に自身のオープンソース戦略を広めていくであろう。しかしSunだけが実際にプロダクト群の殆ど全てを(既に)オープンソース化してしまった------知的財産である、オペレーティング・システムからJavaまで

将来どうなるか、というと:

Of all the major platform vendors (IBM, Microsoft, Oracle, HP and so on), Sun is best-positioned to drive the integrated open-source "stack" into the mainstream. Its success and challenges will provide the reference points by which other vendors will measure their own commitments in coming years.

(超荒訳) 

IBM, Microsoft, Oracle, HPなどメジャーなプラットフォーム・ベンダー全ての中で、Sunは統合されたオープンソース”スタック”をメインストリームへと推進する”ベスト・ポジション”にいる。 Sunの成功と挑戦は他のベンダーが数年内に自らがコミットする範囲のリファレンス・ポイントとなるだろう。

最後にユーザへの”お薦め”として

  • Understand that investments in Sun products and services will include a commitment to a wide range of open-source technologies as well.
  • Carefully monitor Sun's investments and initiatives in open source to collect insights into its future directions.
  • Monitor Sun's momentum as it endeavors to establish a success story around the synergy of open source and its commercial software and hardware efforts.
(超荒訳)
  • Sunの製品とサービスが広範囲にわたるオープンソース技術へのコミットを含んでいることを理解すること
  • 将来の方向性を深く知り得るためのオープンソースへの投資とそこでのイニシアチブを注意深く見ていくこと
  • オープンソースと商用ソフトウェア、それに加えてハードウェアのシナジー効果によるサクセス・ストーリーを作り上げる活動をしているSunの勢いを見ていくこと

「オープンソースでどうやってビジネスをするんだ!」との疑問に直接答えてくれているわけではないですが、あのGartner がSunをITベンダー界におけるオープンソースのリーダーとして認めてくれた、、というのは、価値があることだと思います。


 

金曜日 5 09, 2008

Tim said "I love Ruby/JRuby" at the interview by Japanese media

"やっぱり好きなのはRuby/JRuby" by Tim Bray

 

[Summary] Tim Bray was interviewed by Japanese media. The article is here ( yes, it is written in Japanese ! )

(Translate to English)

マイコミジャーナルより。Tim 曰く、

コミュニティはテクノロジを評価する上で非常に重要なポイントだと考えている。RubyおよびRailsのコミュニティは非常に大きく、そしてフレンドリーだ。Rubyを始めようとしたときや、何かわからないことがあったときには、すぐに良いアドバイスをくれる

 
 

土曜日 12 08, 2007

@Ruby City Matsue : Java/JRuby for Shimane Univ. and OSS community


事後報告:松江での講義とセミナー・・JavaとJRuby とルビーの街!!

[Summary] I made a couple of presentation at Matsue which is the home town of Ruby where Matz lives. One was for students at Shimane Univ. with Java history and JRuby. Another was for Open Software Society Shimane. At the the third photo, you can recognize Matz was there. Look for Matz! :-)
(Translate to English)


事後報告となりますが、先週11/30は松江市にて2コマの講義/プレゼンを持ちました。

(1) 島根大学での講義

本人が詳細を知るより先にIT Pro に記事が出てしまったのですが、島根大学でのRuby講義シリーズの一コマを担当しました。お題はこれ:

第8回 11月30日(金) JRuby:JavaとRubyの融合 下道 高志

Shimane_Univ.jpg

Javaの紹介をするのなんて、ほんと、何年ぶりだろう、、と思いながら準備をしました。Java の歴史を再度調べているうちに面白いことを発見しました。まつもとさんがRubyの開発をはじめたのと、Javaの前身となったGreen Projectとはほぼ、同時期であったということ。また、Rubyがネット上で公開された時期とJavaが正式発表された時期も近い、、という事実です。 Javaは急速に広まったけど、Rubyは助走期間が長く、ここにきて急速に広まっている、、ということでしょうか。

一方で面白いarticleも見つけました。昔、読んだことがあったと思うのですが、今、読んでみるとなかなか新鮮というか感動も再度です。"Java Technology: The Early Years" ここには、Goslingと開発チームはもちろんのこと、Bill Joy や、Eric Schmidt なんかの名前もでてきます。Eric Schmidt は、今をときめくGoogleのCEOのわけですが、Java 誕生にも深くかかわってたなぁ、、、と再認識する次第。ここにはでてこないけど、Google に個人的に資金を出した第一号は、Andy Bechtolsheim でしたね。Sun の社員番号 No1. の彼が。

(2) 第18回オープンソースサロン@しまねOSS協議会

しまねOSS協議会では、毎月精力的にOSSに関する情報交換の場をもっています。私はJRuby に関して紹介させて頂きました。
松江市はまつもとさんの住んでいる地域。そうした場所でJRubyの紹介とは、いささが緊張します。が、昼間の大学での講義の内容に加えて何を紹介しようかなと思って、Charles Nutter にその旨を伝えたら、「なぬ?おぬし、Matz の本拠地に殴り込みにいくのか?」とのメールを送ってきただけでなく、大急ぎで、「JRuby はまもなくRuby1.9 をサポート」なるblog を書いたのでした。(このエントリ)
もちろん、紹介したのは言うまでもありません。

Matsue_Saloon.jpg

さて、参加者の雰囲気はこんな感じです。皆さん、熱心に聞いているだけでなく、質問も頂きましてありがとうございます。

さて、ここで下の写真。まつもとさんがいます。さて、どこにいるでしょう。"Matzを探せ!!"(笑)

Saloon2.jpg

(3)ルビーの街

松江市は、"Ruby City Matsue"として、大々的に売り出して(?)います。日本的ではありますが、地域情報化の事例として紹介されることも多々あります。先日は日経の地域情報化大賞も受賞して、その勢いは強まるばかり。

そうした中、松江市に強力なライバルが出現!!その名も「ルビーの街」。どこかはこちらをご覧下さい。プレゼンの最後にご紹介させていただきました。(笑)

月曜日 12 04, 2006

Ruby event@CTC


師走だけどRubyイベントもある!


[Summary] CTC will have an interesting event --- the theme is Ruby. An executive of CTC will give a speach about Rails from management's perspective and pure J2EE developers will attend the panel discussion.

(Translate to English)

いよいよ師走らしくなってきました。今週は弊社Chairman の来日があり、それでなくとも、様々なイベントが社内外であり、非常に忙しい一週間となりそうです。そんな中、Sun のパートナーであるCTCさんが、Rubyのイベントを12/7木曜日に開催するようです。

JRubyを最近の生活の糧(?)にしている私としては、見逃すわけにはいきません。JRuby on Rails も出てきつつある中、CTC 執行役員 鈴木誠治氏がRailsに経営の立場から言及したり、パネルではJ2EE使いがRubyについて語るなど、1.0の世界から2.0の世界の仲間に入りたい(?)と思っている人には、ドンピシャの内容かもしれません。おっと、次の日のSun Software Showcase もおわすれなく!!

水曜日 11 15, 2006

Interop Vendor Alliance



Interoperability AllianceにSunも参加


[Summary] Notice: Sun is a member of  Interop Vendor Alliance  which is led by Microsoft and other vendors.

(Translate to English)

Microsoftが中心となって結成した、 Interop Vendor Alliance にSunも参加しました。製品間の相互接続性を高めるため、様々な検証が行われると思います。Open Source 化したJava と .NET がどのようになっていくかが楽しみです。ユーザ企業を巻き込んでいるLiberty とは方向性が違いますね。Microsoftからのpress release はこちら


月曜日 11 13, 2006

Java is going along with community

Javaがいよいよオープンソース化、誰もが認めるやり方で


[Summary] As many of you may know, Sun is annoucing the open sourcing of Java Technology. Please tune in Live Webcast from here.

(Translate to English)

長い間、議論され、要望されてきたJavaのオープンソース化。いよいよです!!コミュニティの皆さんも納得していただけるでしょう。日本時間では真夜中となりますが、是非、下記のwebcast へ!!

JavaOpen
About

Takashi Shitamichi(下道高志)

Chief Technologist
GSE Japan, Sun Microsystems

Spokes Person/Secretary@SIG-Japan,Liberty Alliance
Chair of Edu-committee, ISACA Tokyo
CISA,CISM
中小企業診断士

Search

Archives
« 4月 2014
  
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
   
       
今日