水曜日 12 17, 2008

OpenSSO consulting/support services in Japan

日本でのOpenSSO関連サービス

[summary] As Pat blogged,  NRI has started consulting/support services. Welcome, NRI!  In addition, I have to introduce Sun PS Japan has already started consulting services for OpenSSO and identity related solutions.

(Translate to English)

既に佐藤さんのblog 、さらには今朝はPat のblogでも紹介された「NRIさんがOpenSSOのコンサルティング/サポートサービスを始めた」旨、OpenSSOコミュニティには、歓迎されているようです。今まで個別しかも秘密裏に行われてきたと思われるOpenSSOもOpenIDの勢いをもってして、広く認知されるのでは、と期待されます。

花木さんも書いているように

ブラウザの言語設定が ja になっている場合、OpenSSO トップページにアクセスすると、自動的に 日本語のトップページ にリダイレクトされる

なので、日本の皆さんの益々の参加を期待します。

さて、「NRIさんはわかったけど、作ったPat本人が所属するSun は日本ではなにもやらないのか?」と言われそうです。いえ、もう既に始めています。Sun PS Japan の大橋さんのグループで進めています。ここは、Identity のみならず、SOAやJavaのGeek もいますので、 是非、声をかけてください!


月曜日 11 24, 2008

Hadoop with 38 nodes

38ノードでHadoop を評価

[summary] Prior to my hard work for CEC2008, I worked for Hadoop with bunch of nodes. This time, I configured 36 DataNodes + 2 NameNodes and succeeded benchmarking testing.

(Translate to English)

11月上旬に開催されたCEC2008の準備のために9・10月は非常に忙しかったのですが、そうした中、複数の顧客の要望で、HadoopをSunのサーバを使って評価することとなりました。

  • 最新の0.18.1を使用
  • 36 DataNode + 2 NameNode の計38台を最大として構成(仮想環境上のノードも含む)
  • テキスト・データを500MB 〜 数十GBまで順次に利用
  • LocalファイルがHDFSに分散される経過を6 〜36 DataNodeで検証
  • replication の数による動作の変化を検証
  • 耐障害性検証を目的とした、DataNode ならびにNameNodeを止めて処理継続性をテスト
  • Map/Reduce のスケーラビリティ検証

上記の中でも、多くの方が興味を持つのは、「Map/Reduce のスケーラビリティ」でしょう。これは6 〜36 DataNodeで順次検証しました。いろいろなDemoプログラムや自作のものを試してみましたが、結局、wordcountでスケーラビリティを検証することとなりました。「Solaris でMap/Reduceを38台で稼働させている」証拠のスクリーンショットが下図です。


このタイミングでは、Map が18%まで進行していますが、各ノード共処理が正常に行われていることがおわかりいただけると思います。ここではSolaris上での稼働状況を可視するためにperfbar(日本語紹介はこちら)を使っています。上の3列のグラフがDataNodeで、下2つがNameNodeです。DataNode上ではperfbar の緑色が示す通り、アプリケーションが「よくまわっている」状態です。もし赤が多いと、I/O等のシステム側のオーバヘッドが多いことになりますがそれもなく、非常に上手くいっているようです。

さて、DataNodeを6〜36と増やしていった時のパフォーマンスの変化をグラフにしたのが下図です。


上図を見るとほぼ 6 nodeから21 node まではリニアに伸びていっているのがわかります。しかしながら、それ以降は横ばいもしくは伸びが鈍化しています。これは以下の理由によると思われます。

  • 一部仮想環境があるために、ボトルネックが発生した
  • DataNodeの数に比べてデータの大きさが十分でないために、データをHDFS空間へコピーする際に的確な分散がされてなく、Mapプロセスによる処理が均質化されていない
前述したエントリでも書きましたように、Hadoop は小規模で動かすことはそれほど難しくありません。しかしながら、ある程度の規模を超えると、構成やチューニングポイント等、考えなければならない箇所が数多く出てきて、大規模な構成で構築するには、中規模構成での検証の経験等ある程度のknow-howは必須だと感じました。

火曜日 5 06, 2008

Matz and Ruby Community in Bay Area

Matz and Ruby community traveled for Bay Area last Feb

[Summary] Sorry for delayed report:  Matz and Ruby Community came to Bay Area and had some interesting visits, meetings, TechTalks, etc. During golden week ( Japan's long vacation period from end of April to begin of May), I cleaned my room and PCs, and I found interesting photos. :-)

(Translate to English)

2月下旬、"Matz"こと"まつもと"さんや松江市を中心としたRuby community の皆さんが、西海岸を訪問。昨年に引き続き、Sunの本社にも寄っていただきました。既に"Matzにっき:2/19"にて本人が書いていますが、XMLのパパ、JRuby 兄弟らと共に話の場を持ちました。まつもとさんには、翌日のTechTalk@Google の予行演習を兼ねて(?)、Debianの創始者やSunのエンジニアの前で話をしていただきました。

 連休中、部屋やPCの整理をしていたら、写真がでてきましたので、公開しちゃいます。

 

matz and Jruby
 (Matzのトークに聞き入るJRuby 兄弟(それと私も:-)) )

 

 

(Ruby Communityのみなさん。後方にはSunのエンジニアとともに、Debianの創始者も!!)

 

月曜日 5 05, 2008

@RSA Conference Japan 2008

RSA Conference Japan 2008にて

[Summary] I had a session of "Identity technology trends" at RSA Conference Japan 2008. I did not so expected the number of attendees but ...... a lot of both security guys and Web2.0 guys came to my session. Thanks!!


(Translate to English)

10日以上前のことですが、RSA Conference Japan 2008 にて、久しぶりに(何年ぶり?)セッションを持たせていただきました。お題は「アイデンティティ/アクセス管理技術の動向と標準化」でした。RSA Conference には、例年スーツ姿が多いのですが、事前予告では、Web2.0関連技術にも及ぶ、、等としたためか、明らかにOpenID目的とも思われる方々も来て頂き、会場は予想以上の入りとなりました。ありがとうございました。ちなみに紹介した技術/キーワードはこんな感じ

反省として・・・・リハーサルでは準備万端だったんですが、本番では、デモ失敗・・なんと、イーサー・ケーブルを差し忘れてしまい、5分ぐらいロス(しーん、、とした会場の空気が・・)。それ故、時間配分大失敗で、最後は飛ばしてしまいました。申しわけありませんでした。。

Concordia 

 

About

Takashi Shitamichi(下道高志)

Chief Technologist
GSE Japan, Sun Microsystems

Spokes Person/Secretary@SIG-Japan,Liberty Alliance
Chair of Edu-committee, ISACA Tokyo
CISA,CISM
中小企業診断士

Search

Archives
« 4月 2014
  
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
   
       
今日