コンピュータやソフトウェアのあれこれ＠道民（＆元道民）
Hadoop
Hadoop合宿（三日目）
11月 2nd
いよいよ最終日
前日まででだいぶ形がつかめてきたからか、個人的には一番スムーズに頭に入ってきた。
ディスカッションもできるようになってきた。
終わったときに
「ああ、もう少ししっかりやりたい」
と思ったのでありました。
学習内容（三日目）
- 7章 MapReduceの型とフォーマット
- 8章 MapReduceの機能
前日の続き。混乱のまま終わったInputのフォーマットの復習とOutputフォーマットについて
→睡眠って大事だ、一晩寝たら頭が整理されていた。
今まで出てきていない機能いろいろ
→サラッと書いてあったけどここを使いこなすことが大事になりそうだ。
概要編完了、という感じ。
3日間でここまで読み進められたのは、みんなでやったからだと思う。
生活内容（三日目）
今日も朝は散歩から。昨日よりも天気が良かった。
朝ごはんの後、最後の読み合わせ。
片付けをして、合宿所をあとに。お疲れ様でした！！！
帰路。羊蹄山がとても良く見えた！
ここまでみっちり勉強することも最近なかったので、脳はとっても疲れました。
でも、楽しかった！！（きつかったけど）
こうやって集まって勉強するの、またやりたいです。
最後に、こんな機会を作ってくれた会社に感謝。
ありがとうございました。
Hadoop合宿（二日目）
11月 2nd
一日Hadoop漬け
メインとなる二日目。
朝8時から本を読み始め、休憩を挟み23時までびっちり。
ハードでした。
温泉が癒しです。
学習内容（二日目）
- 4章 HadoopのI/O
- 5章 MapReduceアプリケーションの開発
- 6章 MapReduceの動作
- 7章 MapReduceの型とフォーマット
Hadoopで使っているI/Oの概要
→「ふーん」で終わる、しかしこれがあとから必要になってくる知識だった。
むしろ後にならないと理解出来ない。
ソースコードを読みながら。
→動かしたかったのだけど、変なバグに引っかかり時間を食ってしまったため断念。惜しかったんだけど。
2章の仕組みをさらに深く
→やっとこのあたりでもやもやしていたものが見えてきた。
見えてきた結果、わからないところが分かってきた感じ。
4章の知識を前提条件として、実際にどうI/Oしているのか
→そうか、そうか！という気づきがやっと出てきた感じ。
やっと形が見えてきた・・・かも、という段階。
生活内容（二日目）
朝にちょっと散歩。
あとはひたすら本を読む。
昼ごはんは特製カレーとサラダ。
夕方に机が届いた。一気に手元が明るくなり、作業効率が上がる。
温泉は五色温泉。すごくあったまる。夜も足元がホカホカしていた。
晩ごはんは特製カレーと残り物アレンジ。
夜の部はかなり辛くなってきて、夜食にたい焼きを食べたのだけど
その記憶すら曖昧…
頭がぐるんぐるんして寝つけませんでした。
しかし、戦いはまだ終わらない！！
Hadoop合宿（一日目）
11月 2nd
Hadoop合宿
2010年10月27日～29日、弊社保養所（山の中）にて、
・オライリーの書籍「Hadoop」の内容を可能な限り理解する
ことを目的とした強化合宿（別名：山篭り）をしてきました。
一人じゃ絶対に挫折しそうな内容だったので、
合宿はとてもよかったです。
こんなに脳みそを使ったのはいつぶりだろう…というほどフル稼働でありました。
@shuji_w6eさんと@niku_nameさんの意外な一面も発見しました。
Hadoopについてはざっくりまとめてみたのがここにあります（ざっくりしすぎ
https://docs.google.com/present/edit?id=0AVPnzAOeEbCNZGc1ZGJieDZfMTYyZHY4MmI3YzU&hl=ja&authkey=CIrThIwJ
学習内容（一日目）
エクストリームリーディング形式で進めていきました。
章ごとにリード担当を決め、その人の指示で
決められた範囲を10分程度で各自読んだ後、内容を整理して話し合っていきました。
勘違いしていたところやわからないことをその場で解決できるのが良かった。
否が応でも集中力が高まるし。
- 1章 Hadoop事始め
- 2章 MapReduce
- 3章 Hadoop分散ファイルシステム
どうしてHadoopのような仕組みが必要になったのか、他と何が違うか
→Hadoopは架空の象の名前。
Hadoopの根幹であるMapReduceの仕組みと動きの概要
→MapタスクとReduceタスクによる処理分担。
Hadoopを実行させるのに必要となる分散ファイルシステムHDFSの仕組み
→大量データを分散して効率よく処理するための考え方。ネームノードが大事。
予習しているとはいえ、なかなかハード。
生活内容（一日目）
前日10/26に、札幌では初雪。しょっぱなからブイブイ積雪しました。
紅葉と積雪を一緒に楽しめてなかなか良い景色だったのですが、
中山峠はこんな感じに。
合宿所に着いたら、まあこうなっているわけで。
まずは部屋を温めて、勉強開始。
温泉は昆布温泉、別名「美人湯」でした。
夜はすき焼き！
キリのいいところまでということで、23時くらいまで本を読み進めて就寝。
戦いはまだ始まったばかりだ！