参加したというか会場係でした。

3回目なのに知識がなさすぎなのでもう少し手を動かしときたいです。
あと一人で入場受付はさすがにキツイっすね。

なんかMySQLでビッグデータとか言ってる人いますがそれはおかしい、Hadoopでログ集計してるうちがビッグデータだ。

Fluentdはちょっと身近なとこのオレオレシステムを置き換えるのに使ってみたいです。

Cygames運営の「神撃のバハムート」英語版がGoogle Playの売上ランキングで米国1位を獲得～グローバル版「Mobage」向けカードバトルゲームが欧米でも高評価～
http://dena.jp/press/2012/04/cygamesgoogle-play1mobage.php

Dena brings north american mobage hit rage of bahamut to ios
http://www.insidemobileapps.com/2012/05/16/dena-brings-north-american-mobage-hit-rage-of-bahamut-to-ios/

モバゲーの『神撃のバハムート』というゲームのキャラが可愛くて抜いた
http://blog.livedoor.jp/insidears/archives/52505139.html

モゲマスじゃないんだけど、その前にモゲマス作ってるCygames社が出して2chでもちょっと話題になってた「神撃のバハムート」がアメリカで売れまくってるっていう話。

あまり日本(というか自分のTL)では話題になってなかったので。

どうでもいいけど「ゴンプガチャ」とかいう名前でAndroidアプリで個人情報掻っ攫うアプリ書いたらサクサク取れそう。やっちゃだめよ。

個人的にでかい仕事が降ってきた。それと同時に自分の能力に不安を感じてきた。
これまで幸いにもいろんな面白い体験をしてきたけども、だいたいそういう時に舞い上がって失敗してる。

なんで今回は自分を過大に見ずに、できることをこつこつとやっていこうと思う。
基本は小さい繰り返しからどんどん大きくしていく感じで。

でも消化不良は起こしたくないので、やれるだけはやる

二泊三日で小樽ー富良野ー旭川ー帯広と行ってきた。
前回北海道に来たときは車で移動してたので、今回は鉄道で移動。北海道は結構フリーきっぷがあるので便利。ただ、鉄道は都市間の移動はいいけど、駅から離れたとことかちょっと外れた地方になると途端に行きづらくなる。その代わり酒は飲めるので悩みどころ。

小樽は三回目だけど、相変わらずいいところ。夏の間は一ヶ月家借りて、そこから遠隔で業務を行いたい。

なんかgoogleで検索しても出てこないので紹介しておきます。

HueっていうのはHadoopの幾つかの操作(Hiveクエリ打ち込んだり、HDFS見たり、JOB操作したり)をまとめて提供するフロントエンドソフトウェアです。Version 1ではWebサイトのなかにデスクトップシステムを構築してて結構重かったんですが(参考)、Version2ではTwitter Bootstrapを使った単純なWebページ形式になっています。

まだβでいくつか不具合も見られるし、対応が現行のCDH3ではなく、CDH4になっていて、Hadoop自体も0.23系じゃないとダメといった辺りもあります。今後に期待したいところです。

非常にしょうもないエントリなんですが、NHKとかでどっかの教授(兼どっかの取締役)が非常に誤解を招くようなことを言ってたらしいので書いときます。

まずそもそも「ビッグデータ」って単語ですが、でかいデータを扱ってる技術者から見ても何を指してるのかあやふやです。この単語連発してるのはコンサルでスーツな方が多いんじゃないでしょうか。

ビッグデータを敢えて定義するなら、「マシン1台〜数台で処理しようとすると無茶苦茶時間かかって使えないくらいのデータ」でしょうか。

ちなみにビッグデータだとHadoopが有名ですが、Hadoop＝ビッグデータでも無いと思います。Hadoop(のコアに当たるmap-reduce)は大量のデータを小刻みに分割して何千台ものマシンに送り込んで結果をまとめる、分散処理ソフトです。別の処理ソフトで大量のデータ扱えるならそのソフトもビッグデータ用のソフトといえるでしょう。(jubatasあたりもですかね)

ビッグデータの使い道だとてっとり早く思い浮かばれるのが「データマイニング」とかがあります。これも定義がぶれてる感じがありますが、主に「大量のデータから”潜在する”データを見つける」のがデータマイニングだと思っています。例えば購買情報であれば、「ビールを買っている人は、ビールを買ってない人に比べておむつを買う”確率が高い”」とかでしょうか。この分析をするのに、「何人が買ったか」という情報は要りますが、「誰が買ったか」という情報は必要ありません。もしかしたら人によっては「過去のAさんの購買履歴から、Aさんにダイレクトメールを送る」なのをデータマイニングと呼ぶかもしれません。ここでも重要なのはAさんが誰かってよりも、何を買ったかが重要なのですが・・データマイニング自体はビッグデータじゃなくても、Excelとかに乗るサイズでも可能です。マイニング用のツールとかも出てます。

一方ビッグデータには他の使い方もあります。例えばコンビニの売上情報の集計とかでしょうか。一箇所の売上の集計ならばデータも少なく比較的楽ですが、全国の店舗のデータを一箇所に集めてすぐ合計を出そうとするとデータが多く大変なことになります。こういった問題もビッグデータの一つじゃないでしょうか。

なので、

• ビッグデータの利用の一つにデータマイニングがある
• データマイニングの時に個人情報を扱う場合もある

のであって、ビッグデータに携わってる人々が全て個人情報利用するわけじゃないです。

これで特定日のイベントの検索とかできます。
意外と手がかからなかった。

そろそろ研修も終わって配属されるとこもあるんでしょうか。うちんとこはまだですが。
ちょっと自分がLinux(別にUnixでも通用しそうですが)使っててこれは知らないと損だよなーってのを幾つかまとめがてら紹介しておきます。

bashのショートカット
無改造でもこんなことができます。.bashrcを弄れないとこで使える。
ctrl + aで文頭 ctrl + eで文末に飛ぶ。

上下キーで過去に実行したコマンドを表示。
単語を途中まで入れてTabで単語補完。

ctrl + r -> 数文字入力で、過去に実行したコマンドで入力した文字にヒットするコマンドを表示
例：ctrl+r -> sudo ap : sudo apt-get install nagios3が表示

便利なツール

screen / byobu / tmux : 一つのターミナル上で複数の画面を切り替えられるツール。一旦他のマシンから接続が切れても、screen -rとかで復活できる。

sudo : root権限なるとき、一旦suでrootになって、そのまま離席してると間違っていたずらされると困るし、一時的に別のユーザ権限になるsudoを使いましょう。Ubuntuは最初からなってるけど、他のでも設定すればいける。まあ管理者によってはsudoの影響範囲的に使ってほしくない人もいそうだけど。。。

tail -n 30 /path/to/log : ファイルのおしり30行を表示します。30を別の数値に変えれば行数が変わります。

tail -f /path/to/log : こちらは更新されたファイルを逐次表示していく。ログを監視するのに便利。

top : 現在プロセスの消費CPU,メモリなどの情報を表示します。vmstatとかsarとかも。

ping <ip>: 該当するIPとネットワークがつながってるかの確認に使う。ただしたまにpingを弾くものもあるので、pingが届かないからといって繋がらないとは限らない。

ps : プロセスの一覧を表示。ps aux(全員表示、OSによりaxだったり?)とかよくやる。

kill -9 <プロセスID> : 落とせなくなったプロセスを無理やり落とします。

ssh : というか未だにtelnetでおおっぴらに通信してるやつは(特別な事情がない限り)殴ったほうがいいと思う。
ポートフォワーディングとか公開鍵認証使うと便利。

sudo rm -rf / : 仕事がイヤンなったら実行しましょう。あとは野となれ山となれ。(/以下全部消えます。辞表だすくらいのことが無い限りやめましょう)

時間が過ぎて、人が変わっていくのが寂しく感じる。その割には会社にいる時間は長く感じる気がするが。でも人もだけど、世の中のものは常に変化していく。変わりゆく時間の中で自分は何をすべきなのか。何もしなくていいのかもしれないが。