乗車日記

自転車ときのこ

ビッグデータの衝撃 読了

MapReduceの分散処理はスーパーコンピューターの並列計算と似たようなものだと思うが、巨大データの解析に特化しているのだろうか?これも巨大ファイルの扱いを可能にする分散ファイルシステムという環境があって始めて成り立つものだ。技術の本ではないのでその辺りの詳細をもう少し知りたくて、不満が残る。
 しかし、サンプリングに頼らずに量も種類も発生頻度も膨大なデータに対する解析やモデルのテストが高速にできるようになったとのこと。速度も大きく変われば、出来ることが質的に変化する。
 それから、実世界のいろいろなところからリアルタイムにデータが発信されるようになって、それを解析に回せるようになっているのも大きい。といってもそれを処理できる手段ができて始めて意味がある。
 これらが最近の世界の変化の原動力の一つになっているということが改めて実感できた。
 f:id:tasano-kona:20130424230822j:plain