乗車日記

自転車ときのこ

深層学習 読了

満州事変関連ばかり読んでいてもなんなので、最近話題の深層学習について読んで見た。

ニューラルネットワークの自己符号化による内部表現の事前学習をやっておくことが、実際のタスク学習を非常に効率化すると言うのが大変面白い。翻って見ると、人間も脳内で記号表現できないものについては、高度な操作はできない。

教師なし学習については、この本のおかげでようやくイメージが掴めてかなり頭の中がすっきりした。後半の音声認識自然言語処理のパートは既存技術の復習も含めて短いスペースで記述されているので、門外漢には中々理解が難しい。

自分が最初にニューラルネットワークや誤差逆伝搬方について知った20年ほど前と比べて劇的に新しい理論ができたという訳でもなさそうで、インターネットの発達で大量の学習情報が入手できるようになったことや、計算機の能力が向上したことの方が今のブームを支えているようだ。

ただ、ニューラルネットワークの確率版のボルツマンマシンは物性物理で言うイジングモデルと同じであり(この本を読んで知りました)、これが高速に解けるD-Waveやコヒーレントイジングマシンなどの量子コンピュータが大規模化してくると、世界は劇的に変わって来るかも知れないと思った。

f:id:tasano-kona:20151127011210j:image