パスポートがそろそろ切れるので、昨日、京都駅の8階に行って新しいのをもらってきました。
大階段でみた蛾。
ついでにヨドバシカメラに行って新しく出たiPadPro10.5インチを触ってみようと思ったのですが、まだ入荷されていないということでした。がっかりして昼間からビール。
ビックカメラに行ってもやはり無し。
7階に戻って駅の美術館で暁斎を見ました。鴉の絵を見て、くちばしと目を除けばほとんど文鳥と同じだなと思いました。
帰りに紅茶と水茄子を買って帰宅。水茄子は刺身にしていただきました。美味。
今日は仕事から帰って、昨日読んだニューラルネットの学習テクニックを実装。初期重みと最適化法によって学習速度が随分と違うことが実感できました。一番良かったのはアダプティブ降下と運動量法を組み合わせたAdamというやつで、Heの初期化（前層のノード数の平方根分の√2の分散をもつガウス分布で重みを初期化）をしたもの。
たまたまかもしれませんが、100画像の学習を200回やるだけで、昨日は読めなかった「5」の読みにくいやつが読めるようになりました。
