機械学習 名古屋 分科会 #6に行ってきた。
前回の続きだ。

今回は、5章の誤差逆伝播法についてで、5章の後半の途中までやった。

前回は勾配降下法で、偏微分によって評価関数の最大値にニューラルネットを近づける繰り返し計算をしていたのだが、これは計算量が多い。
より効率的に計算をするための工夫として、誤差逆伝播法というのがある。
ニューラルネットの計算に限らず、計算は、その手順を「グラフ」というもので表すことができる。
y = ax + bは、aとxの積のグラフと、それに繋がるaxとbとの和のグラフを結合されたグラフとなる。
「グラフ」と呼ぶと逆に分かりにくいので、これはy=f(x)という関数だと考えるのがいいと思う。
そして、このグラフは逆から辿って逆計算をすることができる。逆関数とも考えられる。
グラフの右端に微少量を入れて逆計算すると、y=ax+bの偏微分を求めるのと同様の計算ができる。

この仕組みをニューラルネットに応用すると、行列の和や積も「グラフ」にして、逆計算で評価関数の偏微分ができるということになる。

今回は、その理屈の部分の演習で終わってしまって、実際にニューラルネットに応用することとまでは時間内では辿り着かなかった。

前回の反省で、今度はちゃんと参考書のサポートサイトのgithubからソースコード一式をダウンロードして、演習環境を整えておいたのだが、自分でソースコードを手打ちしないのとどうも頭に入ってこない感じがする。
大分、コードも高度になってきているので、Python自体の学習がまだちょっと不足している現状だと厳しくなってきた。