CNNの発展に関して簡単にまとめた
TL;DR
- CNNの発展に関して軽くまとめてその内容を発表した
ちょっとコメント
CNNの発展をNeocognitronから始めて、独断と偏見で重要な発展を促したモデルをピックアップしてそのポイントを解説した。 某所での発表用に作った資料なので、こうして見るとまあ説明不足感は否めないが、最近全然ブログ書いてなかったのでこれを載せておく。 自分でいくつか読んでみると、convolution は と 、pooling、ReLU、辺りが基本的なbuilding blockでありそれらを枝分かれさせたりうまく組み合わせることで各種モデルが作られていることがよく理解できる。 戯れに複素ニューラルネットワークの論文もちょっと読んで見てが、少なくともCNNに関しては現時点では大した利点はないように思われる。
こういう話を他の人としてみて、意外とみんなconvolutionの具体的な演算とか追ってないのではないかという疑問が出てきた。 例えばチャネル数が変わる部分がどうやって演算がなされているのか数式で表現できないとか。 CNNやったことありますと言ってその最も基本的なconvolutionの理解ができていないのは茶番でしかないと思うけど、そう思う人は多数派ではないらしい。