2012年のILSVRCで優勝したAlexNetで用いられた工夫として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：AlexNetの学習の工夫
ポイント
AlexNetはReLU関数、ドロップアウト、データ拡張、GPUによる学習などを組み合わせ、深いCNNを大規模データで実用的に学習させました。
選択肢ごとの解説
- A
適切 正解
ReLU関数は正の入力に対して勾配が1のままで、tanh関数のように出力が頭打ちになりません。AlexNetの論文では、tanh関数を使う場合より数倍速く学習が進むことが示されました。
- B
不適切
バッチ正規化が提案されたのは2015年で、AlexNetより後です。AlexNetでは、近くのチャネルの出力どうしで値を正規化する局所応答正規化（LRN）を使っていました。
- C
不適切
入力を足し合わせるスキップ結合で深いネットワークを実現したのは、2015年のResNetです。AlexNetは畳み込み層5層と全結合層3層からなる8層の構造でした。
- D
不適切
AlexNetは最後に3層の全結合層をもち、パラメータの大部分がそこに集中していました。全結合層の代わりにGlobal Average Poolingを使う設計は、Network In NetworkやGoogLeNetで取り入れられました。
試験での狙われ方
AlexNetの工夫は、後に登場したバッチ正規化やスキップ結合と混同させる形で問われやすい論点です。年代の順序と合わせて整理しておくと区別しやすくなります。