1行定義
AlexNetとは、2012年のILSVRCで従来の手法に大差をつけて優勝した、畳み込み層5層と全結合層3層からなるCNNのことです。
くわしく
AlexNetは、2012年の画像認識コンテストILSVRCで優勝したCNNです。トロント大学のヒントンの研究室で、アレックス・クリジェフスキーらが開発しました。名前は第1著者の名前に由来します。5つの候補の中に正解が含まれない割合（top-5誤り率）は約15%で、2位のチームの約26%を大きく下回りました。この差が、ディープラーニングが注目を集める大きなきっかけになりました。
構造
畳み込み層5層と全結合層3層を重ね、最後にソフトマックス関数で1,000クラスの確率を出力します。パラメータ数は約6,000万です。基本の形は、1998年のLeNetと同じく「畳み込みとプーリングを重ね、最後に全結合層で分類する」CNNです。違いは規模にあり、より大きな画像と多くのクラスを、大量のデータで学習しました。
勝因となった工夫
- ReLU関数：シグモイド関数やtanh関数のように出力が飽和しないため、学習が速く進みます。
- ドロップアウト：学習中に全結合層の一部のユニットをランダムに無効にし、過学習を抑えます。
- データ拡張：画像の切り出しや左右反転などで、学習データの種類を増やします。
- GPUによる学習：2つのGPUに計算を分け、大きなネットワークを現実的な時間で学習しました。
このほか、局所応答正規化（LRN）や、範囲が重なり合うプーリングも使われました。
その後のモデルとの関係
AlexNetの後、ILSVRCではCNNの層を深くする工夫が続きました。2014年には、3×3の小さなフィルタを重ねたVGGや、Inceptionモジュールを持つGoogLeNetが登場しました。2015年には、スキップ結合で100層を超える深さを実現したResNetが優勝しています。
覚え方
「AlexNetは、ReLU・ドロップアウト・GPUで2012年に勝った8層」と覚えます。
G検定での出題
出題のされ方
2012年のILSVRCでの優勝がディープラーニングが注目されるきっかけになった経緯と、ReLU関数・ドロップアウト・データ拡張・GPUによる学習などの工夫が問われます。LeNetやVGG、ResNetとの年代や構造の違いも問われます。
混同しやすい用語
◯×チェック
次の文が正しいか、誤りかを選んでください。
-
AlexNetは、畳み込み層5層と全結合層3層を中心とした構成で、重みを持つ層は合計8層である。
答えを見る
答え ◯ 正しい
現在のモデルと比べると浅い構成ですが、パラメータ数は約6,000万で、当時としては大規模なCNNでした。
-
AlexNetは、大きさの異なるフィルタを並列に使うInceptionモジュールを導入したモデルである。
答えを見る
答え × 誤り
Inceptionモジュールは、2014年のILSVRCで優勝したGoogLeNetの特徴です。
-
AlexNetの優勝以降、ILSVRCの画像分類部門の上位は、CNNを使ったモデルが占めるようになった。
答えを見る
答え ◯ 正しい
2014年のGoogLeNetやVGG、2015年のResNetなど、CNNの層を深くする工夫を競う流れが続きました。
この用語の練習問題
出典
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目26 画像認識）
- Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, ImageNet Classification with Deep Convolutional Neural Networks, Advances in Neural Information Processing Systems 25 (NIPS 2012)
- Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, ImageNet Classification with Deep Convolutional Neural Networks, Communications of the ACM 60(6) (2017)
- Olga Russakovsky et al., ImageNet Large Scale Visual Recognition Challenge, International Journal of Computer Vision 115(3) (2015)