ある研究室には手書き文字の画像が10万枚あるが、正解ラベルが付いているのは1,000枚だけである。この画像を分類する深いネットワークを、積層オートエンコーダを用いて学習する手順として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：積層オートエンコーダの学習手順
ポイント
積層オートエンコーダは、ラベルなしデータで1層ずつ事前学習してから、ラベル付きデータで全体をファインチューニングします。
選択肢ごとの解説
- A
適切 正解
積層オートエンコーダでは、正解ラベルのいらない事前学習を層ごとに行い、よい重みの初期値を作ります。そのうえで出力層を加え、少ないラベル付きデータでネットワーク全体をファインチューニングします。
- B
不適切
事前学習は入力に近い層から順に進めます。前の層の出力が次の層の入力になるためです。また、事前学習は入力の復元を学ぶだけなので正解ラベルが不要で、大量のラベルなし画像を使えることが利点です。
- C
不適切
オートエンコーダは入力を復元するように学習するだけで、どの画像がどの文字かは教わりません。分類器にするには、出力層を加えてラベル付きデータで学習する段階が必要です。
- D
不適切
事前学習で各層が目指すのは、正解ラベルではなく、その層への入力の復元です。ラベルを使うのは最後のファインチューニングの段階で、この選択肢では役割が逆になっています。
補足
積層オートエンコーダによる事前学習は、勾配消失などで深いネットワークの学習が難しかった時期に、よい初期値を与える方法として使われました。現在はReLU関数や重みの初期化の工夫、正規化層などで深いネットワークを直接学習できるため、この目的ではあまり使われません。ただし、大量のラベルなしデータで先に学習し、少ないラベル付きデータで仕上げるという考え方は、現在の事前学習済みモデルにも受け継がれています。
試験での狙われ方
事前学習とファインチューニングの順番や、それぞれの段階で正解ラベルが必要かどうかを入れ替えて問う形が典型です。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目24 オートエンコーダ）
- Pascal Vincent, Hugo Larochelle, Isabelle Lajoie, Yoshua Bengio, Pierre-Antoine Manzagol, Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion, JMLR 11, 3371–3408 (2010)
- Yoshua Bengio, Pascal Lamblin, Dan Popovici, Hugo Larochelle, Greedy Layer-Wise Training of Deep Networks, NIPS 19 (2006)