隠れ層を持つニューラルネットワークの表現力と、層を深くすることの意味に関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：万能近似定理と深さの意義
ポイント
万能近似定理は近似できる重みが存在することを示すだけで、学習で見つかることは保証しません。深くすると少ないユニットで表せる場合があります。
選択肢ごとの解説
- A
適切
これは万能近似定理と呼ばれ、1989年にサイベンコやホーニクらが示しました。隠れ層が1層あり、ユニット数が十分なら、表現力の面では足りることを意味します。
- B
適切
隠れ層1層で近似できても、必要なユニット数は膨大になりえます。ReLU関数のような区分線形の関数を使うネットワークでは、入力空間を分ける線形な領域の数が、深さに対して指数的に増えうることが示されています。
- C
適切
表現できる関数の幅は、ユニット数や層数で決まります。少なすぎると訓練データの傾向すら捉えきれず、訓練誤差も十分に下がりません。これは未学習と呼ばれ、過学習とは逆の状態です。
- D
不適切 正解
万能近似定理が保証するのは、近似できる重みが存在することだけです。勾配降下法がその重みを見つけられるとは限らず、見つかっても過学習で未知のデータに合わないことがあります。
試験での狙われ方
「表現できること」と「学習で得られること」を区別させる形や、浅く幅の広いネットワークと深いネットワークを比べる形が考えられます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目11 ニューラルネットワークとディープラーニング）
- Cybenko, Approximation by superpositions of a sigmoidal function (1989)
- Hornik, Stinchcombe, White, Multilayer feedforward networks are universal approximators (1989)
- Montúfar, Pascanu, Cho, Bengio, On the Number of Linear Regions of Deep Neural Networks (2014)
- Goodfellow, Bengio, Courville, Deep Learning (2016) （6.4.1 Universal Approximation Properties and Depth）