凸な損失関数と最適解

解説

正解 B

この問題の論点：凸な損失関数と最適解

選択肢ごとの解説

1. A

   不適切

   多層のニューラルネットワークの損失関数は、一般に凸関数ではありません（非凸）。多数の局所最適解や鞍点をもちうるため、勾配降下法で見つけた解が大域最適解である保証はありません。

2. B

   適切 正解

   凸関数は、グラフ上の2点を結ぶ線分がグラフと同じかそれより上にある関数です。局所的に最小の点があれば、それが全体でも最小になります。線形回帰の二乗誤差は、重みについて凸関数です。

3. C

   不適切

   学習率を小さくすると、重みは初期値から坂を下った先にある最寄りのくぼみに、そのまま収まりやすくなります。小さな学習率は大域最適解への到達を保証せず、局所最適解から抜け出しにくくする面もあります。

4. D

   不適切

   大域最適解は、訓練データに対する損失を最小にする点にすぎません。訓練データに合わせすぎた結果、過学習で汎化性能が下がることもあります。最適化と汎化は別の問題です。