G検定 ディープラーニングの概要 一問一答（167問）

◯ 正しい 同時に進められる処理の流れは数十程度です。GPUは逆に、演算そのものに多くのトランジスタを割き、数千の処理を同時に進めます。 CPU

◯ 正しい Google Cloudの資料も、柔軟さが求められる試作や、学習に時間のかからない単純なモデル、小規模でバッチサイズの小さいモデルなどをCPU向きの例に挙げています。 CPU

× 誤り 推論はCPUでも実行できます。初代TPUの論文では、応答時間の制約がある推論で、当時のGPUは同時期のCPUよりわずかに速い程度だったと報告されています。 CPU

◯ 正しい General-Purpose computing on GPUの略です。NVIDIAが2006年に発表したCUDAなどの仕組みにより、科学技術計算やディープラーニングにGPUを使えるようになりました。 GPU

× 誤り 1つの処理を順番にこなす速さでは、GPUはCPUに劣ります。その代わりに数千もの処理を同時に進め、全体の処理量を大きくしています。並列に分けられる計算で強みが出ます。 GPU

◯ 正しい たとえば2009年には、GPUで深いモデルの教師なし学習を大幅に速める研究が発表されています。AlexNetは、GPUの活用を広く知らしめた例です。 GPU

◯ 正しい 全結合層を重ねた構造です。画像の局所的な特徴を扱うCNNは、結合を近くの範囲に限る点が異なります。 多層パーセプトロン

× 誤り 多層パーセプトロンは、入力から出力へ一方向に流れる順伝播型です。出力を次の時刻に戻すループをもつのはRNNです。 多層パーセプトロン

◯ 正しい 1989年に示された万能近似定理（普遍性定理）の内容です。ただし、必要なユニット数が非常に多くなる場合があります。 多層パーセプトロン

◯ 正しい 隠れ層がないと、各出力ユニットはそれぞれ入力から直接1本の直線（超平面）を引くだけです。出力を増やしても、線形分離できない問題を解く力は増えません。 単純パーセプトロン

× 誤り 隠れ層がないので、出力の誤りから直接重みを直すパーセプトロンの学習則で学習できます。誤差逆伝播法は、隠れ層をもつ多層のネットワークを学習するための方法です。 単純パーセプトロン

× 誤り 1969年の著書『Perceptrons』の中心は、パーセプトロンの限界の分析です。多層のネットワークを誤差逆伝播法で学習できることを示して広めたのは、1986年のラメルハートらの論文です。 単純パーセプトロン

◯ 正しい 論文では、2015年からデータセンターで推論に使われ、同時期のCPUやGPUより平均で15〜30倍ほど速いと報告されました。学習にも使えるようになったのは、2017年に発表された第2世代からです。 TPU

× 誤り ニューラルネットワークは計算の精度を多少下げても結果がほとんど変わりません。TPUはこの性質を生かし、精度を下げて多くの計算をこなす設計です。Google Cloudの資料でも、高い精度の計算を要する処理は向かないとされています。 TPU

◯ 正しい TPUはTensor Processing Unitの略です。テンソルは、スカラー・ベクトル・行列を一般化した多次元の配列のことです。 TPU

× 誤り 起源は1943年の形式ニューロンや1958年のパーセプトロンにさかのぼります。2010年代に大きく広まったのは、層を深くしたディープラーニングです。 ニューラルネットワーク

◯ 正しい 単純パーセプトロンが線形分離できない問題を解けないことなどが示されました。研究が再び盛んになるのは、1980年代に誤差逆伝播法が広まってからです。 ニューラルネットワーク

× 誤り CNNは画像、RNNは時系列データの扱いに合わせて構造を工夫したニューラルネットワークです。どちらも誤差逆伝播法で重みを学習します。 ニューラルネットワーク

× 誤り 隠れ層では学習のしやすさからReLU関数などを使い、出力層では回帰なら恒等関数、多クラス分類ならソフトマックス関数のように、答えの形に合わせて別の関数を選びます。 活性化関数

◯ 正しい 連鎖律により、出力層から入力層へ勾配を伝える途中で、各層の活性化関数の微分が掛け合わされます。微分が0に近い値ばかりだと、勾配消失問題が起きます。 活性化関数

× 誤り 畳み込み層でも、フィルタで計算した値にバイアスを加え、ReLU関数などの活性化関数に通してから次の層へ渡すのが一般的です。 活性化関数

◯ 正しい 勾配は出力層から入力層へ、各層の微分を掛け合わせながら伝わります。そのため入力層に近いほど小さくなります。 勾配消失問題

× 誤り 層が増えるほど掛け合わせる回数が増え、勾配は小さくなりやすくなります。深いネットワークほど起きやすい問題です。 勾配消失問題

◯ 正しい 時間方向に展開したRNNは、深いネットワークと同じ構造になるためです。LSTMやGRUのゲート機構はこの対策です。 勾配消失問題

◯ 正しい 1 / (1 + e^0) = 1 / 2です。グラフは点(0, 0.5)を中心に点対称なS字になります。 シグモイド関数

× 誤り 出力は1に近づくだけで、1を超えません。出力に上限がないのはReLU関数です。 シグモイド関数

◯ 正しい 入力ゲート・忘却ゲート・出力ゲートは、シグモイド関数の出力を情報に掛けて、通す量を調整します。 シグモイド関数

◯ 正しい 指数関数の値は常に正で、それを全体の合計で割るためです。そのため確率として読めます。 ソフトマックス関数

× 誤り 指数関数は単調に増加するので、スコアの大小の順番は変換後も変わりません。 ソフトマックス関数

◯ 正しい exp(z + c) = exp(c) × exp(z)なので、分子と分母のexp(c)が打ち消し合います。 ソフトマックス関数

× 誤り 入力0で出力0.5になるのはシグモイド関数です。tanh関数は原点を通り、入力0で出力0になります。 tanh関数

◯ 正しい tanh(x) = 2σ(2x) − 1 の関係があり、どちらも同じS字形です。違いは出力の範囲と、原点を通るかどうかです。 tanh関数

◯ 正しい LSTMでは、ゲートの開き具合にはシグモイド関数、値そのものの変換にはtanh関数を使うのが一般的です。 tanh関数

◯ 正しい 負の入力には0.01を掛けるので、−200×0.01=−2です。ReLU関数なら出力は0になります。 Leaky ReLU関数

× 誤り 正の範囲ではReLU関数と同じく、入力をそのまま出力します。傾きを小さくするのは負の範囲だけです。 Leaky ReLU関数

◯ 正しい PReLUは2015年に提案され、画像認識の精度向上に使われました。傾きを固定値とするLeaky ReLU関数を一般化したものです。 Leaky ReLU関数

◯ 正しい f(x) = max(0, x)なので、正の入力はそのまま通り、0以下の入力は0になります。 ReLU関数

◯ 正しい 微分が最大0.25のシグモイド関数とは違い、活性化関数の微分を掛け合わせる部分で勾配が縮みません。深いネットワークで使われる理由です。 ReLU関数

× 誤り 指数関数を含むのはシグモイド関数やtanh関数です。ReLU関数は入力を0と比べるだけなので、計算が軽く済みます。 ReLU関数

◯ 正しい ほかのクラスは分子が同じまま、分母の合計だけが大きくなるためです。シグモイド関数を出力ごとに使う場合は、ある出力の入力を変えても、ほかの出力は変わりません。 シグモイド関数とソフトマックス関数の違い

◯ 正しい 指数関数の値がすべて等しくなるので、合計で割ると等分になります。3クラスなら約0.33ずつです。シグモイド関数を出力ごとに使い、すべて0を入力した場合は、各出力が0.5になります。 シグモイド関数とソフトマックス関数の違い

× 誤り 指数関数で正の値にしてから、その合計で割ります。そのため、入力に負の値が含まれていても、入力の合計がいくつでも、出力の合計は必ず1になります。入力の前処理は必要ありません。 シグモイド関数とソフトマックス関数の違い

◯ 正しい P(x) = Q(x)ならlog 1 = 0となり、すべての項が0になります。分布が異なると正の値になります。 KL情報量

× 誤り KL情報量は常に0以上です（ギブスの不等式）。最小値の0をとるのは、2つの分布が一致するときです。 KL情報量

◯ 正しい 再構成の誤差とKL情報量の和を小さくするように学習します。KLの項は、潜在空間を整える正則化の役割をもちます。 KL情報量

◯ 正しい one-hotベクトルでは正解以外のクラスの値が0なので、和の中で正解クラスの項だけが残ります。 交差エントロピー

◯ 正しい データ全体の交差エントロピーは、正解に付けた確率の対数の平均にマイナスを付けたもので、負の対数尤度にあたります。 交差エントロピー

× 誤り −log 1 = 0なので、正解に確率1を付けたデータの交差エントロピーは0です。これが最小値です。 交差エントロピー

◯ 正しい 似ていない組の損失はmax(0, m − D)²に比例するため、距離Dがマージンm以上なら0です。十分に離れた組は学習に影響せず、近すぎる組だけが引き離されます。 Contrastive Loss

× 誤り 2つのデータの組と、その組が似ているかどうかを表すラベルから計算します。組を単位に損失を求める点が、1件ずつ計算する交差エントロピーなどと異なります。 Contrastive Loss

◯ 正しい 同じネットワークを2つ並べた形が結合した双子（Siamese twins）に似ていることから、この名が付いています。重みを共有するので、2つの入力は同じ規則で埋め込みに変換されます。 Contrastive Loss

◯ 正しい 損失はmax(0, d(a, p) − d(a, n) + α)です。α = 0で2つの距離が等しければ、max(0, 0) = 0です。マージンを正の値にすると、負例を正例より一定以上遠ざけるまで損失が残ります。 Triplet Loss

◯ 正しい 損失が0の組からは、重みを更新する勾配が生じません。そのため、負例がアンカーに近い組を選んで学習する工夫（トリプレットマイニング）が重要になります。 Triplet Loss

× 誤り 組とラベルを使うのはContrastive Lossです。Triplet Lossは、アンカー・正例・負例の3つのデータから1つの損失を計算し、2つの距離の大小関係を学びます。 Triplet Loss

◯ 正しい 更新式が「重みに1より少し小さい数を掛けてから、勾配の分だけ動かす」形になるためです。 L2正則化

× 誤り 罰則の傾きは2λwで、重みが大きいほど0へ押す力も強くなります。小さい重みほど押す力は弱まります。 L2正則化

◯ 正しい 相関の強い説明変数があると、通常の最小二乗法では係数が大きくぶれやすくなります。罰則がこのぶれを抑えます。 L2正則化

◯ 正しい 罰則が強まるほど、予測への影響が小さい重みから0になります。大きくしすぎると、必要な重みまで0になり未学習になります。 L1正則化

◯ 正しい λ|w|の傾きの大きさは、重みの大きさによらずλで一定です。重みが小さいほど押す力が弱まるL2正則化との違いです。 L1正則化

× 誤り 正則化は重みの自由度を制限するので、訓練データへの誤差はむしろ大きくなるのが普通です。代わりに未知のデータへの汎化性能の改善を狙います。 L1正則化

× 誤り 正則化は、訓練データへの当てはまりを少し犠牲にしてでも、未知のデータに対する誤差（汎化誤差）を下げることを狙います。 正則化

◯ 正しい 広い意味の正則化は、汎化誤差を下げるための学習の工夫全般を指します。ドロップアウトやデータ拡張も、同じ考え方で正則化に含められます。 正則化

◯ 正しい 重みが強く0の方向へ押されて表現力が落ち、未学習になります。係数は、検証データや交差検証で選びます。 正則化

× 誤り 割合は学習を始める前に人が決めるハイパーパラメータです。検証用データの成績を見ながら選びます。 ドロップアウト

× 誤り ユニットを外すのは学習中だけの一時的な操作です。モデルを小さくする手法には、枝刈り（プルーニング）などがあります。 ドロップアウト

◯ 正しい 毎回異なるネットワークを学習するため、更新のばらつきが大きくなります。元の論文では2〜3倍かかるのが一般的だと報告されています。 ドロップアウト

◯ 正しい λ=0なら罰則の項が消え、二乗誤差の和だけを最小にすることになります。 ラッソ回帰

× 誤り λを大きくするほど、係数の絶対値が大きいことへの罰が強まります。係数は全体として0の方向へ縮み、0になる係数も増える傾向があります。 ラッソ回帰

◯ 正しい 影響の小さい説明変数の係数がちょうど0になり、その変数は予測に使われなくなるためです。 ラッソ回帰

◯ 正しい 二乗の罰則は、係数が0に近づくほど押す力が弱まるためです。係数をちょうど0にして変数を絞りたいなら、ラッソ回帰を使います。 リッジ回帰

◯ 正しい w = (XᵀX + λI)⁻¹Xᵀyです。λIを足すことで、XᵀXの逆行列が不安定な場合でも計算が安定します。 リッジ回帰

× 誤り 最小二乗法は、訓練データの二乗誤差の和を最小にする解です。罰則を加えると、訓練データへの当てはまりは同じか悪くなります。 リッジ回帰

× 誤り L2正則化が重みを0へ押す力は、重みが小さくなるほど弱まります。そのため重みは0に近づいても、ちょうど0にはなりにくい性質があります。特徴量の選択が起きやすいのはL1正則化です。 L1正則化とL2正則化の違い

◯ 正しい 誤差の等高線は、ひし形の角で接しやすくなります。L2正則化の範囲は円で角がないため、接点が軸の上に来るとは限りません。 L1正則化とL2正則化の違い

◯ 正しい 0.1の二乗は0.01で、絶対値の0.1より小さくなります。L2は小さな重みをほとんど罰しないため、0まで押し切りません。逆に絶対値が1より大きい重みは、L2のほうが強く罰します。 L1正則化とL2正則化の違い

× 誤り ドロップアウトは、学習中にニューロンの一部を無作為に無効にして過学習を抑える正則化の手法です。平均と分散をそろえるのは、バッチ正規化などの正規化層です。 正規化と正則化の違い

◯ 正しい 主な目的は学習の安定化ですが、提案論文はドロップアウトが不要になる場合もあったと報告しています。主な目的と副次的な効果を分けて覚えます。 正規化と正則化の違い

× 誤り L2正規化は、ベクトルをそのL2ノルム（長さ）で割り、長さを1にそろえる処理です。重みの二乗和を誤差関数に加えるのはL2正則化です。 正規化と正則化の違い

◯ 正しい 勾配全体に同じ倍率を掛けて縮めるためです。進む方向は変えずに、1回の更新で動く量だけを抑えます。 勾配爆発問題

× 誤り LSTMのゲート機構は主に勾配消失問題への対策です。LSTMの学習でも、勾配クリッピングを併用することがよくあります。 勾配爆発問題

◯ 正しい 掛け合わせる値が1より大きい状態が続けば爆発、1より小さい状態が続けば消失になります。原因の根は同じです。 勾配爆発問題

◯ 正しい 2つは役割が分かれています。SGDやAdamは、逆伝播で求めた勾配を使って重みを更新する側の手法です。 誤差逆伝播法

× 誤り 誤差逆伝播法では各層の微分を掛け合わせるため、深いほど勾配が小さくなることがあります。勾配消失問題はこの計算から生じます。 誤差逆伝播法

◯ 正しい 考え方自体はそれ以前にも提案されていましたが、この論文が多層のネットワークで内部の表現を学習できることを示し、普及につながりました。 誤差逆伝播法

× 誤り 英語のcreditの訳で、ここでは功績や手柄の意味です。データの信頼性ではなく、結果に対する功績や責任を、関わった重みや行動にどう配るかという問題です。 信用割当問題

◯ 正しい 論文「Steps Toward Artificial Intelligence」の学習システムの章で、チェスのように勝ち負けが最後に決まる課題を例に論じています。 信用割当問題

◯ 正しい 結果が出るまで待たずに、少し先の見積もりとの差を手がかりに各時点の評価を直します。Q学習やSARSAも、この考え方にもとづく手法です。 信用割当問題

◯ 正しい 連鎖律より、dy/dx = (dy/du) × (du/dx) = 3 × 2xです。x = 3を入れると3 × 6 = 18になります。 連鎖律

× 誤り 和ではなく積です。dy/dx = (dy/du) × (du/dx)のように、各段階の変化の倍率を掛け合わせます。 連鎖律

◯ 正しい 自動微分と呼ばれる機能です。計算の過程を計算グラフとして記録し、逆向きにたどりながら各段階の微分を掛け合わせて勾配を求めます。 連鎖律

× 誤り 合計を使うのはAdaGradです。RMSpropは指数移動平均を使い、古い勾配の影響を少しずつ薄めます。そのため、学習が長く続いても歩幅が0に近づき続けることはありません。 RMSprop

◯ 正しい 係数が大きいほど、過去の値が残る割合が大きくなります。Hintonの講義では0.9が例として示され、直近の勾配の2乗には0.1の重みが付きます。 RMSprop

× 誤り RMSpropは、パラメータごとに勾配の大きさの記録を持ち、歩幅を個別に調整します。勾配が大きく揺れるパラメータは小さく、勾配が小さいパラメータは相対的に大きく動かします。 RMSprop

◯ 正しい 学習率を、過去の勾配の二乗の累積の平方根で割るためです。累積が大きいパラメータほど慎重に動かします。 AdaGrad

× 誤り 逆です。勾配の二乗を足し続けるので分母は大きくなる一方で、実質的な学習率は小さくなり続けます。 AdaGrad

◯ 正しい 勾配の二乗の累積が小さいままなので、学習率があまり下がりません。めったに現れない特徴量の重みも学習が進みます。 AdaGrad

× 誤り AdaDeltaは勾配の二乗の指数移動平均を使い、古い勾配の影響を少しずつ薄めます。分母が増え続けないため、AdaGradのように更新幅が縮み続けることを避けられます。 AdaDelta

◯ 正しい AdaDeltaで不要になるのは、全体の学習率の設定です。ρとεは残ります。原論文の実験では、ρ＝0.95、ε＝1e-6が使われました。 AdaDelta

× 誤り AdaDeltaは2012年に発表された、AdaGradの改良にあたる手法です。Adamの発表は2014年で、AdaDeltaより後です。Adamを改良した手法にはAdaBoundがあります。 AdaDelta

× 誤り AdaBoundが上限と下限で切り詰めるのは、勾配ではなくパラメータごとの学習率です。勾配クリッピングは、発想の元になった技術として論文で紹介されています。 AdaBound

◯ 正しい 論文では、CIFAR-10でResNet-34をAdamで学習させ、収束が近づいた段階でも極端な学習率が残ることを示しました。上限と下限は、この極端な値を抑える役割をもちます。 AdaBound

× 誤り 近づく先の値はハイパーパラメータとして決めます（論文の実験では0.1）。ただし論文では、この値や近づく速さが最終的な結果に与える影響は大きくないと報告されています。 AdaBound

◯ 正しい 更新量は、勾配の移動平均を勾配の2乗の移動平均の平方根で割って求めます。勾配が大きく揺れるパラメータほど、慎重に小さく動かします。 Adam

× 誤り Adamにも学習率αや減衰率β1・β2などのハイパーパラメータがあります。既定値のままでも動きやすいだけで、設定が不要になるわけではありません。 Adam

◯ 正しい 序盤の移動平均は0から少ししか動いておらず、本来の値より小さく見積もられます。補正でこの偏りを打ち消し、序盤から適切な大きさで更新します。 Adam

× 誤り 鞍点や平らな領域（プラトー）でも勾配はほぼ0になります。勾配だけでは、局所最適解かどうかは判断できません。 鞍点

◯ 正しい 極小になるには、すべての方向で谷底になる必要があります。次元が高いと、どこかの方向が下り坂になっている鞍点のほうがずっと多くなります。 鞍点

◯ 正しい 勾配が小さいと更新もごく小さくなるためです。損失が下がらず、学習が止まったように見えることがあります。 鞍点

◯ 正しい 1エポックのイテレーション数は、データ数÷バッチサイズです。6,000÷200＝30回になります。 イテレーション

× 誤り それはエポックです。イテレーションは重みの更新1回分の単位で、ミニバッチ学習では1エポックが複数のイテレーションからなります。 イテレーション

◯ 正しい 1回の更新で使うデータが2倍になるので、データ全体を使い切るまでの更新回数はおよそ半分になります。割り切れない端数の扱いは実装によります。 イテレーション

◯ 正しい Adamでは移動平均が小さくなると、学習率が急に大きくなることがあります。AMSGradは最大値を使ってこれを防ぎ、Adamが最適な解に収束しない例への対策としました。 AMSBound

× 誤り AMSBoundは、AdaBoundと同じLuoらの論文で同時に提案されました。違いは元になった手法で、AdaBoundはAdam、AMSBoundはAMSGradです。 AMSBound

◯ 正しい 上限と下限が同じ値に近づくため、どのパラメータの学習率もその値に収まっていきます。パラメータごとに学習率を変える性質が薄れ、SGDに近い動きになります。 AMSBound

◯ 正しい 1エポックの更新回数は、データ数÷バッチサイズで100回です。10エポックなら100×10で1,000回になります。 エポック

× 誤り バッチ学習では、全データで勾配を1回計算して1回更新するので、1エポックの更新は1回です。データの件数と同じ回数だけ更新するのは、1件ずつ更新するオンライン学習です。 エポック

× 誤り エポックを重ねると、訓練誤差は下がり続けても、検証誤差はある時点から上がることがあります。これが過学習です。検証誤差が悪化し始めたところで止める早期終了がよく使われます。 エポック

◯ 正しい 1件ごとに1回更新するので、全データを1周する間の更新回数はデータ数と同じです。バッチ学習なら1回です。 オンライン学習

× 誤り 全件を1つのまとまりにするのはバッチ学習です。オンライン学習は、バッチサイズを1にした場合にあたります。 オンライン学習

◯ 正しい 届いたデータがすぐ重みに反映されるためです。更新後の性能を監視し、問題があれば前のモデルに戻せるようにしておきます。 オンライン学習

◯ 正しい 動く量は学習率×勾配で、0.05×4＝0.2です。勾配が正なので、重みは0.2だけ小さくなります。 学習率

◯ 正しい 学習の初期は重みが不安定で、いきなり大きな学習率を使うと発散しやすいためです。大きなバッチサイズで学習するときなどに使われます。 学習率

× 誤り それは割引率の説明です。Q学習の学習率は、新しく得た推定値を、今の行動価値にどれだけ取り入れるかを決める係数です。 学習率

◯ 正しい 全データで勾配を求めるバッチ学習より1回の更新が軽く、同じ時間で多くの回数を更新できます。 確率的勾配降下法

◯ 正しい 一部のデータから求めた勾配は、本来の勾配から少しずれます。このずれが、浅いくぼみから押し出す揺れとして働くことがあります。 確率的勾配降下法

× 誤り 毎回すべてのデータを使うのはバッチ学習（最急降下法）です。確率的勾配降下法は一部のデータだけを使います。 確率的勾配降下法

◯ 正しい 勾配降下法は勾配に学習率を掛けた分だけ動くので、勾配が0に近いと動けません。周りより低いくぼみに入ると、そこで止まります。 局所最適解

× 誤り どのくぼみに入るかは、下り始める位置で変わります。初期値やデータの順番が違えば、別の局所最適解にたどり着くことがあります。 局所最適解

◯ 正しい 近年は、局所最適解よりも、勾配が0になる鞍点や平らな領域での停滞のほうが学習を遅らせる要因として注目されています。 局所最適解

◯ 正しい 組み合わせの数は候補数の掛け算で、4×4×4＝64通りです。候補が4つずつなら、種類が1つ増えるたびに組み合わせの数は4倍になります。 グリッドサーチ

◯ 正しい 格子の交点だけを調べるためです。最適な値が候補の間にあると見逃すので、粗く調べてから範囲を絞って細かく調べ直すことがあります。 グリッドサーチ

× 誤り グリッドサーチは、試す組み合わせを最初にすべて決めます。結果をもとに次の候補を選ぶのは、ベイズ最適化などの方法です。 グリッドサーチ

× 誤り 勾配は損失が増える向きを指します。損失を減らすには、勾配と逆の向きに動かします。更新式で勾配を引き算するのはこのためです。 勾配降下法

◯ 正しい 全データで勾配を求めるバッチ学習より1回の計算が軽く、大量のデータを扱うディープラーニングで広く使われています。 勾配降下法

◯ 正しい 誤差逆伝播法は勾配を計算する方法で、勾配降下法はその勾配を使って重みを更新する方法です。役割を分けて押さえます。 勾配降下法

◯ 正しい 学習データの誤差は学習を続けるほど下がり続けるので、止めどきの判断には使えません。検証データの誤差が上がり始めたら過学習のサインです。 早期終了

× 誤り 罰則項を加えるのはL1正則化やL2正則化です。早期終了は誤差関数を変えず、学習を打ち切る時点を決めることで過学習を抑えます。 早期終了

× 誤り 検証データの誤差は小刻みに上下します。一定回数続けて改善しなければ止める、という猶予（patience）を設けるのが一般的です。 早期終了

◯ 正しい 全国で1位なら、地区でも1位です。大域最適解は局所最適解の1つですが、逆に局所最適解が大域最適解とは限りません。 大域最適解

× 誤り 勾配降下法は足元の傾きだけで進むため、局所最適解や鞍点の付近で止まることがあります。凸でない損失関数では、大域最適解に着く保証はありません。 大域最適解

◯ 正しい 凸関数はお椀のような形で、途中で引っかかるくぼみがありません。そのため、局所最適解であれば必ず関数全体の最小になります。 大域最適解

× 誤り モデルを大きくするほど、訓練誤差は下がり続けてほぼ0になります。下がって上がり、再び下がるのはテスト誤差のほうです。 二重降下現象

◯ 正しい Nakkiranらは2019年の研究で、訓練データを増やすと（4倍に増やす場合でも）かえってテスト性能が下がる範囲があることを示しました。データが増えると、テスト誤差の山が現れるモデルの規模もずれるためです。 二重降下現象

× 誤り 単純なモデルを好む考え方は、オッカムの剃刀に近いものです。ノーフリーランチの定理は、すべての問題で平均すると手法どうしの性能に差がないことを示すもので、単純なモデルが常に優れるとは述べていません。 ノーフリーランチの定理

◯ 正しい There ain't no such thing as a free lunchという言い回しが元です。ある種類の問題で得をする手法は、別の種類の問題でその分の損をする、という定理の内容を表しています。 ノーフリーランチの定理

◯ 正しい Wolpertは1996年に教師あり学習について、WolpertとMacreadyは1997年に最適化について、それぞれ論文を発表しました。 ノーフリーランチの定理

× 誤り 重みやバイアスは、訓練データから学習によって決まるパラメータです。ハイパーパラメータは、学習の前に決めておく設定値を指します。 ハイパーパラメータ

◯ 正しい どちらも学習の進め方を決める値で、訓練データからは決まりません。学習率や中間層のユニット数も同じ仲間です。 ハイパーパラメータ

◯ 正しい 結果を見ずに候補を決めるグリッドサーチやランダムサーチと異なり、よさそうな領域を予測しながら探します。 ハイパーパラメータ

× 誤り バッチサイズ1は、1件ずつ更新するオンライン学習にあたります。全件を1つのまとまりにした場合がバッチ学習です。 ミニバッチ学習

◯ 正しい 平均した勾配を使うことで、1件ずつの勾配で更新するよりも、更新の向きのぶれが小さくなります。 ミニバッチ学習

× 誤り バッチサイズは、学習を始める前に人が決めるハイパーパラメータです。GPUのメモリの量や学習の安定性を見ながら選びます。 ミニバッチ学習

◯ 正しい 前回までの速度に今回の勾配が積み重なるためです。同じ勾配が続けば、更新量は通常のSGDのおよそ1 ÷ (1 − α)倍に近づきます。 モーメンタム

× 誤り それはAdaGradやRMSpropの考え方です。モーメンタムは学習率の大きさではなく、更新の向きと勢いを工夫します。 モーメンタム

◯ 正しい 前回の速度をまったく残さないため、その時点の勾配に学習率を掛けた分だけ動く、通常の更新になります。 モーメンタム

◯ 正しい グリッドサーチの試行回数は、候補数の掛け算で決まります。ランダムサーチは、計算の予算に合わせて回数を先に決められます。 ランダムサーチ

× 誤り 多くの場面で効率がよいとされますが、無作為に選ぶので、運によってはよい領域を見逃します。必ず上回るわけではありません。 ランダムサーチ

◯ 正しい 0.0001〜0.1をそのまま均等に選ぶと、約9割が0.01以上の値になります。対数で選ぶと、各桁を同じくらい試せます。 ランダムサーチ

◯ 正しい 1エポックの更新回数は、ミニバッチ学習で1,000 ÷ 50 = 20回、オンライン学習で1,000回です。10エポックではそれぞれ200回と10,000回になり、バッチ学習なら10回です。 バッチ学習・ミニバッチ学習とオンライン学習の違い

× 誤り 前半は正しい内容です。ただし1エポックの更新回数は「データ数 ÷ バッチサイズ」なので、バッチサイズを大きくすると減ります。 バッチ学習・ミニバッチ学習とオンライン学習の違い

◯ 正しい 全件を使う方式をバッチ学習と呼ぶ一方で、ミニバッチの件数もバッチサイズと呼ぶ慣習があります。方式は、1回の更新に何件使うかで見分けます。 バッチ学習・ミニバッチ学習とオンライン学習の違い

◯ 正しい 勾配降下法に必要なのは勾配の値で、求め方は問いません。誤差逆伝播法は、層を重ねたネットワークで多数の重みの勾配を効率よく求めるための方法です。 勾配降下法と誤差逆伝播法の違い

× 誤り 学習率は、求めた勾配に掛けて重みを動かす幅を決めるだけです。勾配そのものは、重みとデータと損失関数で決まり、学習率には左右されません。 勾配降下法と誤差逆伝播法の違い

× 誤り 通常は、更新前の重みのまますべての層の勾配を求め終えてから、最適化手法でまとめて重みを更新します。勾配の計算と重みの更新は、別の段階として分かれています。 勾配降下法と誤差逆伝播法の違い

× 誤り 試行回数は候補数の掛け算です。2種類なら5×5で25回、4種類なら5の4乗で625回となり、25倍に増えます。 グリッドサーチとランダムサーチの違い

× 誤り どちらも、試す値を前の試行の結果に関係なく決めるので、試行を同時に並列で実行できます。BergstraとBengioも、並列化のしやすさを、ランダムサーチがグリッドサーチと共有する利点に挙げています。 グリッドサーチとランダムサーチの違い

◯ 正しい 各試行は範囲全体から独立に値を選ぶので、途中までの試行もそれだけで探索として成り立ちます。グリッドサーチは途中で止めると格子の一部しか調べておらず、調べる順番によっては特定の値に偏ります。 グリッドサーチとランダムサーチの違い