G検定 ディープラーニングの要素技術 一問一答（150問）

◯ 正しい 負の重みを掛けると、入力が大きいほど足し合わせる値が小さくなります。重みの符号は効く向きを、絶対値は効く強さを表します。 重み

◯ 正しい 重みを更新するのは学習のときだけです。推論では、学習で決まった重みを入力に掛けて出力を計算します。 重み

× 誤り 重みは膨大な数があり、層を通じて複雑に組み合わさって働くため、1つ1つの値から理由を読み取ることは困難です。そのため、Grad-CAMやSHAPなどの説明手法が使われます。 重み

× 誤り 出力の数は設計者が自由に決めます。784個の入力を100個のユニットにまとめる、最後の全結合層の出力を分類したいクラスの数に合わせる、といった使い方をします。 全結合層

◯ 正しい 原論文では位置ごとのフィードフォワードネットワークと呼ばれ、FFN(x) = max(0, xW1 + b1)W2 + b2 と書かれます。Attentionで集めた情報を、位置ごとに非線形に変換する役割をもちます。 全結合層

◯ 正しい どちらも入力と重み行列の積にバイアスを足す計算を行います。ライブラリによって呼び名が違っても、中身は同じ全結合層です。 全結合層

◯ 正しい フィルタ1枚の重みは3×3×3＝27個で、それが64枚なので27×64＝1,728個です。バイアスを64個加えると1,792個になります。 カーネル（畳み込み）

× 誤り カーネルの値は重みとして、誤差逆伝播法による学習で決まります。人が決めるのは、カーネルの大きさや枚数などのハイパーパラメータです。 カーネル（畳み込み）

◯ 正しい 入力と出力のチャネル数をどちらもCとすると、3×3を2層では18C²個、5×5を1層では25C²個の重みです。VGGが小さなカーネルを重ねた理由の1つです。 カーネル（畳み込み）

◯ 正しい 重み共有と呼ばれます。位置ごとに別の重みを持つ全結合層に比べて、パラメータ数が大幅に少なくなります。 CNN

× 誤り 1次元の畳み込みを使えば、音声の波形や文章などの系列データにも適用できます。音声生成のWaveNetも畳み込みを使ったモデルです。 CNN

◯ 正しい 後ろの層は、前の層の特徴を組み合わせて、より広い範囲の複雑な模様を表せるようになるためです。 CNN

× 誤り ストライドは移動の幅で、フィルタの大きさや枚数は変わりません。パラメータ数は同じまま、計算する位置が減る分だけ計算量が減ります。 ストライド

◯ 正しい (7 + 0 − 3) ÷ 2 + 1 = 3です。フィルタを置ける位置が、縦横それぞれ3か所になります。 ストライド

◯ 正しい フィルタが間を空けて進むため、出力の解像度が粗くなります。ストライドがフィルタより大きいと、計算に使われない画素も出ます。 ストライド

◯ 正しい Atrousはフランス語のà trous（穴のあいた）に由来し、DeepLabの論文で使われた呼び名です。シラバスには両方が載っていますが、別々の手法ではありません。 Dilated Convolution

× 誤り 膨張率は設計者があらかじめ決めるハイパーパラメータで、学習で更新されるのはフィルタの重みです。膨張率の異なる畳み込みを並べて使う工夫もあります。 Dilated Convolution

◯ 正しい 間隔を倍々に広げると、受容野は層の数に対して指数関数的に広がります。これにより、数千サンプル分の過去を少ない層で参照できます。 Dilated Convolution

◯ 正しい 計算量の比は`1/N + 1/9`です（Nは出力チャネル数）。Nが大きいほど1/9に近づきます。MobileNetの論文でも、8〜9分の1と説明されています。 Depthwise Separable Convolution

× 誤り 表せる計算の範囲を絞ることで、計算量を減らしています。一般には通常の畳み込みと同じ結果にならず、精度がわずかに下がる場合があります。 Depthwise Separable Convolution

× 誤り 縦横のサイズは、ストライドとパディングで決まります。置き換えで減るのはパラメータ数と計算量で、縦横のサイズを保ったまま置き換えることもできます。 Depthwise Separable Convolution

× 誤り 1枚のフィルタは入力の3チャネルすべてにまたがって計算し、1枚の特徴マップを作ります。出力のチャネル数はフィルタの枚数と同じ16です。 特徴マップ

× 誤り 学習で更新されるのはフィルタの重みとバイアスです。特徴マップは入力ごとに計算される中間の出力で、入力の画像が変われば値も変わります。 特徴マップ

◯ 正しい VGG16では、最初の畳み込み層の出力が224×224×64、最後の畳み込み層の出力が14×14×512です。プーリングで縦横を縮めながら、フィルタの枚数を増やしていきます。 特徴マップ

◯ 正しい (5 + 2×1 − 3) ÷ 1 + 1 = 5です。パディングを加えない場合は3×3に縮みます。 パディング

◯ 正しい 端の画素は、フィルタの窓に入る位置が限られるためです。外側を広げておくと、端の情報も使われやすくなります。 パディング

× 誤り 足した部分は0で埋めた固定の値で、学習するパラメータではありません。学習で更新されるのはフィルタの重みです。 パディング

× 誤り 畳み込みの各出力は、フィルタが重なる範囲の入力だけから計算され、ほかの位置の出力を使いません。そのため全位置を同時に計算できます。前の時刻の結果を待つ必要があるのは、隠れ状態を受け渡すRNNです。 CNN・RNNとTransformerの違い

◯ 正しい 系列の長さをn、次元数をdとすると、1層あたりの計算量はSelf-Attentionがn²・d、RNNがn・d²に比例します。n < dならSelf-Attentionのほうが少なく、系列の長さが次元数を上回ると逆転します。 CNN・RNNとTransformerの違い

× 誤り 元のTransformerは、RNNも畳み込みも使わず、Attentionと位置ごとの全結合層を中心に組み立てられています。論文の題名「Attention Is All You Need」もこの方針を表しています。 CNN・RNNとTransformerの違い

◯ 正しい 他のサンプルの値を使わず、1枚の画像の中だけで平均と分散を求めるためです。 インスタンス正規化

◯ 正しい 画風の表現に関係しない明るさやコントラストの差を、1枚ごと・チャネルごとに取り除けるためです。 インスタンス正規化

× 誤り 元のTransformerで使われているのはレイヤー正規化です。インスタンス正規化は、主に画像の生成やスタイル変換で使われます。 インスタンス正規化

◯ 正しい 統計量をサンプルの中だけで求めるためです。学習中に記録しておいた統計量を推論で使うバッチ正規化とは、この点が異なります。 グループ正規化

× 誤り 一般的なバッチサイズでは、両者の精度は同程度でした。差が大きく開いたのは、バッチサイズ2のような小さなバッチで学習した場合です。 グループ正規化

◯ 正しい バッチ正規化と同じく、スケールγとシフトβを学習します。正規化によって表現できる範囲が狭まらないようにするためです。 グループ正規化

◯ 正しい スケールγとシフトβと呼ばれます。正規化で表現できる範囲が狭まらないよう、必要なら元の分布に戻せるようにしています。 バッチ正規化

× 誤り 推論時は、学習中に移動平均などで記録しておいた平均と分散を使います。こうすると、1件ずつ予測しても結果が安定します。 バッチ正規化

◯ 正しい 各層への入力の大きさがそろうためです。提案論文でも、より大きな学習率を使えることが利点に挙げられています。 バッチ正規化

◯ 正しい 統計量を1つのサンプルの中だけで計算するためです。他のサンプルを必要としないので、バッチサイズに左右されません。 レイヤー正規化

× 誤り それはバッチ正規化の推論時の扱いです。レイヤー正規化は、推論時も入力されたサンプルからその場で平均と分散を計算します。 レイヤー正規化

◯ 正しい Attentionなどのサブ層の出力と、その入力を足し合わせた後にレイヤー正規化をかけています。 レイヤー正規化

× 誤り レイヤー正規化は、1つのサンプルの中だけで平均と分散を計算します。ほかのサンプルの値が影響するのは、ミニバッチ全体で統計量を求めるバッチ正規化です。 バッチ正規化とレイヤー正規化の違い

◯ 正しい 少ないサンプルから求めた統計量はぶれが大きくなります。こうした場面では、サンプルごとに計算するレイヤー正規化やグループ正規化が候補になります。 バッチ正規化とレイヤー正規化の違い

× 誤り どちらも、そろえた後に学習するパラメータ（γとβ）で拡大と平行移動を加えます。2つの違いは、平均と分散を計算する範囲です。 バッチ正規化とレイヤー正規化の違い

× 誤り 最大値を取り出すのはグローバル最大値プーリング（global max pooling）です。GAPは名前のとおり、チャネルごとに全体の平均を取ります。 グローバルアベレージプーリング

◯ 正しい 特徴マップの縦横がいくつでも、チャネルごとに1つの値にまとめるためです。出力の長さはチャネル数で決まります。 グローバルアベレージプーリング

× 誤り GAP自体は学習するパラメータを持たないため、パラメータ数は大きく減ります。提案した論文でも、過学習しにくい点が利点とされています。 グローバルアベレージプーリング

× 誤り 不変性が得られるのは、最大値が同じ窓の中にとどまる程度の小さなずれだけです。特徴が窓をまたいで動けば、最大値の出る位置も変わります。 最大値プーリング

× 誤り 最大値は、チャネルごとに窓の中の値から選びます。チャネルどうしを比べることはないため、出力のチャネル数は入力と同じです。 最大値プーリング

◯ 正しい 出力に影響したのは最大値の要素だけだからです。最大値以外の要素を少し変えても、出力は変わりません。 最大値プーリング

× 誤り 入力のずれに合わせて出力も同じだけずれる性質は、同変性です。不変性は、入力が少しずれても出力が変わらない性質を指します。 不変性の獲得

◯ 正しい 窓の中のどこに反応があっても同じ値にまとめるためです。画素単位の位置が必要なセグメンテーションでは、この情報を補う工夫が必要になります。 不変性の獲得

× 誤り 特徴が窓の中で少し動いても、窓の中の値の平均はあまり変わりません。最大値プーリングと同じく、小さな位置ずれをある程度吸収できます。 不変性の獲得

◯ 正しい 4つの値の合計20を4で割って5になります。同じ窓に最大値プーリングを使うと、出力は8です。 平均値プーリング

× 誤り それは最大値プーリングの場合です。平均値プーリングでは窓の中のすべての値が同じ割合で出力に効くため、勾配は窓の要素数で割って、すべての位置に均等に配られます。 平均値プーリング

◯ 正しい グローバルアベレージプーリング（GAP）は、窓を特徴マップ全体に広げた平均値プーリングと見なせます。出力の長さはチャネル数で決まります。 平均値プーリング

◯ 正しい 152層のモデルを含むアンサンブルで、テストデータのtop-5誤り率3.57%を達成しました。VGGの約8倍の深さです。 ResNet

◯ 正しい ブロックの出力をH(x)とすると、間の層はF(x) = H(x) − xを学びます。何もしないのが最善なら、F(x)を0に近づけるだけで済みます。 ResNet

× 誤り 基本のスキップ結合は入力をそのまま足すだけで、パラメータを追加しません。チャネル数などが変わる箇所でのみ、1×1の畳み込みなどで形をそろえます。 ResNet

× 誤り RNNはすべての時刻で同じ重みを使い回します。そのため、系列の長さが変わってもパラメータ数は変わりません。 RNN

◯ 正しい 同じ計算を時刻ごとに繰り返すだけなので、系列の長さを固定する必要がありません。文章や音声のように長さがそろわないデータに向きます。 RNN

◯ 正しい 勾配が急速に小さくなる勾配消失が起き、離れた時刻まで学習の信号が届かなくなるためです。LSTMやGRUはゲート機構でこの弱点を補います。 RNN

◯ 正しい 当初は入力ゲートと出力ゲートだけでした。区切りのない長い入力を処理し続けると記憶セルの値が増え続ける問題があり、自分で内容を消せるよう忘却ゲートが加えられました。 LSTM

× 誤り LSTMは3つのゲートと記憶セルへの入力のそれぞれに重みを持つため、重みは単純なRNNの約4倍になります。そのぶん計算も重くなります。 LSTM

× 誤り LSTMが主に緩和するのは勾配消失です。勾配爆発は起こりうるため、LSTMの学習でも勾配クリッピングがよく併用されます。 LSTM

◯ 正しい 文脈層は、隠れ層の値をそのまま次の時刻まで預かる役割です。学習で調整するのは、文脈層から隠れ層へ戻る結合などのほうです。 エルマンネットワーク

× 誤り 隠れ層には、その時刻の入力と、文脈層（前の時刻の隠れ層の写し）の両方が入ります。これにより、それまでの入力の流れを踏まえた計算ができます。 エルマンネットワーク

◯ 正しい BPTTで時刻をさかのぼるたびに勾配が掛け合わされるためです。この弱点を補うため、ゲート機構を持つLSTMやGRUが使われるようになりました。 エルマンネットワーク

◯ 正しい 推論時には正解がわからないため、自分の出力を次の入力にするしかありません。この学習時と推論時の条件の違いが、教師強制の弱点につながります。 教師強制

◯ 正しい 学習時と推論時の条件の差を少しずつ縮める工夫です。最初から自分の出力だけを使うと、学習の序盤は誤った入力ばかりになり、学習が進みにくくなります。 教師強制

× 誤り Transformerのデコーダも、学習時は正解の系列を1つずらして入力し、マスクで未来の単語を見えなくして全時刻を一度に学習します。これも教師強制の考え方です。 教師強制

◯ 正しい 学習で決まるのは、ゲートの値を計算するための重みです。ゲートの値そのものは入力に応じて時刻ごとに変わるため、場面に応じて覚える・忘れるを切り替えられます。 ゲート機構

× 誤り たとえばHighway Networkは、層をまたいで入力をそのまま通す量をゲートで調整し、深いネットワークの学習を可能にしました。ゲートはRNN以外でも使われる考え方です。 ゲート機構

◯ 正しい 当初のLSTMは、記憶セルと入力ゲート・出力ゲートで構成されていました。忘却ゲートは、2000年にGersらが加えたものです。現在は忘却ゲートを含む形が標準です。 ゲート機構

× 誤り それを決めるのは更新ゲートです。リセットゲートは、新しい隠れ状態の候補を作るときに、前の時刻の隠れ状態をどれだけ使うかを決めます。 GRU

◯ 正しい LSTMは重みを4組、GRUは3組持つため、同じ条件ならGRUのパラメータは約4分の3です。 GRU

× 誤り 比較実験では課題によって優劣が入れ替わり、全体としては同程度と報告されています。データや計算資源に応じて選びます。 GRU

× 誤り 決まった周期で繰り返す変動は季節性（季節変動）です。トレンドは、長い期間にわたって上がり続ける、下がり続けるといった大きな傾向を指します。 時系列データ

◯ 正しい 今日の気温は昨日の気温に近いことが多い、といった関係です。これを自己相関といいます。ARモデルは、この関係を利用して過去の値から次の値を予測します。 時系列データ

◯ 正しい 時系列データは、同じ対象を時間に沿って繰り返し記録したものです。1時点で多くの対象を記録したデータは横断面データと呼ばれます。 時系列データ

◯ 正しい 出力層から状態層へ戻る結合を持つのが特徴です。隠れ層の値を戻すエルマンネットワークとの違いとして押さえます。 ジョルダンネットワーク

× 誤り 順序は逆です。Jordanの技術報告は1986年、Elmanの論文は1990年です。Elmanは論文の中で、Jordanの研究を先行研究として挙げています。 ジョルダンネットワーク

◯ 正しい 状態層の値は、前の時刻の出力と、重みを掛けた自分自身の値の和です。そのため状態は、過去の出力を古いものほど小さな重みで混ぜた平均のような値になります。 ジョルダンネットワーク

◯ 正しい 末尾から読んできた逆方向のRNNの情報を、各時刻で順方向の情報と組み合わせるためです。文中の単語の意味を前後から判断する課題に向きます。 双方向RNN

◯ 正しい 入力文の各単語について、前後両方の文脈を含んだベクトルを作るためです。翻訳元の文は最初からすべてそろっているので、後ろからも読めます。 双方向RNN

× 誤り 生成の途中では、後ろの単語はまだ存在しません。双方向RNNは系列全体がそろっていることが前提なので、生成を担うデコーダには一方向のモデルを使います。 双方向RNN

◯ 正しい 時刻ごとに別の重みがあるわけではありません。1つの重みが全時刻で使われるため、各時刻の寄与を合計します。 BPTT

× 誤り 逆伝播のために各時刻の途中の値を保存しておく必要があるため、さかのぼる時刻が多いほどメモリを多く使います。 BPTT

◯ 正しい その代わり、区切った範囲より遠い過去との関係は学習しにくくなります。 BPTT

× 誤り 更新ゲートは、前の隠れ状態をどれだけ残し、新しい候補をどれだけ取り込むかを決めます。LSTMの忘却ゲートと入力ゲートをまとめた働きで、GRUには出力ゲートにあたるものがありません。 LSTMとGRUの違い

◯ 正しい リセットゲートは、候補を作るときに前の隠れ状態をどれだけ使うかを決めます。前の隠れ状態を最終的にどれだけ残すかは、更新ゲートが別に決めます。 LSTMとGRUの違い

◯ 正しい 出力ゲートが調整するのは、記憶セルの内容を隠れ状態として外に出す量です。GRUには、この読み出しの量を調整するゲートがありません。 LSTMとGRUの違い

× 誤り 単純なRNNは、前の隠れ状態に重みを掛け、入力と合わせてtanh関数などに通すので、毎時刻すべてを作り直します。前の内容を残したまま足し算で更新するのは、LSTMの記憶セルです。この経路が勾配を過去へ伝えやすくします。 RNNとLSTMの違い

× 誤り ReLU関数の微分は正の範囲で1ですが、BPTTでは時刻ごとに同じ再帰の重みも掛かります。重みの大きさしだいで勾配はやはり消失や爆発を起こし、負の範囲では微分が0にもなります。 RNNとLSTMの違い

◯ 正しい LSTMは、入力ゲート・忘却ゲート・出力ゲートと新しい候補の4か所で、単純なRNNと同じ形の重みとバイアスを1組ずつ持つためです。その分、1時刻あたりの計算も重くなります。 RNNとLSTMの違い

◯ 正しい 学習で決まるのは、クエリやキーを作る変換の重みなどです。注目の度合いはそのつど計算されるので、文が変われば注目する位置も変わります。 Attention

× 誤り 2014年にBahdanauらが、RNNを使った機械翻訳にAttentionを導入しています。Transformerの新しさは、RNNを使わずAttentionを中心にモデルを組み立てた点です。 Attention

◯ 正しい Bahdanauらの論文でも、重みを図にすると、対応する単語どうしに大きな重みが付く様子が示されました。ただし、重みがそのまま判断の理由を表すとは限りません。 Attention

◯ 正しい 論文では、エンコーダとデコーダそれぞれの最初の層に入る埋め込みベクトルに足しています。出力の文を作るデコーダでも語順の情報が必要なためです。 位置エンコーディング

× 誤り 位置エンコーディングは埋め込みベクトルと同じ次元数で作り、要素ごとに足し合わせます。入力の次元数は変わりません。 位置エンコーディング

× 誤り 偶数番目の次元に正弦波、奇数番目の次元に余弦波を使い、次元の番号によって周期を変えています。そのため、位置ごとに異なるパターンのベクトルになります。 位置エンコーディング

◯ 正しい このベクトルは文脈ベクトルとも呼ばれ、入力文全体の情報を1つにまとめたものです。デコーダはこれを出発点に、出力を1語ずつ生成します。 Seq2Seq

× 誤り デコーダは1単語ずつ生成し、出力した単語を次の時刻の入力に使います。終わりを表す記号を出したところで止まります。 Seq2Seq

× 誤り Transformerも、入力を読むエンコーダと出力を生成するデコーダからなる系列変換のモデルです。違いは、RNNを使わず、Attentionを中心に組み立てた点です。 Seq2Seq

◯ 正しい 同じ系列の各要素に、それぞれ別の重み行列を掛けて3つを作ります。クエリとキー・バリューを別々の系列から作るのはSource-Target Attentionです。 Self-Attention

× 誤り 学習で固定されるのは、クエリ・キー・バリューを作るための重み行列です。注目の重みは入力のたびにクエリとキーから計算し直すので、文が変われば変わります。 Self-Attention

◯ 正しい すべての要素どうしの組み合わせを計算するため、計算量は系列の長さの2乗に比例します。長い文書を扱うときの課題です。 Self-Attention

◯ 正しい Source-Target Attentionは、デコーダがエンコーダの出力を参照するための部品です。GPTのようなデコーダだけのモデルも、Attentionの部分はSelf-Attentionだけです。 Source-Target Attention

× 誤り 入力文は最初からすべてそろっているので、デコーダは入力の全位置を参照できます。未来の位置を隠すマスクが必要なのは、デコーダのSelf-Attentionです。 Source-Target Attention

◯ 正しい 画像側の特徴からクエリを、文章をエンコードした結果からキーとバリューを作ります。クロスアテンションと呼ばれ、潜在拡散モデルなどで使われています。 Source-Target Attention

◯ 正しい Self-Attentionは全位置を一度に計算できます。GPUの並列計算を生かせるので、大量のデータで学習しやすくなりました。 Transformer

× 誤り Transformerには、時刻ごとに状態を受け渡す構造がありません。並び順は、位置を表すベクトル（位置エンコーディング）を単語の埋め込みに加えて表します。 Transformer

◯ 正しい 元の論文では、入力とサブ層の出力を足してからレイヤー正規化をかける、LayerNorm(x + Sublayer(x))の形です。ResNetのスキップ結合と同じ考え方で、深い層でも学習しやすくします。 Transformer

◯ 正しい ヘッドごとの射影の重みを学習した結果として、役割が分かれます。元の論文でも、文の構造や意味に関係する振る舞いをするヘッドが見られたと報告されています。 Multi-Head Attention

◯ 正しい 論文の設定では512次元を8つのヘッドに分け、各ヘッドは64次元で計算します。ヘッドを分けても計算量はほとんど増えません。 Multi-Head Attention

× 誤り エンコーダのSelf-Attention、デコーダのマスク付きSelf-Attention、デコーダからエンコーダを参照するSource-Target Attentionの3か所すべてで使われます。 Multi-Head Attention

◯ 正しい エンコーダの層を積み重ねた最後の出力が、デコーダの全層で共通に参照されます。デコーダの層ごとに、エンコーダの対応する層を見るわけではありません。 Self-AttentionとSource-Target Attentionの違い

× 誤り 各要素のクエリは、自分自身のキーとも内積をとります。自分自身への重みも含めて、合計が1になるように重みを計算します。 Self-AttentionとSource-Target Attentionの違い

× 誤り 出力はクエリ1つにつき1つ作られるので、デコーダ側の系列と同じ長さになります。入力側の長さは、各出力を作るときに足し合わせるバリューの数を決めます。 Self-AttentionとSource-Target Attentionの違い

◯ 正しい 入力と出力の差（再構成誤差）を小さくするように学習します。ラベルのないデータで学習できるため、教師なし学習の手法として扱われます。 オートエンコーダ

◯ 正しい 正常なデータの特徴だけを学んでいるので、見たことのない異常なパターンはうまく復元できません。この誤差の大きさを異常の度合いとして使います。 オートエンコーダ

× 誤り 線形の層だけで二乗誤差を小さくすると、主成分分析と同じ部分空間を学ぶことが知られています。非線形な関係を表すには、非線形の活性化関数が必要です。 オートエンコーダ

◯ 正しい 再パラメータ化トリックと呼びます。z = μ + σ × εの形にすると、ランダムな部分がεに分かれ、μとσまで勾配が届きます。 VAE

× 誤り 事前分布（通常は標準正規分布）から潜在変数を取り出し、デコーダに通すだけで生成できます。エンコーダは、学習時や手元のデータを潜在変数に変換したいときに使います。 VAE

× 誤り VAEは、再構成誤差とKL情報量の和を小さくするように学習し、見分ける役のネットワーク（識別器）をもちません。敵対的な学習を使うのはGANです。 VAE

◯ 正しい 提案論文も、ドロップアウトとの違いとして、入力層に適用する点と、1つずつの画素ではなく連続した領域を消す点を挙げています。 Cutout

× 誤り 塗りつぶしは学習のときだけ行うデータ拡張です。推論のときは、画像をそのまま入力します。 Cutout

◯ 正しい このため論文では、形は扱いやすい正方形に固定し、大きさをデータセットごとに調整しています。 Cutout

× 誤り ラベルは辺の長さではなく面積の比率で混ぜます。面積は0.5 × 0.5 = 0.25なので、貼り付けた側のクラスは0.25、元の画像のクラスは0.75です。 CutMix

◯ 正しい 2枚の画像に同じ長方形の範囲を使います。元の画像のその範囲を取り除き、もう一方の画像の同じ範囲の画素で埋めます。 CutMix

◯ 正しい 弱教師ありの物体位置推定で精度が上がりました。物体の一部だけを見て判断する練習になるためと説明されています。物体検出への転移学習でも改善が報告されています。 CutMix

◯ 正しい 手元のデータを変換して新しいデータを作るため、追加の収集やアノテーションの費用をかけずに済みます。これがデータ拡張の大きな利点です。 データ拡張

× 誤り 文章では言い換え（paraphrasing）や小さな乱れの付加（noising）、音声では雑音を重ねる方法などがあります。画像以外でも広く使われます。 データ拡張

× 誤り 6を180度回転すると9のように見え、正解が変わってしまいます。数字や文字の分類では、回転を小さな角度にとどめるのが一般的です。 データ拡張

◯ 正しい 人は多少の誤字や語順の乱れがあっても意味を読み取れますが、モデルは戸惑いがちです。乱れた文でも学習させることで、頑健性を高めます。 noising

× 誤り 音声に雑音を重ねるのも、意味を変えない範囲でノイズを加えて学習データを増やす、代表的なデータ拡張です。画像に細かなノイズを加える方法もあります。 noising

◯ 正しい EDA（Easy Data Augmentation）は2019年に発表された単純な方法です。文章分類の課題で、少ないデータでも精度を上げられることが示されました。 noising

◯ 正しい 2016年の研究では、翻訳先の言語の文章を逆向きに機械翻訳して人工の対訳を作り、学習に加えて翻訳の精度を上げました。 paraphrasing

× 誤り 類義語への置き換えのような単語単位の方法に加え、逆翻訳や生成モデルによる書き換えのように、文全体を言い換える方法も含まれます。 paraphrasing

◯ 正しい 生成モデルに言い換え文を作らせる方法は、paraphrasingの代表的な手段の1つです。ただし意味が変わっていないかの確認は必要です。 paraphrasing

◯ 正しい 提案論文では、ImageNetでαを0.1〜0.4にすると効果があり、大きすぎると未学習になったと報告しています。正則化と同じく、強さの調整が必要です。 Mixup

× 誤り 入力をベクトルとして混ぜるだけなので、データの種類を問いません。提案論文でも、画像のほかに音声コマンドや表形式のデータで効果が確かめられています。 Mixup

× 誤り 2つのデータは、クラスを問わずランダムに選びます。提案論文では、同じラベルのデータどうしだけを混ぜても、Mixupによる性能の向上は得られなかったと述べています。 Mixup

◯ 正しい 提案論文の標準設定では、確率0.5で消すかどうかを決めます。隠れた画像と元の画像の両方で学習します。 Random Erasing

× 誤り Random Erasingは入力画像を加工するだけで、学習するパラメータは増えません。そのため、多くのCNNの学習にそのまま組み込めます。 Random Erasing

◯ 正しい 切り抜きや反転とは違う種類の変化（隠れ）を加えるため、互いに補い合います。論文の実験でも、反転と切り抜きを使った学習に加える形で効果を確かめています。 Random Erasing

◯ 正しい Nを増やすと1枚に加える変換が増え、Mを上げると各変換が強くなります。値の意味が直感的に分かるため、調整しやすい設計です。 RandAugment

◯ 正しい 調整するのはNとMの2つだけなので、候補の値を総当たりで試しても手間は小さく済みます。提案論文でも、単純なグリッドサーチで十分な効果が得られたとしています。 RandAugment

× 誤り 提案論文では、COCOの物体検出でも、基本的なデータ拡張に比べて精度（mAP）が1.0〜1.3ポイント上がったと報告しています。 RandAugment