G検定 ディープラーニングの応用例 一問一答（414問）

◯ 正しい 現在のモデルと比べると浅い構成ですが、パラメータ数は約6,000万で、当時としては大規模なCNNでした。 AlexNet

× 誤り Inceptionモジュールは、2014年のILSVRCで優勝したGoogLeNetの特徴です。 AlexNet

◯ 正しい 2014年のGoogLeNetやVGG、2015年のResNetなど、CNNの層を深くする工夫を競う流れが続きました。 AlexNet

× 誤り 一般物体認識が対象とするのは、背景や照明、物体の向きなどに制約のない実世界の画像です。撮影の条件を限ることで難しさを避けるのではなく、条件のばらつきごと扱う点が特徴です。 一般物体認識

◯ 正しい どんな特徴を取り出すかは、人が設計していました。2012年のILSVRCでAlexNetが大差で優勝してからは、特徴そのものをデータから学習するCNNが主流になりました。 一般物体認識

◯ 正しい 同じカテゴリでも見た目がさまざまなので、多様な画像が大量に必要です。ImageNetの一部を使うILSVRCは、手法を同じ条件で比べる場になりました。 一般物体認識

× 誤り 対象にするのは、人や車のように数えられる物体です。背景を含むすべての画素にクラスを付けるのは、セマンティックセグメンテーションやパノプティックセグメンテーションです。 インスタンスセグメンテーション

◯ 正しい 物体ごとに別々の領域（マスク）が出力されるため、マスクの数がそのまま個数になります。セマンティックセグメンテーションでは、接した同じクラスの物体が1つの領域になり、個数はわかりません。 インスタンスセグメンテーション

× 誤り 物体ごとに、その形をなぞった領域（マスク）を正解として付ける必要があります。画像1枚に1つのラベルを付ける画像分類よりも、アノテーションの手間はずっと大きくなります。 インスタンスセグメンテーション

◯ 正しい SEブロックは、ブロックの出力にチャネルごとの重みを掛ける独立した部品です。そのため、SE-ResNetやSE-Inceptionのように、既存の構造に追加できます。 SENet

× 誤り 重みはシグモイド関数で求め、各チャネルが0〜1の値を独立にとります。論文では、複数のチャネルを同時に強調できるようにするため、シグモイド関数を選んだと説明されています。 SENet

◯ 正しい 論文では、計算量の増加はResNet-50の約0.26%と報告されています。それでも精度は向上し、より深いResNet-101に近づきました。 SENet

× 誤り 逆です。小さな物体は浅い層の解像度の高い特徴マップが、大きな物体は深い層の解像度の低い特徴マップが、主に担当します。 SSD

◯ 正しい 基準の枠からのずれを予測することで、さまざまな形の物体に合わせます。Faster R-CNNのアンカーと似た考え方です。 SSD

◯ 正しい 最初のYOLOは最後の層の粗いグリッドだけで予測していました。SSDは複数の特徴マップとデフォルトボックスを使い、精度を高めました。 SSD

× 誤り EfficientNetは畳み込みを使うCNNです。基本ブロックは、MobileNetV2の反転残差ブロック（MBConv）にSEブロックの仕組みを加えたものです。 EfficientNet

◯ 正しい チャネル数を2倍にすると入力と出力の両方が2倍に、解像度を2倍にすると縦と横の両方が2倍になるためです。EfficientNetの複合スケーリングは、この違いをふまえて倍率の条件を決めています。 EfficientNet

◯ 正しい 論文では、top-1精度84.3%を、それまでの最高のモデルの約8.4分の1のパラメータ数と、約6.1倍速い推論で達成したと報告されています。 EfficientNet

◯ 正しい 論文ではAlexNet、VGG16、GoogLeNetを作り替えて比べています。分類で身につけた特徴を、ファインチューニングで画素ごとの予測に生かしました。 FCN（Fully Convolutional Network）

× 誤り 逆畳み込みの層の重みは学習で調整できます。論文では、FCN-16sやFCN-8sの途中の拡大の層を双線形補間で初期化し、そこから学習させています。 FCN（Fully Convolutional Network）

× 誤り FCNは候補領域を使わず、画像全体を一度に入力して、画素ごとのクラスをまとめて出力します。候補領域を使う当時の方法と違い、入力から出力まで一貫して（end-to-end）学習できる点が特徴です。 FCN（Fully Convolutional Network）

× 誤り FPNは、検出器に渡す特徴マップを作る部品です。論文では、Faster R-CNNの候補領域の抽出（RPN）と、候補ごとの分類（Fast R-CNN）の両方に組み込み、精度を高めました。 FPN

◯ 正しい FPNは、ピラミッドの各段の特徴マップでそれぞれ予測を行います。FPNの論文も、U-Netなど似た形のモデルとの違いとして、この点を挙げています。 FPN

◯ 正しい Mask R-CNNの論文では、ResNetとFPNを組み合わせて特徴を取り出す構成にすると、精度と速度の両方が大きく改善したと報告されています。 FPN

× 誤り MnasNetは、ネットワークをいくつかのブロックに分け、ブロックごとに別々の構造を選べる探索空間を使いました。層の多様性を保ち、端末での効率を高めるためです。 MnasNet

◯ 正しい 論文では、Pixelスマートフォン上で、幅を1.4倍にしたMobileNetV2より約1.8倍速く、top-1精度は0.5ポイント高い結果が示されています。 MnasNet

◯ 正しい 畳み込みの種類を通常の畳み込み、Depthwise畳み込み、MBConvから選び、フィルタの大きさやSEブロックの有無も選びます。層の数やチャネル数も、MobileNetV2を基準に探索しました。 MnasNet

◯ 正しい たとえば右ひじと右手首を結ぶ前腕の上には、前腕の向きを指すベクトルが入ります。この向きを手がかりに、どの関節どうしが同じ人のものかを判断します。 Open Pose

× 誤り Open Poseは、普通のカラー画像から2次元の関節の位置を推定します。特別なセンサーがいらないため、撮りためた映像にも使えます。 Open Pose

◯ 正しい カーネギーメロン大学の研究室がソースコードを公開しており、体・足・手・顔をあわせて最大135点を推定できます。非商用の利用は無償ですが、商用の利用には別のライセンスが必要です。 Open Pose

◯ 正しい 勾配を途中の層まで届きやすくし、正則化の効果も狙った工夫です。補助の損失には0.3の重みをかけ、推論のときには補助の分類器を取り外します。 GoogLeNet

× 誤り 22層とAlexNetより深いものの、論文によるとパラメータ数はAlexNetの約12分の1です。1×1の畳み込みでチャネル数を絞り、大きな全結合層を重ねなかったことが効いています。 GoogLeNet

◯ 正しい 論文では、ヤン・ルカンらが開発したLeNet-5への敬意を表した名前だと説明されています。開発の中心はGoogleの研究者です。 GoogLeNet

◯ 正しい 2014年のCVPRで発表された初期の代表例です。回帰を何段階にも重ね、前の段で推定した位置のまわりの画像から座標を求め直して精度を高めています。 姿勢推定

◯ 正しい 関節の推定が、人の検出の結果に左右されるためです。画像全体から関節を先に見つけるボトムアップ型は、この影響を受けにくくなります。 姿勢推定

× 誤り 手の指の関節や顔の特徴点を推定する手法もあります。たとえばOpen Poseのソフトウェアは、体と足に加え、片手21点、顔70点の特徴点も推定できます。 姿勢推定

◯ 正しい 全結合層を取り除いたことで、パラメータ数が大きく減り、画素ごとの出力に必要な空間の情報も保てます。 SegNet

× 誤り 位置を使って拡大した直後の特徴マップは、ほとんどの値が0のまばらな状態です。学習する畳み込みを重ねて密な特徴マップにしてから分類します。 SegNet

◯ 正しい 2×2の窓なら、位置は2ビットで表せます。論文でも、推論時のメモリと計算時間の効率のよさが設計の目的に挙げられています。 SegNet

◯ 正しい クラスは画素ごとに付きますが、個体の区別はしません。1人ずつ分けたい場合は、インスタンスセグメンテーションを使います。 セマンティックセグメンテーション

× 誤り 枠とクラスを出力するのは物体検出です。セマンティックセグメンテーションは、画素1つずつにクラスを付けた、入力と同じ大きさの地図を出力します。 セマンティックセグメンテーション

◯ 正しい 全結合層をなくしたことで、任意の大きさの画像を入力でき、位置の情報を保ったまま出力できるようになりました。 セマンティックセグメンテーション

◯ 正しい ASPPはAtrous Spatial Pyramid Poolingの略です。間隔の小さい畳み込みは細かな部分を、大きい畳み込みは広い範囲の文脈を捉え、その結果を統合します。 DeepLab

× 誤り 全結合CRFで物体の境界を整えるのは、初期の版（v1・v2）の特徴です。DeepLabv3は、CRFの後処理なしで以前の版を上回る性能を報告しています。 DeepLab

◯ 正しい エンコーダ・デコーダの構造を取り入れ、エンコーダの途中の細かい特徴もデコーダで使います。これにより、物体の輪郭付近の精度が上がりました。 DeepLab

◯ 正しい 成長率をkとすると、ブロック内で層を1つ進むごとに、次の層への入力のチャネル数がkずつ増えます。論文では、12のような小さな値でも高い精度が得られています。 DenseNet

× 誤り 前の層の特徴を再利用できるため、各層を細くできます。ImageNetでは、約2,000万個のパラメータのDenseNet-201が、4,000万個を超えるResNet-101と同程度の誤差でした。 DenseNet

◯ 正しい ブロック内の層どうしを連結するには、特徴マップの縦横がそろっている必要があります。縦横を縮める処理は、ブロックの間の遷移層（バッチ正規化、1×1の畳み込み、2×2の平均値プーリング）で行います。 DenseNet

× 誤り 初期の代表的な研究は強化学習を使いましたが、進化的アルゴリズム、ベイズ最適化、勾配にもとづく方法なども使われています。 NAS（Neural Architecture Search）

◯ 正しい NASのサーベイ論文では、800台のGPUを3〜4週間使ったと紹介されています。候補の構造を評価するたびに学習が必要なためで、その後は計算の費用を減らす工夫が進みました。 NAS（Neural Architecture Search）

◯ 正しい CIFAR-10でセルの構造を探索し、そのセルを多数重ねてImageNet用のモデルを作りました。大きなデータセットで直接探索するより、計算を大きく減らせます。 NAS（Neural Architecture Search）

× 誤り 背景の画素にもクラスを付けるのが特徴です。数えられる物体だけを切り出すのは、インスタンスセグメンテーションです。 パノプティックセグメンテーション

◯ 正しい 各画素にはクラスと個体の番号が1組だけ割り当てられ、領域どうしは重なりません。インスタンスセグメンテーションでは、物体ごとのマスクが重なることがあります。 パノプティックセグメンテーション

× 誤り 個体を区別するのは、人や車のように数えられる物体（things）だけです。道路や空のような領域（stuff）には、クラスだけを付けます。 パノプティックセグメンテーション

◯ 正しい 論文では、FCNが川に浮かぶボートを「車」と誤る例を挙げています。画像全体の文脈を使えば、「川の上なら車よりボート」と判断しやすくなります。 PSPNet

× 誤り 全体を1つのベクトルにまとめると、どこに何があるかという位置の関係が失われます。PSPNetは、さまざまな広さでまとめた文脈をもとの特徴マップに連結し、画素ごとの細かな情報も残します。 PSPNet

◯ 正しい 見た目の似たクラスは、画素の周りだけを見ると区別が難しくなります。物体全体や場面の情報を使うと、1つの物体に1つのクラスを付けやすくなります。 PSPNet

◯ 正しい CNNが構造として備える局所性などの前提（帰納バイアス）が少ないためです。より大規模なデータで事前学習すると、CNNと同等以上の精度になりました。 Vision Transformer

× 誤り Self-Attentionは並び順を区別しません。そのため、各パッチの埋め込みに位置埋め込みを足して、位置の情報を与えます。 Vision Transformer

◯ 正しい BERTの先頭トークンと同じ考え方です。Self-Attentionで全パッチの情報を集めたこのトークンの出力を、分類に使います。 Vision Transformer

◯ 正しい 画像全体の特徴マップを1回計算すれば、候補領域の抽出と、その後の分類の両方に使えます。これが高速化の理由です。 Faster R-CNN

× 誤り Faster R-CNNは、RPNで候補領域を挙げてから各候補を分類し位置を補正する2段階型です。候補領域を作らない1段階型はYOLOやSSDです。 Faster R-CNN

◯ 正しい Mask R-CNNは、検出した物体ごとにマスク（形）を出力します。切り出しの位置ずれを減らすRoIAlignも導入しました。 Faster R-CNN

◯ 正しい 候補領域の抽出までネットワーク（RPN）で行うようにしたのは、後継のFaster R-CNNです。Fast R-CNNでは、この抽出が速度の課題として残りました。 Fast R-CNN

× 誤り それはR-CNNの方法です。Fast R-CNNは、クラスの分類と枠の位置の補正を、2つの誤差を足し合わせたマルチタスク損失で、1つのネットワークとして同時に学習します。 Fast R-CNN

◯ 正しい 全結合層は決まった大きさの入力しか受け付けません。RoIプーリングは、特徴マップ上の候補領域を格子に区切り、各マスで最大値をとって大きさをそろえます。 Fast R-CNN

◯ 正しい VGG16は畳み込み層13層と全結合層3層からなります。重みをもたないプーリング層は数えません。VGG19は畳み込み層が16層です。 VGG

× 誤り 画像分類部門では2位で、優勝はGoogLeNetでした。VGGのチームは、物体の位置を示す位置特定の部門で1位になっています。 VGG

× 誤り VGGは畳み込み層とプーリング層を順に重ねただけの単純な構成です。スキップ結合は、2015年のResNetで導入された仕組みです。 VGG

◯ 正しい 画像全体に1つのラベルを付ける画像分類との違いです。出力する物体の数は画像ごとに変わります。 物体検出

◯ 正しい 完全に一致すれば1、まったく重ならなければ0です。IoUが基準（たとえば0.5）以上なら、正しく検出できたとみなします。 物体検出

× 誤り スコアの高い矩形を残し、それと大きく重なる矩形を取り除く非最大値抑制（NMS）で、重複をまとめるのが一般的です。 物体検出

◯ 正しい たとえば「犬0.8、猫0.15、車0.05」なら「犬」と答えます。確率の高い上位5クラスに正解が含まれない割合を表すtop-5誤り率も、この順位を使って求めます。 物体識別

× 誤り 物体識別は、画像全体に対してクラスを答えるだけで、位置や個数は出力しません。位置や個数が必要なら、物体検出やインスタンスセグメンテーションを使います。 物体識別

◯ 正しい たとえばFCNはVGGなどの分類用のネットワークを作り替えたモデルで、FPNの論文ではResNetを特徴の抽出に使っています。ImageNetで学習した重みを初期値にすることも一般的です。 物体識別

◯ 正しい 候補領域ごとに、クラス・枠・マスクの3つを並行して出力します。この単純な拡張で、物体検出とインスタンスセグメンテーションを同時に行えます。 Mask R-CNN

× 誤り 座標を丸めるのは、Faster R-CNNで使われるRoIPoolのほうです。RoIAlignは丸めずに、双線形補間で正確な位置の値を求めます。画素単位の位置が大切なマスクで、ずれを防ぐためです。 Mask R-CNN

◯ 正しい 各マスクは、画素ごとに物体かどうかだけを判断します。どのクラスかの判断は分類の分岐に任せるので、マスクの上でクラスどうしが競合せず、学習しやすくなります。 Mask R-CNN

× 誤り 幅乗数は入力と出力の両方のチャネル数を細くするため、計算量はおよそ二乗の割合で減り、0.5なら約4分の1になります。論文の表では、積和演算が約5億6,900万回から約1億4,900万回に減っています。 MobileNet

◯ 正しい 通常のボトルネックとは逆に、入口と出口を細く、中間を広くします。広げた中間でDepthwise畳み込みを行い、細い出口の層では活性化関数を使いません（線形ボトルネック）。 MobileNet

◯ 正しい 論文では、SSDやFaster R-CNNの土台をMobileNetに置き換えた実験が示されています。端末で物体検出を行う用途で広く使われてきました。 MobileNet

◯ 正しい 医療分野では、画素単位の正解を付けた画像を大量に集めにくいため、少ない画像から学習できるよう工夫されています。 U-Net

× 誤り U-Netは足し算ではなく、チャネル方向に連結します。入力を足し合わせるのはResNetのスキップ結合です。 U-Net

◯ 正しい 画像を入力し、画素ごとに値を出力できるU-Netの構造が、画像と同じ大きさのノイズを推定する用途に合うためです。 U-Net

× 誤り それはR-CNNの手順です。YOLOは候補領域を作らず、画像全体から物体の位置とクラスを一度に予測します。 YOLO

◯ 正しい 各セルは少数の枠と1組のクラス確率しか出しません。1つのセルに複数の小さな物体が入ると取りこぼしやすく、論文でも限界として挙げられています。 YOLO

◯ 正しい 論文でも、位置合わせの誤りが多い一方、背景を物体と取り違える誤りは少ないと報告されています。後の版で位置の精度は改善されました。 YOLO

× 誤り Fasterは、前身のFast R-CNNより速いという意味です。候補領域の抽出をRPNに置き換えて高速化しましたが、元の論文どうしで比べると、処理の速さはYOLOが上回ります。 Faster R-CNNとYOLOの違い

× 誤り 最初のYOLOは、グリッドの各セルが枠の中心の座標と幅・高さを直接予測し、アンカーは使いません。アンカーを取り入れたのは、改良版のYOLOv2です。 Faster R-CNNとYOLOの違い

◯ 正しい 大きな物体やセルの境界にある物体には、複数のセルが枠を出すことがあります。YOLOの論文では、NMSで重複を除くとmAPが2〜3%上がると報告されています。 Faster R-CNNとYOLOの違い

◯ 正しい 知りたいのは画像全体に対する判定で、位置や個数は必要ありません。画像1枚に1つの答えを返す画像分類で足ります。 画像分類（物体識別）と物体検出の違い

× 誤り 画像分類は画像全体に1つの答えを返すだけで、何台写っているかは出力しません。台数を数えるには、車ごとに矩形を出す物体検出などを使います。 画像分類（物体識別）と物体検出の違い

× 誤り クラスが正しいことに加えて、予測した矩形と正解の矩形の重なり（IoU）が基準（たとえば0.5）以上であることが条件です。位置が大きくずれた予測は誤検出として扱われます。 画像分類（物体識別）と物体検出の違い

◯ 正しい 路面は数えられない領域で、1つずつ区別する必要がありません。画素ごとに「路面かどうか」がわかれば足ります。 セマンティック・インスタンスとパノプティックの違い

◯ 正しい パノプティックの出力は、画素ごとの「クラス」と「個体の番号」の組です。番号を捨てれば、すべての画素にクラスだけが付いた地図になります。 セマンティック・インスタンスとパノプティックの違い

× 誤り インスタンスセグメンテーションは、重なっていても物体ごとに別々のマスクを出力します。接した同じクラスの物体が1つの領域になるのは、セマンティックセグメンテーションです。 セマンティック・インスタンスとパノプティックの違い

× 誤り 条件にするのは直前のn−1語だけです。たとえばtri-gramなら直前の2語です。それより前の語の影響は扱えず、この限界はRNNやTransformerによる言語モデルで補われました。 n-gram

◯ 正しい bi-gramは1万の2乗で1億通り、tri-gramは1万の3乗で1兆通りです。nを大きくするほど組み合わせが急増し、学習データに一度も現れない並びが増えます。 n-gram

◯ 正しい 1文字ずつずらしながら、連続する2文字を取り出します。4文字の語からは3つ、一般にm文字からはm−1個のbi-gramができます。 n-gram

× 誤り これはBERTの説明です。ELMoは双方向のLSTMを使い、前から次の単語を予測する言語モデルと、後ろから前の単語を予測する言語モデルを学習します。 ELMo

◯ 正しい 論文では、下の層は文法的な情報、上の層は意味的な情報を捉えやすいと分析されています。両方を使い分けられるのが利点です。 ELMo

◯ 正しい ELMoは特徴量として足して使う方式が基本です。モデル全体をタスクに合わせて調整するBERTのファインチューニングとは対照的です。 ELMo

◯ 正しい 文書全体で1つの判定をすると、こうした評価の混在を表せません。観点ごとに判定すると、どこを改善すべきかが分かりやすくなります。 感情分析

× 誤り 2002年には、ナイーブベイズやSVMなどの機械学習で映画レビューを肯定・否定に分類する研究が発表されています。BERTは、その後の精度向上に貢献した手法の1つです。 感情分析

◯ 正しい 商品レビューの分析では極性の判定がよく使われます。問い合わせの応対の分析などでは、怒りや不安のような感情の種類を推定することもあります。 感情分析

◯ 正しい 人による評価は時間と費用がかかるため、2002年に自動評価の方法として提案されました。意味が正しくても言い回しが違うだけで点数が下がることがあり、人による評価と組み合わせて使います。 機械翻訳

× 誤り 2014年には、RNNを使ったSeq2SeqやAttentionによる機械翻訳が発表されています。Google翻訳も2016年にニューラル機械翻訳を導入しました。Transformerはその後に登場した方式です。 機械翻訳

◯ 正しい 機械翻訳の出力には、訳抜けや誤訳が含まれることがあります。機械が下訳を作り、人が仕上げることで、品質を保ちながら作業時間を短くできます。 機械翻訳

◯ 正しい 論文では、研究コミュニティで難しく興味深いと認められてきた既存のデータセットを使ったと説明しています。QNLIやWNLIは、既存のデータを2文の分類の形に直したものです。 GLUE

× 誤り GLUEは、1文または2文の入力を処理して全タスクの予測を出せれば、モデルの構造を問いません。そのため、BERTなどさまざまなモデルの比較に使われました。 GLUE

◯ 正しい 各タスクのスコアのマクロ平均で順位を決めます。正解率とF1値のように指標が複数あるタスクは、それらを平均してそのタスクのスコアにします。 GLUE

◯ 正しい 英語は空白で区切ればおおよその単語が得られます。日本語では「外国人参政権」のように複数の区切り方がありうるため、辞書と統計的な手がかりで最も自然な区切りを選びます。 形態素解析

× 誤り 多くの大規模言語モデルは、文字の並びの出現頻度から決めたサブワードという単位で区切ります。SentencePieceのように、形態素解析を使わずに生の文から区切り方を学習できる手法もあります。 形態素解析

◯ 正しい BoWやTF-IDFは単語ごとに出現回数を数えます。日本語では先に単語に区切らないと、数える単位が決まらないためです。 形態素解析

◯ 正しい 日本語では、係る側の語句が受ける側の語句より前に置かれるためです。係り受けどうしが交差しないという性質と合わせて、係り先の候補を絞り込む手がかりになります。 構文解析

× 誤り 「急いで走る犬を追いかけた」のように、係り受けを複数に解釈できる文があります。構文解析では、学習データの傾向などから、最ももっともらしい構造を選びます。 構文解析

◯ 正しい どちらも文の構造を求める構文解析の方法です。英語では句構造による表現、日本語では文節単位の係り受けによる表現がよく使われてきました。 構文解析

× 誤り CECは1997年の最初の論文から、LSTMの中心となる仕組みとして提案されています。2000年の研究で加えられたのは、忘却ゲートのほうです。 CEC

◯ 正しい 同じ重みで「情報を書き込む」と「無関係な入力から守る」の両方を担うと、更新が衝突します。そこで書き込みを制御する入力ゲートを置きました。出力ゲートは、読み出しを同じように制御します。 CEC

◯ 正しい 2000年の研究がこの弱点を指摘し、記憶セルが適切なときに自ら内容をリセットできるよう、忘却ゲートを加えました。 CEC

◯ 正しい 前の単語だけを参照するように制限したSelf-Attentionを使い、次の単語を順に予測します。Encoder側を使うBERTとは構造が異なります。 GPT

× 誤り 最初のGPTの論文は、事前学習したモデルをタスクごとにファインチューニングし、文の分類や質問応答などの理解系タスクで性能を高めたものです。 GPT

◯ 正しい 次の単語を予測する事前学習だけでは、指示に沿った応答をするとは限りません。そのため、InstructGPTと同じく、人の評価を使った調整が加えられました。 GPT

◯ 正しい 論文では、この性質を理由に、BoWと同じく語順を区別しないモデルとして名付けています。中心の単語より前の語も後の語も、同じように扱われます。 CBOW

× 誤り 640次元で比べた結果では、意味的な関係の正解率はCBOWが24%、スキップグラムが55%でした。CBOWは文法的な関係の課題で、スキップグラムをやや上回りました。 CBOW

◯ 正しい 論文では、通常のBoWと違って文脈を連続的な分散表現で表すことから、CBOWと呼ぶと説明しています。 CBOW

× 誤り 自然言語とは、日本語や英語のように人が日常で使う言葉のことです。人工的に設計されたプログラミング言語と区別するために「自然」と呼びます。 自然言語処理

◯ 正しい ルールベースの機械翻訳や、単語の出現頻度を使う検索エンジンなどは、大規模言語モデルよりずっと前から使われてきました。 自然言語処理

◯ 正しい 「黒い」が「目」と「猫」のどちらにかかるかで意味が変わります。こうした曖昧さを、文脈や大量のデータをもとに解消することが、自然言語処理の中心的な課題です。 自然言語処理

◯ 正しい 本の巻末の索引と同じ考え方です。検索語から、その語を含む文書をすぐに引けるため、文書が大量にあっても素早く検索できます。 情報検索

× 誤り これは適合率です。再現率は、求める情報に合う文書全体のうち、検索結果に含まれたものの割合です。 情報検索

◯ 正しい モデルが学習していない社内文書や新しい情報をもとに回答させるための仕組みです。回答の根拠にした文書を示しやすくなる利点もあります。 情報検索

◯ 正しい 遠い語ほど、中心の単語との関係が薄いためです。論文では、周辺語をとる範囲を中心語ごとにランダムに狭めることで、遠い語を少なめに使い、重みを下げています。 スキップグラム

× 誤り 範囲を広げると予測する周辺の単語が増え、計算量は大きくなります。論文では、範囲を広げるとベクトルの質は上がる一方で、計算量も増えると報告しています。 スキップグラム

◯ 正しい 語彙が大きくても、1回の更新で計算する単語は少数で済みます。Mikolovらは2013年の続く論文で、階層的ソフトマックスに代わる簡単な方法として示しました。 スキップグラム

× 誤り 多くはTransformerのデコーダを使い、それまでの単語から次の単語を予測する課題で事前学習されます。前後両方の文脈から隠した単語を当てるのは、BERTの方法です。 大規模言語モデル

◯ 正しい パラメータ数がおよそ100分の1でも、人間の意図に沿うよう調整したモデルが好まれました。規模だけでは使いやすさが決まらないことを示した結果です。 大規模言語モデル

◯ 正しい 事前学習だけのモデルは、文章の続きを書くのは得意でも、指示に従うとは限りません。指示チューニングやRLHFで、使いやすい応答に近づけます。 大規模言語モデル

◯ 正しい 単語の共起の回数をまとめた行列を使い、その統計に合うようにベクトルを学習します。周辺の単語の予測から学ぶword2vecとは、出発点が異なります。 単語埋め込み

◯ 正しい 2016年の研究は、Google Newsの記事で学習した埋め込みに、性別に関する固定観念が強く表れていると報告しています。公平性の観点から注意が必要です。 単語埋め込み

× 誤り 大量の文章で学習済みの埋め込みを、別のタスクの入力に使うのは一般的な方法です。学習データの少ないタスクでも、単語の意味の情報を活用できます。 単語埋め込み

◯ 正しい IDFは、全文書数とその単語を含む文書数だけで決まります。同じ単語のTF-IDFが文書ごとに異なるのは、TFが異なるためです。 TF-IDF

× 誤り TF-IDFは、BoWの出現回数に重みを掛けたものです。語順は使わないため、「父が子を呼ぶ」と「子が父を呼ぶ」は同じベクトルになります。 TF-IDF

◯ 正しい IDFは、全文書数と、その単語を含む文書数で決まります。文書が増えるとこれらが変わるため、既存の文書のTFが同じでも、TF-IDFの値は変わりえます。 TF-IDF

× 誤り NSPは、2文目が本当に1文目の続きか、無関係な文かを見分ける2値の分類です。文を生成させる課題ではありません。 BERT

◯ 正しい 1つの事前学習済みモデルを各タスクにファインチューニングするだけで、多くのタスクの記録を塗り替えました。 BERT

◯ 正しい BERTは前後両方の文脈を使う前提で学習されています。まだ書かれていない後ろの単語に頼れない生成には、前から順に予測するデコーダ型が向きます。 BERT

× 誤り PaLMはデコーダだけをもつTransformerで、左から右へ次の単語を予測する標準的な言語モデルの課題で学習されました。この点はGPTシリーズと同じです。 PaLM

◯ 正しい BIG-benchの150タスクのうち25%で、80億から620億への伸びをもとにした予測よりも、5,400億での正解率が10ポイント以上高くなりました。 PaLM

◯ 正しい Webページ、書籍、Wikipedia、ニュース記事、会話などに加えて、24のプログラミング言語のソースコードが含まれていました。論文では、コード生成の能力も評価しています。 PaLM

◯ 正しい 語彙の各単語に要素を1つずつ割り当て、出現回数などを入れるためです。語彙が多いと、ほとんどの要素が0の疎なベクトルになります。 BoW（Bag-of-Words）

× 誤り 各要素の値は、その単語の出現回数か、出現したかどうかを表す0と1です。位置の情報は持たないため、語順は失われます。 BoW（Bag-of-Words）

◯ 正しい 出現回数は文書が長いほど増えがちです。総単語数で割った相対頻度にしたり、ベクトルの長さを1にそろえたりして、長さの違いを調整します。 BoW（Bag-of-Words）

◯ 正しい たとえばwhereの3文字のn-gramは「<wh」「whe」「her」「ere」「re>」です。単語そのものを表す「<where>」も1つの単位として加えます。 fastText

× 誤り それはBERTの説明です。fastTextはword2vecと同じく浅いネットワークで学習し、1つの単語には文脈によらず同じベクトルを割り当てます。 fastText

◯ 正しい 文書分類の論文では、10億語を超える文章を一般的なマルチコアCPUで10分足らずで学習できたと報告されています。 fastText

× 誤り それはワンホットベクトルの説明です。分散表現では、1つの単語の意味が多くの次元の値の組み合わせで表され、1つの次元は多くの単語の表現に関わります。 分散表現

◯ 正しい ワンホットベクトルでは、語彙数と同じ10万次元が必要です。分散表現は次元数を語彙数と切り離して決められるため、少ない次元に情報を密に詰め込めます。 分散表現

× 誤り 分布仮説は「似た文脈に現れる単語は意味も似ている」という考え方です。分散表現は意味をベクトルで表す方法です。word2vecは、分布仮説にもとづいて分散表現を学習します。 分散表現

◯ 正しい 人が要約を1つずつ評価するには大きな手間がかかるため、自動で評価する方法として考案されました。重なりが多くても事実の誤りは見逃しうるため、人による確認と組み合わせます。 文書要約

× 誤り 1958年には、語の出現頻度から文の重要度を計算し、重要な文を選んで要約を作る研究が発表されています。自然言語処理の中でも歴史の長いタスクです。 文書要約

◯ 正しい 同じ出来事を伝える複数の記事には、似た内容が繰り返し現れます。重なりを整理しないと、要約の中で同じ内容が何度も出てきてしまいます。 文書要約

◯ 正しい 性別や国と首都のような関係が、ベクトルの差としてほぼ一定の向きに表れます。word2vecの論文でも示された性質です。 word2vec

× 誤り 出現回数を数えて並べた疎なベクトルは、BoWなどのカウントに基づく表現です。word2vecは、予測の課題を学習する過程で、数百次元ほどの密なベクトルを単語ごとに得ます。 word2vec

◯ 正しい 文脈によらず同じベクトルになります。文脈ごとにベクトルを変えるELMoやBERTで、この問題の解決が進みました。 word2vec

◯ 正しい 次元数は語彙の数と同じです。ほとんどの要素が0の疎なベクトルになり、語彙が増えるほど次元も増えます。 ワンホットベクトル

× 誤り ワンホットベクトルの要素は0か1だけで、頻度は反映しません。文書中の単語のワンホットベクトルを足し合わせて出現回数を数えると、BoWの表現になります。 ワンホットベクトル

◯ 正しい 1の位置に対応する行（行列の向きによっては列）だけが残るためです。実際の実装では、掛け算をせずにその行を直接取り出して計算を省きます。 ワンホットベクトル

× 誤り 前後の文脈から隠した単語を当てるのは、BERTのマスク言語モデルです。GPTは、文章の先頭から順に、それまでの単語だけを手がかりに次の単語を予測します。 BERTとGPTの違い

◯ 正しい どちらも12層のTransformerです。大きさをそろえたうえで、前後両方を参照する事前学習の効果を示し、GLUEで比較したすべてのタスクで最初のGPTを上回る結果を報告しました。 BERTとGPTの違い

◯ 正しい BERTの論文の基本の使い方は、全パラメータのファインチューニングです。事前学習済みの部分を固定し、取り出した表現を別のモデルの入力に使う方法は、特徴量ベースの使い方と呼ばれます。 BERTとGPTの違い

◯ 正しい 単語の予測は、ベクトルを学ぶための課題です。学習後は、得られたベクトルを単語どうしの類似度の計算や、別のモデルの入力に使います。 CBOWとスキップグラムの違い

× 誤り word2vecの論文は、計算量の大部分が非線形の隠れ層から生じると考え、これを取り除いた浅いモデルとして2つを提案しました。単純にした分、大量の文章で学習できます。 CBOWとスキップグラムの違い

◯ 正しい CBOWは中心の単語1つにつき予測が1回で済み、スキップグラムは周辺の単語の数だけ予測します。論文の比較では、CBOWが約1日、スキップグラムが約3日でした。 CBOWとスキップグラムの違い

◯ 正しい 英語と中国語の両方で、人による自然さの評価が従来の最良の方式を上回ったと報告されています。 WaveNet

× 誤り 生成時は1サンプルずつ順に予測し、その結果を次の入力に使います。16kHzの音声なら1秒分で1万6,000回の予測が必要で、当初は生成の遅さが課題でした。 WaveNet

◯ 正しい 論文では、多数の話者の音声で学習した1つのモデルが、話者の指定を切り替えるだけで声を出し分けられることが示されています。 WaveNet

◯ 正しい 標本化で「いつの値を記録するか」、量子化で「どの細かさで記録するか」を決めます。そのあと符号化で、値を0と1の列にします。 A-D変換

× 誤り 段階の数は2のビット数乗です。8ビットは`2^8 = 256`段階、16ビットは`2^16 = 65,536`段階なので、256倍になります。 A-D変換

◯ 正しい 連続した値を有限の段階に丸めるため、丸めの誤差が必ず残ります。この誤差を量子化誤差、音として聞こえるものを量子化雑音と呼びます。 A-D変換

◯ 正しい 同じ音を対象にしても、音声学は「どんな音か」、音韻論は「その言語でどんな役割をもつか」に注目します。 音韻

× 誤り 韻律が不適切だと、音韻が正しくても棒読みのような不自然な音声になります。音声合成では、音韻の並びとともに、声の高さや音の長さも予測します。 音韻

◯ 正しい 東京の言葉では「雨」は「ア」が高く、「飴」は「メ」が高く発音されます。日本語は、声の高さの配置で語を区別する高低アクセントの言語です。 音韻

◯ 正しい 日本語では、漢字の読みやアクセントを決める処理が自然さを大きく左右します。そのうえで音響的な特徴を予測し、波形を作ります。 音声合成

× 誤り 波形接続型は、録音した音声の断片を選んでつなぎ合わせる方式です。統計モデルでパラメータを推定するのは、統計的パラメトリック型です。 音声合成

◯ 正しい 論文では、聞き手による自然さの評価（MOS）が4.53で、プロが録音した音声の4.58に迫ったと報告されています。 音声合成

◯ 正しい 単語誤り率は、置換・削除・挿入の数の合計を正解の単語数で割って求めます。`(1 + 1 + 1) ÷ 10 = 0.3`で30%です。挿入も誤りに数えるため、100%を超えることもあります。 音声認識

× 誤り 部品を別々に作って組み合わせるのは従来の方式です。End-to-End型は、音声の特徴量から文字列までを1つのニューラルネットワークで直接学習します。 音声認識

◯ 正しい 単語誤り率で評価するには、形態素解析などで文を単語に区切る必要があり、区切り方の違いで値が変わります。文字単位なら、この影響を受けません。 音声認識

× 誤り 「あ」は/a/の1つですが、「か」は子音の/k/と母音の/a/の2つの音素からなります。かなは、音素ではなく、おおむねモーラ（拍）という単位に対応します。 音素

◯ 正しい スラッシュは意味の区別にもとづく音素の表記、角かっこは実際に発音された音（単音）の表記です。国際音声記号（IPA）を使うときの慣習です。 音素

◯ 正しい 音素を前後の音素と組にして別々のモデルにすると、つながりによる音の変化をとらえられます。HMMを使う音声認識で広く使われた工夫です。 音素

◯ 正しい 音声認識なら、観測できるのは音声から取り出した特徴量で、隠れた状態は発話中の音素などに対応します。 隠れマルコフモデル

× 誤り これはマルコフ決定過程と強化学習の説明です。隠れマルコフモデルには行動も報酬もなく、観測の系列から隠れた状態を推定するのに使います。 隠れマルコフモデル

◯ 正しい 動的計画法により、すべての状態の並びを調べなくても最適な系列を求められます。 隠れマルコフモデル

× 誤り FFTは、DFTと同じ計算を、重複を省いて効率よく行う手順です。コンピュータでの丸め誤差を除けば、結果はDFTと一致します。 高速フーリエ変換（FFT）

◯ 正しい N = 1,024なら、`N × N`は`1,048,576`、`N × log2 N`は`1,024 × 10 = 10,240`で、約100分の1です。Nが大きいほど差は広がります。 高速フーリエ変換（FFT）

× 誤り 全体に1回かけると、全体を平均した周波数成分しか分かりません。時間の変化を見るには、短い区間ごとにFFTをかける短時間フーリエ変換を使います。 高速フーリエ変換（FFT）

◯ 正しい まず連続する同じ記号を1つにまとめて「c - a - t」とし、次にブランクを取り除くと「cat」になります。 CTC

◯ 正しい この仮定により計算は簡単になりますが、前後の文字のつながりはとらえにくくなります。そのため、単語のつながりを補う言語モデルと組み合わせることがよくあります。 CTC

× 誤り CTCは、フレームごとに1つの記号を出力し、それをまとめて文字列を作ります。そのため、出力の長さは入力のフレーム数を超えられません。 CTC

× 誤り 等間隔に並ぶ細かな山は、声帯の振動による微細構造です。スペクトル包絡は、それらの山の頂点をなぞるようななめらかな外形を指します。 スペクトル包絡

◯ 正しい 周波数の方向に見ると、包絡はゆっくり変わり、細かな凹凸は速く変わります。ケプストラムではこの違いで両者が分かれるため、低次の成分だけを残すと包絡を取り出せます。 スペクトル包絡

◯ 正しい 3つを別々に扱えるため、包絡を保ったまま基本周波数だけを変え、声質を変えずに声の高さを変えるといった加工ができます。 スペクトル包絡

× 誤り リニアPCMは、標本化と量子化をした値をそのまま記録する、圧縮していない形式です。聞こえにくい成分を削るのは、MP3やAACなどの非可逆圧縮です。 パルス符号変調器（PCM）

◯ 正しい 小さな音の誤差を抑えることで、1標本8ビットでも聞き取りやすい音を保ちます。段階を均等に区切るリニアPCMとは、この点が異なります。 パルス符号変調器（PCM）

◯ 正しい 16ビットの値をそのまま扱うと、1標本ごとに65,536通りの確率を出力する必要があり、扱いにくくなるためです。論文では、μ則による非線形の量子化のほうが、均等な量子化より元の音をよく再現できたと述べています。 パルス符号変調器（PCM）

◯ 正しい 第1フォルマントは、口の開きの大きさとよく対応します。口を大きく開ける「ア」では高く、口をあまり開けない「イ」や「ウ」では低くなります。 フォルマント

× 誤り 共鳴の周波数は、声道が短いほど高くなります。そのため声道の短い子どもでは、同じ母音でもフォルマントが全体に高い位置に現れます。 フォルマント

◯ 正しい ニューラルネットワーク以前の代表的な音声合成方式の1つです。計算量が少なくて済む一方、肉声に比べて機械的な音になりやすい方式でした。 フォルマント

◯ 正しい 1937年のスティーブンスらの研究で、1,000Hzの音を1,000メルとする基準が定められました。聞き手に「半分の高さ」に聞こえるよう音を調整させるなどして目盛りを作っています。 メル尺度

× 誤り よく使われる近似式では、1,000Hzは約1,000メル、2,000Hzは約1,521メルです。高い周波数ほど、同じ周波数の差に対するメルの増え方は小さくなります。 メル尺度

× 誤り メル尺度が表すのは、音の大きさではなく音の高さの感じ方です。音の大きさの感じ方には、フォン（phon）やソーン（sone）という別の尺度が使われます。 メル尺度

◯ 正しい MFCCは1つのフレームの形しか表しません。前後のフレームとの変化量を加えると、音が移り変わる様子もとらえられます。13個の係数にΔとΔΔを加えた39次元が代表的な構成です。 メル周波数ケプストラム係数（MFCC）

◯ 正しい 1963年にボガートらが名付けました。spectrumの先頭のspecを逆に並べてcepsとした語で、スペクトルの対数をさらに周波数分析するという処理の性質を表しています。 メル周波数ケプストラム係数（MFCC）

× 誤り MFCCには、声道の長さや形による個人差も表れます。そのため話者識別でも、代表的な特徴量として長く使われてきました。 メル周波数ケプストラム係数（MFCC）

◯ 正しい 照合は1対1、識別は1対多の判定です。電話窓口での本人確認は照合、会議の発言者の特定は識別の例です。 話者識別

× 誤り 声の特徴が似た区間をまとめれば、事前の登録がなくても「話者A」「話者B」のように区別できます。実名を付けたいときは、登録済みの声との照合を別に行います。 話者識別

◯ 正しい なりすましを見破る技術の研究が進んでいます。ASVspoof 2019では、合成・変換・再生された音声を集めた評価用のデータベースが公開されました。 話者識別

◯ 正しい InstructGPTでは、この報酬モデルの点数が高くなるように、PPOでモデルを更新しました。応答どうしを比べさせると、絶対的な点数を付けさせるより判断をそろえやすくなります。 RLHF

× 誤り 報酬モデルの弱点を突いた不自然な出力を防ぐため、教師ありファインチューニング後のモデルとのKL情報量で罰則をかけます。 RLHF

× 誤り それは報酬成形の説明です。RLHFは、報酬を人が式で書くのではなく、人間の比較評価から報酬モデルとして学習します。 RLHF

× 誤り StarCraft IIでは、相手の陣地の様子は偵察しないと見えません。見えない部分を推測しながら判断する不完全情報ゲームで、この点が囲碁と大きく異なります。 アルファスター（AlphaStar）

◯ 正しい エクスプロイターと呼ばれます。主力のエージェントは、弱点を突かれるたびにそれを克服するように学ぶため、特定の戦略に偏りにくくなります。 アルファスター（AlphaStar）

◯ 正しい プロトス、テラン、ザーグの3種族です。オンライン対戦の場であるBattle.netで匿名で対戦し、活動中のプレイヤーの99.8%より上位になりました。 アルファスター（AlphaStar）

◯ 正しい 従来の優先度付き経験再生のように新しい経験へ一律に最大の優先度を付けると、アクターが多い場合は直近の経験ばかり学ぶことになります。アクターは行動を選ぶためにQ値を手元で計算しているので、追加の負担なく優先度も求められます。 APE-X

× 誤り アクターごとにεの値を変えます。慎重に行動するアクターとよく探索するアクターの経験が混ざり、集まる経験が多様になります。 APE-X

◯ 正しい 連続値制御の課題向けに、DDPGをもとにしたApe-X DPGも示しました。行動と学習を分ける枠組みは、さまざまな学習の手法と組み合わせられます。 APE-X

◯ 正しい もとにしたNGUは2つを合わせた1つの価値として学習しており、報酬の大きさや頻度が大きく違うと学習が不安定になることがありました。分けて推定することで、学習が安定しました。 Agent57

× 誤り もとにしたNGUと同じく、状態の新しさに応じた内発的報酬を得点に加えて学習します。報酬がなかなか得られない、探索の難しいゲームで行動の範囲を広げるためです。 Agent57

× 誤り 平均スコアでは、それ以前のR2D2やMuZeroもすでに人間の基準を大きく上回っており、論文の表ではMuZeroの平均はAgent57より高い値です。一方、両者が人間の基準を上回ったのは52種類と51種類のゲームまででした。57種類すべてで上回った点が新しい成果です。 Agent57

◯ 正しい 学習時間も、それまでの最高水準の手法の約半分でした。大きな計算資源がなくても、並列化によって効率よく学習できることを示しました。 A3C

× 誤り 論文では、連続値の行動を扱う運動制御の課題や、画面の映像だけを手がかりに3次元の迷路を進む課題でも成果を示しました。方策を直接学ぶActor-Criticの構造なので、連続値の行動も出力できます。 A3C

◯ 正しい アドバンテージが正なら、その行動は見込みより良い結果につながったことになります。方策は、その行動を選びやすくなる方向へ更新されます。 A3C

◯ 正しい 人間のプレイヤーが得られる情報を、1ステップあたり約1万6,000個の数値で表しました。画像の認識より戦略の判断に研究の焦点を絞るためで、すべての試合を画像に描き出すと計算量が膨大になるという事情もありました。 OpenAI Five

× 誤り 同じ重みをもつ1つのネットワークの複製が、5体をそれぞれ操作しました。どのヒーローを操作しているかを示す入力があるため、複製ごとに違う行動をとれます。 OpenAI Five

× 誤り キャラクターが倒れたことや資源の獲得なども報酬に加える報酬成形を使いました。論文では、こうした追加の報酬が学習の成功に重要だったと述べています。 OpenAI Five

◯ 正しい データを集めたときの方策（行動方策）と、学習する方策は別のものとして扱います。診療記録や人間の運転ログのように、すでにある記録を生かせる点が利点です。 オフライン強化学習

◯ 正しい Conservativeは「控えめな」という意味です。通常の損失に、Q値を控えめに見積もらせる正則化の項を加えます。既存のQ学習やActor-Criticの実装に組み込みやすい手法です。 オフライン強化学習

× 誤り 環境と新たにやり取りせずに学ぶという意味です。データを1件ずつ使って重みを更新する最適化のオンライン学習とは、別の観点の言葉です。 オフライン強化学習

× 誤り ここでの残差は、既存の制御器の出力だけでは足りない分の補正です。ResNetの残差学習はネットワーク構造の工夫で、名前は似ていても指すものが違います。 残差強化学習

× 誤り 想定しているのは、おおむね動くが完全ではない制御器です。Silverらは、モデルの誤りや調整のずれがある制御器でも、学んだ補正で性能が大きく上がることを示しました。 残差強化学習

◯ 正しい 既存の制御器が作業の大筋を進めるので、報酬にたどり着く機会が増えます。Silverらは、強化学習だけでは解けなかった課題を解けることを示しました。 残差強化学習

◯ 正しい 5本指のShadow Dexterous Handを使った研究です。摩擦の大きさや物体の見た目などをシミュレータでランダムに変えながら学習し、その方策を実機に移しました。 sim2real

× 誤り 両方を組み合わせることもよくあります。Tanらの四足歩行ロボットの研究（2018年）では、モーターの特性や遅れをシミュレータで再現したうえで、物理的な条件のランダム化も加えました。 sim2real

◯ 正しい ドメイン適応と呼ばれる方法です。Bousmalisらは、シミュレータのデータとドメイン適応を組み合わせ、物体をつかむ学習に必要な実機のデータを最大で50分の1に減らしました。 sim2real

◯ 正しい 逆モデルと呼ばれる学び方です。行動を当てるには、行動によって変わった部分を表現に残す必要があります。そのため、背景の模様のような関係のない情報は落ちやすくなります。 状態表現学習

× 誤り 観測に加えて、とった行動や得られた報酬も手がかりにできます。報酬を予測させる課題を加えて、課題に関係する情報を表現に残す手法もあります。 状態表現学習

◯ 正しい 表現の学習と方策の学習を分けた例です。方策が受け取るのは圧縮された特徴なので、方策そのものはごく小さくて済みます。 状態表現学習

◯ 正しい 2010年にHado van Hasseltが提案しました。2つの価値の推定を用意し、一方で行動を選び、他方で評価します。ダブルDQNはこれをDQNに応用しました。 ダブルDQN

× 誤り DQNがもともともつターゲットネットワークを評価役に使うので、新たなネットワークは不要です。DQNからの主な変更は目標値の計算式だけです。 ダブルDQN

× 誤り 誤差が平均0でも、誤差で高めに出た値ほど最大値として選ばれやすいため、目標値は高めに偏ります。ダブルDQNはこの偏りを抑えます。 ダブルDQN

× 誤り 49種類すべてで、同じ構造と同じハイパーパラメータを使いました。入力は画面の画素とスコアだけで、1つの方法で多くのゲームに対応できることを示した点が重要です。 DQN

◯ 正しい 1回の計算で全行動のQ値が得られるので、最大のQ値をもつ行動を選ぶだけで行動を決められます。 DQN

× 誤り 学習中のネットワークの重みを、一定のステップ数ごとにだけコピーします。目標値が更新のたびに動くのを防ぎ、学習を安定させるためです。 DQN

◯ 正しい 2つの流れの出力を最後に組み合わせてQ値にします。出力はDQNと同じく行動ごとのQ値なので、DQNの学習方法をそのまま使えます。 デュエリングネットワーク

× 誤り それはダブルDQNの説明です。デュエリングネットワークはネットワークの構造を変える改良で、ダブルDQNと組み合わせて使うこともできます。 デュエリングネットワーク

◯ 正しい 状態価値に定数を足し、アドバンテージから同じ定数を引いても、Q値は変わりません。平均を引くことで分け方を定め、学習を安定させます。 デュエリングネットワーク

◯ 正しい 実画像での事前学習も行っていません。見た目を大きくばらつかせたことで、現実の画像も変化の1つとして扱えるようになり、実機でも約1.5cmの精度で位置を推定できました。 ドメインランダマイゼーション

× 誤り 物理的な条件も対象です。Pengらは、ロボットの各部の質量や関節の減衰、物体の摩擦、行動の間隔などをランダムに変えて、物を押す方策を学習しました。 ドメインランダマイゼーション

◯ 正しい 自動ドメインランダマイゼーション（ADR）と呼ばれます。最初から範囲を広げすぎると学習が難しくなるため、易しい環境から少しずつ難しくしていきます。 ドメインランダマイゼーション

◯ 正しい ノイズをどれだけ使うかが、学習を通じて自動的に調整されます。ε-greedy方策のように、εをどう減らしていくかを人が決める必要がありません。 ノイジーネットワーク

× 誤り DQNへの適用では、ε-greedy方策は使わず、ノイズの入ったQ値が最大の行動をそのまま選びます。探索は重みのノイズが担います。 ノイジーネットワーク

◯ 正しい A3Cでは、探索を促すために損失に加えていたエントロピーの項を外し、その代わりに使いました。方策を表すネットワークの全結合層にノイズを加えます。 ノイジーネットワーク

◯ 正しい 論文のロボット制御の実験では、εを0.1、0.2、0.3で比べ、範囲を0.8〜1.2とするε=0.2が最もよい結果でした。比が範囲の外に出ても目的関数はそれ以上よくならないため、方策を大きく動かす動機がなくなります。 PPO

× 誤り 逆です。PPOは、TRPOに近い安定性を保ちながら、勾配だけを使う簡単な計算で済むように工夫した手法です。実装しやすさが、広く使われる理由の1つです。 PPO

◯ 正しい 通常の方策勾配法では、集めたデータ1つにつき1回しか更新しません。PPOは方策の変化を抑えるので、同じデータで何度も更新でき、データを効率よく使えます。 PPO

◯ 正しい Ngらが1999年に示した結果で、ポテンシャルにもとづく報酬成形と呼ばれます。この形に当てはまらない途中の報酬は、課題によっては最適な方策を変えてしまいます。 報酬成形

× 誤り これはRLHFの説明です。報酬成形は、設計者が課題についての知識をもとに報酬の与え方を工夫する方法で、報酬を人間の比較評価から学ぶものではありません。 報酬成形

◯ 正しい 設計者の意図と違う形で報酬を最大化してしまうことを、報酬ハッキングと呼びます。途中の報酬は、本来の目的とずれていないかを確かめながら設計します。 報酬成形

◯ 正しい 学習の段階では追加の情報を使って学習を進めやすくし、実行の段階では各エージェントが自分の観測だけで動けるようにする考え方です。MADDPGなどの手法で使われています。 マルチエージェント強化学習（MARL）

× 誤り 協調型でも、味方のエージェントは学習によって方策を変えていきます。そのため、各エージェントから見た環境は変化し続け、非定常性の問題は残ります。 マルチエージェント強化学習（MARL）

◯ 正しい 同じ状態で同じ行動をとっても、相手の方策が変われば結果が変わるためです。DQNの学習を安定させた経験再生を、そのままでは使いにくい理由になります。 マルチエージェント強化学習（MARL）

◯ 正しい このほか、ダブルDQN、デュエリングネットワーク、分布型強化学習、ノイジーネットワークがあり、合計6つです。 Rainbow

× 誤り 並列に経験を集めるのはA3CやAPE-Xなどの特徴です。Rainbowは、1つのエージェントの中でDQNの6つの改良を組み合わせた手法です。 Rainbow

◯ 正しい 一方、デュエリングネットワークやダブルDQNを除いたときの差は、全体としては小さいものでした。 Rainbow

◯ 正しい 角度や踏み込み量は、いくらでも細かく選べる実数の値です。ロボットの関節に加える力の大きさも、同じく連続値制御の例です。 連続値制御

× 誤り 選択肢が有限個の課題は、離散的な行動の課題です。DQNはこの種の課題で成果を上げました。連続値制御は、行動を実数の値で決める課題を指します。 連続値制御

◯ 正しい 決定的方策勾配法にもとづく手法だからです。探索のときは、出力した行動に雑音を加えて、少し違う行動を試します。 連続値制御

◯ 正しい 入力が文章か音声か、出力が話し声か音楽かによって呼び方が変わりますが、どれも新しい音声データを作る技術です。 音声生成

◯ 正しい 文章と約3秒の録音を手がかりに、その話者に似た声の音声を作れると報告されました。文章生成と同じ考え方を音声に応用した例です。 音声生成

× 誤り 529人が参加した聞き取り実験では、合成音声を正しく見分けられた割合は73%にとどまりました。声のなりすましによる詐欺などへの対策が課題です。 音声生成

◯ 正しい 前者を条件なし生成、後者を条件付き生成と呼びます。Text-To-Imageや、画像から画像への変換は、条件付き生成の例です。 画像生成

◯ 正しい 画素の空間で拡散モデルを学習すると、膨大な計算が必要です。圧縮した潜在空間で処理することで、限られた計算資源でも高解像度の画像を扱えるようにしました。 画像生成

× 誤り FIDは、本物の画像と生成画像の特徴量の分布の距離を表します。値が小さいほど2つの分布が近く、質の高い生成とみなされます。 画像生成

◯ 正しい このとき生成器は訓練データの分布を再現しており、本物と偽物の区別がつきません。元の論文で、ミニマックスゲームの解として示された性質です。 GAN

× 誤り 画像を作るのは生成器です。ノイズを生成器に入力して画像を得ます。識別器は、主に学習の段階で生成器を鍛えるために使います。 GAN

◯ 正しい GANの学習の代表的な課題です。画質が高くても種類が偏ることがあるため、生成データの多様性も確かめる必要があります。 GAN

◯ 正しい 生成器2つと識別器2つの、合計4つのネットワークを学習します。戻す方向の生成器は、循環一貫性損失の計算に欠かせません。 CycleGAN

× 誤り それは識別器を使う敵対的な損失の役割です。循環一貫性損失は、変換した画像を元の領域へ戻したとき、入力画像とどれだけ一致するかを測ります。 CycleGAN

◯ 正しい 著者らも限界として挙げています。犬から猫への変換では、入力をほとんど変えない結果になりがちだと報告されています。 CycleGAN

◯ 正しい 生成器では逆に、転置畳み込み（論文の表現ではfractional-strided convolution）で画像を広げます。 DCGAN

× 誤り 生成器は出力層以外でReLU関数、出力層でtanh関数を使います。識別器はすべての層でLeaky ReLU関数を使います。 DCGAN

◯ 正しい 単語の分散表現で見られる、ベクトルの足し引きで意味の関係を表せる性質が、画像の潜在空間でも見られることを示しました。 DCGAN

◯ 正しい 元の画像を直接当てるのではなく、加わったノイズを推定して差し引きます。ステップの番号も入力するため、1つのネットワークですべての段階のノイズ除去を担えます。 Diffusion Model

◯ 正しい 高解像度の画素の上で直接ノイズ除去を繰り返すと計算が重くなります。小さな潜在表現の上で処理し、最後にデコーダで画像に戻します。 Diffusion Model

× 誤り 文章の情報は条件として、ノイズ除去の各ステップでネットワークに与えられます。潜在拡散モデルでは、クロスアテンションで取り込みます。 Diffusion Model

× 誤り 畳み込み層を使わない、全結合層だけの多層パーセプトロンです。画像全体ではなく、空間内の1点の座標を入力として受け取るためです。 NeRF

◯ 正しい 色が見る方向で変わるので、光沢や反射を表せます。密度を位置だけで決めるのは、どの角度から見ても形が食い違わないようにするためです。 NeRF

◯ 正しい 位置エンコーディングと呼ばれる工夫です。論文の実験では、これを外すと細部の再現が大きく劣りました。 NeRF

◯ 正しい PatchGANと呼ばれる識別器です。局所的な質感の本物らしさを見るので細部のぼやけを抑えやすく、パラメータも少なくて済みます。 Pix2Pix

× 誤り L1損失は、出力を正解画像に近づけ、大まかな形や色を合わせるために加えます。細部の鮮明さは敵対的な損失が担います。 Pix2Pix

◯ 正しい タスクごとに損失関数を設計し直さなくても、ペアのデータを替えるだけで学習できる汎用性が特徴です。 Pix2Pix

× 誤り 最初に確率の高い単語を選んでも、その後に続く単語の確率が低ければ、文全体の確率は低くなります。複数の候補を残すビームサーチは、この弱点を和らげる方法です。 文章生成

◯ 正しい 1つ選ぶたびに文脈が伸び、次の予測に使われます。文の終わりを表す記号が出るか、決めた長さの上限に達するまで繰り返します。 文章生成

◯ 正しい 候補の数が文脈に応じて変わるのが特徴です。確率の低い単語を候補から外すため、まとまりを保ちながら多様な文章を作れます。 文章生成

◯ 正しい 論文の題名も「Diffusion Models Beat GANs on Image Synthesis」です。比較の相手は当時最高水準のBigGAN-deepで、拡散モデルのほうがデータの分布もよくカバーしたと報告しています。 GANと拡散モデル（Diffusion Model）の違い

× 誤り モード崩壊は、生成器と識別器を競わせるGANの代表的な課題です。拡散モデルは、データの分布を広くカバーしやすいとされます。 GANと拡散モデル（Diffusion Model）の違い

× 誤り どちらもGANの派生モデルです。Pix2Pixは条件付きのGANで、CycleGANは敵対的な損失に循環一貫性損失を加えたGANで、画像を変換します。 GANと拡散モデル（Diffusion Model）の違い

◯ 正しい もう1つの項である再構成誤差が、入力の再現を担います。KL情報量の項があるため、標準正規分布から取り出した値をデコーダに通したときに、意味のあるデータになりやすくなります。 GANとVAEの違い

× 誤り 生成器が受け取るのはランダムなノイズです。訓練データを直接見るのは識別器で、生成器は識別器から返る誤差を通して、間接的に本物らしさを学びます。 GANとVAEの違い

◯ 正しい VAEは標準正規分布から取り出した潜在変数をデコーダに、GANはノイズを生成器に入力します。どちらも、生成のときに訓練データは必要ありません。 GANとVAEの違い

◯ 正しい 正解は隠す前の文章そのものにあるため、人手でラベルを付ける必要がありません。 自己教師あり学習

× 誤り プレテキストタスクは表現を学ぶための手段です。得られたモデルを、分類などの下流タスクへファインチューニングなどで生かすことが目的です。 自己教師あり学習

◯ 正しい どの2枚が同じ画像から作られたかは自動でわかるため、ラベルなしで学習できます。どのデータ拡張を組み合わせるかが性能を大きく左右します。 自己教師あり学習

◯ 正しい BERTの論文は、事前学習したモデルに出力層を1つ加えて微調整するだけで、多くの言語タスクの精度を高められることを示しました。 事前学習済みモデル

× 誤り BERTやGPTは、文中の隠した単語や次の単語を予測する自己教師あり学習で事前学習します。正解は文章自体から作るため、人手のラベルは要りません。 事前学習済みモデル

× 誤り モデルごとに利用条件が定められ、商用利用を制限するものもあります。学習データの偏りは、そのままモデルに引き継がれることにも注意が必要です。 事前学習済みモデル

◯ 正しい 正例を近づけるだけなら、どの入力にも同じベクトルを出せば損失が小さくなります。この崩壊と呼ばれる状態を、負例を遠ざけることで防ぎます。 対照学習

× 誤り 自己教師ありの対照学習では、同じデータから作った2つの見え方や、対応する画像と文章の組を正例とします。組の関係はデータから自動でわかるため、人手のラベルは要りません。 対照学習

◯ 正しい アンカー（基準）・正例・負例の3つ組で学習するため、この名前があります。顔認証のFaceNetなどで使われ、対照学習と同じく距離の関係を学びます。 対照学習

◯ 正しい 日本語の解説でよく使われる区別です。事前学習済みの層の重みまで更新する方法は、ファインチューニングと呼んで区別します。 転移学習

× 誤り 元のタスクと目的のタスクが似ているほど、学習した特徴を生かしやすくなります。かけ離れていると、かえって性能が下がる負の転移が起きることがあります。 転移学習

◯ 正しい 入力に近い層ほど汎用的で、出力に近い層ほどタスクに固有の特徴を表します。学習済みの層を別のタスクに流用できるのは、このためです。 転移学習

◯ 正しい 知識は多数の重みに分散して蓄えられています。新しいタスク向けに同じ重みを更新すると、古いタスクの性能が崩れます。 破滅的忘却

◯ 正しい ネットワークを凍結するのではなく、重みごとに重要度を見積もり、重要な重みの学習だけを選んで遅くします。 破滅的忘却

× 誤り リハーサル（リプレイ）は代表的な対策です。古いタスクの例を学習に含め続けることで、古いタスクの性能を保ちやすくなります。 破滅的忘却

◯ 正しい 自己訓練とも呼ばれる代表的な方法です。誤った疑似ラベルを学習すると誤りが強まるため、確信度のしきい値などで選別します。 半教師あり学習

× 誤り ラベルなしデータの分布がラベル付きデータと大きく異なる場合や、疑似ラベルの誤りが多い場合は、かえって精度が下がることがあります。 半教師あり学習

◯ 正しい 正解ラベルがなくても、予測がぶれないことを手がかりに学習できます。FixMatchは、疑似ラベルとこの考え方を組み合わせた方法です。 半教師あり学習

◯ 正しい ランダムな初期値から学習するのではなく、汎用的な特徴をすでに身につけた重みから出発する点が要点です。 ファインチューニング

× 誤り 事前学習で汎用的な特徴を獲得済みなので、目的のタスクのデータが少量でも高い精度を得やすくなります。これが最大の利点です。 ファインチューニング

◯ 正しい InstructGPTなどで用いられた流れです。まず模範的な応答をまねるように調整し、その後に人の評価をもとにした強化学習を行います。 ファインチューニング

◯ 正しい N-way K-shotのNはクラスの数、Kは1クラスあたりの例の数です。「5-way 1-shot」なら、5クラスについて各1個の例だけを与えます。 Few-shot学習

× 誤り 数個の例だけでゼロから学習しても、過学習してうまく汎化しません。事前学習やメタ学習で得た汎用的な知識があるからこそ、少ない例で対応できます。 Few-shot学習

◯ 正しい 多数の小さなタスクで学習を繰り返し、どのタスクにもすばやく合わせられる出発点を探します。学び方そのものを学ぶメタ学習の代表例です。 Few-shot学習

◯ 正しい 2015年の研究では、手書き文字の画像で類似度を学習しました。学習時に見ていない文字の種類も、各1枚の例との比較で分類できます。 One-shot学習

× 誤り 類似度や照合の仕方を学習したネットワークなら、新しいクラスの例を1枚登録して比べるだけで済みます。学習し直さずに済む点が利点です。 One-shot学習

× 誤り 2つのCNNは重みを共有します。2枚を同じ変換でベクトルにするので、ベクトルどうしの距離を類似度として比べられます。 One-shot学習

× 誤り 重みを固定しても、付け替えた出力層は目的の課題に合わせて学習する必要があり、そのための正解ラベル付きデータが要ります。利点は、必要な量が少なくて済むことです。 転移学習とファインチューニングの違い

× 誤り 入力に近い層は多くの課題に共通する特徴を表すため、そこを固定し、課題に固有の特徴を表す出力に近い層だけを調整するやり方もよく使われます。 転移学習とファインチューニングの違い

◯ 正しい 更新するパラメータが多いほど、少ないデータの細かい癖まで覚え込みやすくなります。データが少ないときは、出力層だけを学習する方法と比べて選びます。 転移学習とファインチューニングの違い

◯ 正しい 機械翻訳のエンコーダ・デコーダの考え方を応用し、文を読み取るRNNの代わりに、CNNで画像を読み取ります。 Image Captioning

◯ 正しい Show, Attend and Tell（2015年）の手法です。単語ごとの注目領域を可視化でき、モデルの振る舞いを確かめる手がかりにもなります。 Image Captioning

× 誤り 決めたクラスから1つを選ぶのは画像分類です。Image Captioningは、単語を並べた自由な文章を生成します。 Image Captioning

◯ 正しい 報告書は、BERT、DALL-E、GPT-3などを例に挙げました。多くの応用の土台となる一方で、不完全さも併せもつことを強調するための名前だと説明しています。 基盤モデル

× 誤り 基盤モデルは、扱うデータの種類を限定しない呼び方です。画像と文章を扱うCLIPや、画像を生成するDALL-Eなども例に挙げられます。 基盤モデル

◯ 正しい 報告書は、多くのモデルが同じ基盤に集約される均質化の利点と危うさを指摘しています。基盤の欠陥は、適応したすべてのモデルに影響します。 基盤モデル

◯ 正しい ミニバッチ内のすべての画像と文章の組み合わせで類似度を計算し、正しい組だけを近づけます。約4億組のペアで学習しました。 CLIP

× 誤り CLIPは、クラスラベルではなく、インターネットから集めた画像と文章のペアで学習します。文章が教師の役割を果たします。 CLIP

× 誤り CLIPは画像と文章がどれだけ対応するかを測るモデルで、画像は生成しません。ただし、DALL-E 2などの画像生成モデルの部品として使われます。 CLIP

× 誤り 例を1つだけ示すのはOne-shotです。Zero-shotでは例を1つも示さず、タスクの説明やクラス名だけを与えます。 Zero-shot

◯ 正しい GPT-3の論文でも、タスクの説明だけを与えて例を示さない設定をZero-shotと呼んでいます。モデルの重みは更新しません。 Zero-shot

◯ 正しい 見たことのある動物の画像で属性の判定を学び、未知のクラスは属性の組み合わせで記述します。初期の代表的な方法です。 Zero-shot

◯ 正しい 画像はまず離散VAE（dVAE）で32×32個のトークンに圧縮されます。文章に続けて画像のトークンを1つずつ予測する自己回帰型のモデルです。 DALL-E

× 誤り DALL-E 2は、文章からCLIPの画像埋め込みを予測し、その埋め込みをもとに拡散モデルで画像を生成します。GANの仕組みは使っていません。 DALL-E

◯ 正しい プロンプトに従いにくい原因は、学習データの説明文にノイズや不正確さが多いことにあると考え、専用のキャプション生成モデルで説明文を作り直しました。 DALL-E

◯ 正しい Reedらの研究です。文章を特徴ベクトルに変換し、生成器と識別器の両方に条件として与えました。鳥や花の詳しい説明文から、それらしい画像を生成できることを示しました。 Text-To-Image

× 誤り 多くのモデルは、ランダムなノイズから生成を始めます。乱数の種（シード）を変えると、同じプロンプトでも異なる画像ができます。 Text-To-Image

◯ 正しい 文章と画像の対応を学ぶためです。学習データの画像の権利や、説明文の質と偏りが、生成結果や法的な論点に影響します。 Text-To-Image

◯ 正しい VQA v2.0です。偏りの大きいデータでは、画像を理解していないモデルでも正解率が高く出てしまい、能力を過大に評価するおそれがあります。 Visual Question Answering

× 誤り VQAの質問は自由な文章です。「何人いるか」「何色か」「左にあるのは何か」など、さまざまな問いを扱います。 Visual Question Answering

◯ 正しい 2015年の論文のモデルでは、よく出る1,000個の答えを候補にしました。現在は、答えを文章として生成する視覚言語モデルも使われます。 Visual Question Answering

× 誤り Flamingoの出力は文章です。画像や動画は入力として読み取るだけで、生成はしません。文章から画像を作るのはDALL-Eなどです。 Flamingo

◯ 正しい 画像の大きさや動画のフレーム数によらず、64個のトークンにまとめます。文章側から画像を参照する計算量を抑えるための工夫です。 Flamingo

◯ 正しい M3Wと呼ぶ、約4,300万ページ分のデータです。論文の実験では、このデータを学習から外すと性能が大きく下がりました。 Flamingo

◯ 正しい ニューラルネットワークのマルチタスク学習で最もよく使われる方式です。共有した層が、複数のタスクに通じる特徴を学びます。 マルチタスク学習

× 誤り 先に学んだ知識を後のタスクに移すのは、転移学習やファインチューニングです。マルチタスク学習は、複数のタスクを同時に学習します。 マルチタスク学習

◯ 正しい 一緒に学ぶ別のタスクを補助タスクと呼びます。補助タスクの教師信号が手がかりとなり、共有部分が主なタスクにも役立つ特徴を学びます。 マルチタスク学習

× 誤り 画像の出力もトークン列として生成します。VQ-GANのコードの列を出力し、それをVQ-GANのデコーダで画像に戻すため、タスク専用の出力層はもちません。 Unified-IO

◯ 正しい たとえば深度推定では「この画像の深度マップは何か」のような指示を与えます。VQAのように、質問文そのものがタスクを表す場合は指示を省きます。 Unified-IO

◯ 正しい GLUEやSuperGLUEに含まれる文章分類などです。文章も画像も同じトークン列で表すため、1つのモデルでまとめて学習できます。 Unified-IO

× 誤り Zero-shotの「ゼロ」は、解きたいタスクの例の数です。モデルは事前学習で幅広い知識を得ており、その知識と指示やクラス名を手がかりに推論します。 Zero-shotとFew-shotの違い

◯ 正しい GPT-3などを使った実験で、例の選び方やプロンプトの形式に加え、例の順番によっても、精度が当て推量に近い水準から最高水準に近い水準まで変わりうると報告されています（Zhaoら、2021年）。 Zero-shotとFew-shotの違い

◯ 正しい Zero-shotではクラス名や指示などの説明だけを与えるため、例を集める前でも使えます。精度が足りなければ、数個の例を用意してFew-shotを試します。 Zero-shotとFew-shotの違い

◯ 正しい 勾配を特徴マップ全体で平均して重要度とし、それで重み付けした特徴マップの和にReLU関数をかけてヒートマップを作ります。 Grad-CAM

◯ 正しい 特徴マップは入力画像より小さいため、拡大して重ねると粗い表示になります。細部まで見たいときはGuided Grad-CAMを使います。 Grad-CAM

× 誤り Grad-CAMは畳み込み層の特徴マップと勾配を使うため、主にCNNが対象です。モデルの種類を問わない手法には、LIMEやSHAPがあります。 Grad-CAM

◯ 正しい SHAPは、予測値と基準値の差を各特徴量に配分します。配分の合計が差にぴったり一致するため、説明に過不足が生じません。 SHAP

× 誤り SHAPが分け合うのは、モデルの予測値です。正解ラベルは使わないため、結果がまだわからない新しいデータの予測も説明できます。予測の当たり外れを使うPermutation Importanceとの違いです。 SHAP

◯ 正しい SHAPは1件ごとの説明が基本ですが、集計すれば大域的な重要度としても使えます。各データのSHAP値を並べた図では、影響の向きも確認できます。 SHAP

◯ 正しい XAIには、もともと解釈しやすいモデルを選ぶ方法と、複雑なモデルに後から説明を付ける方法があります。精度とのバランスを考えて選びます。 説明可能AI（XAI）

× 誤り XAIの主な目的は、判断の根拠を人が理解し、適切に信頼したり誤りに気づいたりできるようにすることです。説明を付けても精度が上がるとは限りません。 説明可能AI（XAI）

◯ 正しい XAIという言葉が広まるきっかけの1つとなったプログラムです。説明可能なモデルと、説明を人に伝えるインターフェースの両方を研究しました。 説明可能AI（XAI）

◯ 正しい 特徴量を1つずつ取り除いて学習し直す方法との違いです。再学習が要らないため、計算の手間を抑えられます。 Permutation Importance

× 誤り わかるのは、そのモデルが予測にその特徴量をどれだけ頼っているかです。原因と結果の関係までは示しません。モデルが疑似相関をとらえている場合もあります。 Permutation Importance

◯ 正しい 学習データの偶然のくせを覚えた特徴量も、学習データの上では性能を支えて見えます。汎化性能への寄与を見るには、検証データやテストデータで計算します。 Permutation Importance

× 誤り LIMEはモデルを外から何度も呼び出し、入力を変えたときの予測の変化だけを手がかりにします。内部の構造を問わないため、ランダムフォレストなどにも使えます。 LIME

◯ 正しい 画素1つずつでは数が多すぎるため、まとまった領域を単位にします。隠すと予測が大きく下がる領域が、判断に効いた部分として示されます。 LIME

◯ 正しい 文章では、単語があるかないかを入力の変え方に使います。取り除くと予測が大きく変わる単語ほど、その予測に強く効いていたと読み取れます。 LIME

◯ 正しい 論文は、LIMEを含む既存の6つの手法を「特徴量ごとの寄与の足し算で説明する手法」という1つの枠組みにまとめました。そのうえで、望ましい性質を満たす配分はシャープレイ値だけだと示しています。 LIMEとSHAPの違い

× 誤り LIMEは近さの重み付けなどを経験的に決めるため、合計が差に一致する保証はありません。合計が必ず差に一致するのは、シャープレイ値にもとづくSHAPの性質です。 LIMEとSHAPの違い

◯ 正しい SHAPの論文は、LIMEの回帰の枠組みのまま、重み付けのカーネルや損失などを特定の形にすればシャープレイ値を推定できることを示しました。モデルの種類を問わずに使えます。 LIMEとSHAPの違い

◯ 正しい 学習には大量のデータと計算が必要で、端末で行うのは多くの場合困難です。端末では、配布されたモデルで推論だけを行うのが一般的です。 エッジAI

× 誤り 推論に使うモデルは端末の中にあるため、通信が途切れても動き続けられます。電波の届きにくい設備や、走行中の車などで使える点も利点です。 エッジAI

◯ 正しい NPUなどと呼ばれる回路です。モデル圧縮によるソフトウェア側の工夫に加え、ハードウェア側でもエッジでの推論を支えています。 エッジAI

◯ 正しい ソフトターゲットには、正解以外のクラスとどれだけ似ているかという情報が含まれます。生徒はこれを手がかりに効率よく学べます。 蒸留

× 誤り 温度を上げると分布はなめらかになります。Tを小さくするほど1つのクラスに集中します。蒸留ではTを上げて、小さな確率の差を見えやすくします。 蒸留

× 誤り それはプルーニングの説明です。蒸留は、教師モデルを手本にして、別の小さな生徒モデルを新しく学習させます。 蒸留

◯ 正しい 学習後の重みの絶対値を見て、小さいものを刈り込みます。そのため、当たりくじを探すだけでは、大きなネットワークを学習する手間は省けません。 宝くじ仮説

× 誤り 論文では、当たりくじは元と同程度の学習回数で同程度の精度に達しました。刈り込みすぎなければ、元より速く学習が進むことも報告されています。 宝くじ仮説

◯ 正しい 大きなネットワークほど多くのくじを持ち、当たりを含みやすくなります。大きなネットワークが学習しやすい理由を説明する見方の1つでもあります。 宝くじ仮説

◯ 正しい 0が飛び飛びに残るだけでは、行列の形は変わりません。通常の計算では0との掛け算も行うため、速くするには疎な行列に向いたライブラリやハードウェアが必要です。 プルーニング

× 誤り どちらも枝刈りと呼ばれますが、別物です。αβ法は結果を変えずに探索を省きます。プルーニングはモデルの重みを削るため出力がわずかに変わることがあり、再学習で補います。 プルーニング

◯ 正しい 絶対値が小さい重みは、出力への影響が小さいとみなせるためです。初期の研究では、誤差の2階微分を使って影響を見積もる方法も提案されました。 プルーニング

× 誤り 組み合わせて使えます。たとえばDeep Compressionは、プルーニング、量子化、ハフマン符号化を順に組み合わせ、精度を落とさずにデータ量を大きく減らしました。 モデル圧縮

◯ 正しい 推論は利用のたびに発生します。そのため、1回あたりの計算を減らす効果は、利用者が多いほど大きくなります。 モデル圧縮

◯ 正しい ほとんど変わらない場合もあれば、大きく下がる場合もあります。用途で許される精度を満たすかを、圧縮後のモデルで確かめます。 モデル圧縮

◯ 正しい 前者を学習後量子化、後者を量子化を考慮した学習と呼びます。後者は手間がかかる分、少ないビット数でも精度を保ちやすくなります。 量子化

× 誤り 量子化では、パラメータの数は変わりません。1つ1つの値を表すビット数を減らします。重みや結合そのものを取り除くのはプルーニングです。 量子化

◯ 正しい A-D変換では音の振幅を、モデル圧縮では重みなどの値を丸めます。どちらも段階を粗くするほどデータ量は減り、誤差は大きくなります。 量子化

◯ 正しい 生徒は教師の出力を手本に新しく学習するため、構造を自由に決められます。BERTを蒸留したDistilBERTも、層の数を減らした生徒モデルです。 プルーニング・量子化と蒸留の違い

× 誤り 2015年に発表されたDeep Compressionは、プルーニングの後に量子化とハフマン符号化を行い、AlexNetの保存容量を約35分の1にしました。手法は組み合わせられます。 プルーニング・量子化と蒸留の違い

× 誤り パラメータの数を変えずにビット数を減らすのは量子化です。蒸留の生徒モデルは、教師の出力を手本に新しく学習させた別のモデルで、層の数を減らすなどして教師より小さく設計するのが普通です。 プルーニング・量子化と蒸留の違い