大量のラベルなしデータを用いる自己教師あり学習に関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 C
この問題の論点：自己教師あり学習の事前タスク
ポイント
自己教師あり学習の事前タスクは、それ自体が目的ではありません。下流タスクに役立つ表現を学ぶための手段です。
選択肢ごとの解説
- A
適切
BERTのマスク言語モデルの例です。隠す前の単語がそのまま正解になるため、ラベルなしの文章だけで大量の学習問題を作れます。これが自己教師あり学習の基本的な考え方です。
- B
適切
SimCLRなどの対照学習の例です。同じ画像から作ったかどうかはデータの作り方から自動でわかるため、クラスのラベルがなくても、見た目の変化に左右されにくい表現を学べます。
- C
不適切 正解
Masked Autoencoder（MAE）では、事前学習の後に復元用のデコーダを捨て、エンコーダを画像分類などの下流タスクに転用します。隠した部分の復元は、役に立つ表現を学ぶための手段です。
- D
適切
GPTのように次の単語を予測する事前学習も、文章の続きそのものが正解になるため、自己教師あり学習の一種として扱われます。人手のラベルなしで大量の文章を学習に使えます。
試験での狙われ方
具体的な事前タスクの例を示し、自己教師あり学習にあたるかどうかや、学習後のモデルの使い道を問う形が考えられます。