BERTは事前学習で、文中の一部の単語を隠し、その単語を前後の文脈から当てるタスク（Masked Language Model）を用いる。GPTのように次の単語を順に予測するのではなく、この方法をとる理由として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：BERTの事前学習
ポイント
BERTは隠した単語を前後の文脈から当てることで、答えが入力から見えてしまう問題を避けつつ、双方向の文脈を学習します。
選択肢ごとの解説
- A
適切 正解
BERTはSelf-Attentionで文中のすべての単語を参照するため、普通に予測させると答えが入力に含まれてしまいます。そこで入力の約15%の単語を予測の対象に選び、その多くを[MASK]という記号に置き換えて当てさせます。これで双方向の文脈を使った事前学習が可能になりました。
- B
不適切
隠した単語は[MASK]という記号に置き換えるので、系列の長さは変わりません。Self-Attentionの計算量は系列の長さに応じて決まるため、Masked Language Modelは計算量を減らすための工夫ではありません。
- C
不適切
BERTはTransformerのエンコーダを積み重ねたモデルで、文章を先頭から生成する用途には向きません。事前学習の後にファインチューニングして分類や質問応答に使い、GLUEなどの言語理解のベンチマークで当時の最高性能を示しました。
- D
不適切
BERTは単語の位置を表す情報（位置埋め込み）を入力に加えており、語順も表現に反映されます。語順を無視して単語の出現回数だけで文書を表すのは、BoW（Bag-of-Words）の考え方です。
補足
BERTは、隠した単語を当てるタスクのほかに、2つの文が本来続いていたかを判定するNext Sentence Prediction（NSP）でも事前学習します。どちらも正解を文章そのものから作れるため、人手でラベルを付けずに大量の文章で学習できます。
試験での狙われ方
BERTとGPTの違い（エンコーダかデコーダか、双方向か一方向か）や、事前学習のタスクの中身を問う形が見られます。