ある家電メーカーが、日本語の文章で事前学習されたBERTを使い、（1）問い合わせメールを「修理」「返品」「使い方」などの種類に分類する、（2）修理受付票から製品名や日付などの語句を抜き出す、（3）取扱説明書の文章から質問の答えにあたる箇所を示す、の3つの機能を作る。開発方針として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 C
この問題の論点：BERTを下流タスクに使う方法
ポイント
BERTはタスクに合わせた出力層を加えてファインチューニングします。質問応答では、文章中の答えの開始位置と終了位置を予測します。
選択肢ごとの解説
- A
適切
BERTでは、文頭に置く[CLS]トークンの出力を文全体を代表するベクトルとして扱い、これに分類用の層をつなぎます。提案論文でも、感情分析などの分類タスクをこの形で解いています。
- B
適切
語句の抜き出しは、トークンごとにラベルを付ける系列ラベリングの問題です。各トークンの出力ベクトルを、ラベルを予測する出力層に入れる形でファインチューニングします。
- C
不適切 正解
BERTによる質問応答では、質問文と答えを探す文章を1つの系列につないで入力し、文章中の答えの開始位置と終了位置を予測します。BERTは文を1語ずつ生成する用途向けのモデルではありません。
- D
適切
提案論文では、タスクに合わせた出力層を加え、事前学習済みのパラメータも含めて全体をファインチューニングしています。事前学習に比べて、少ない計算量で済む点が利点です。
試験での狙われ方
BERTは文章の理解に使うエンコーダ型のモデルです。文章を生成するGPTとの違いと合わせて押さえると、選択肢を絞りやすくなります。