ある飲料メーカーの販促部門が、言語モデルで新商品のキャッチコピー案を作っている。モデルは次に来る単語の確率分布を出力し、そこから単語を1つずつ選んで文章を生成する。何度生成しても似た案ばかりになるため、案のばらつきを増やしたい。生成時の設定の変更として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：文章生成の多様さの調整
ポイント
文章生成では、温度を上げると出力が多様に、下げると安定になります。目的に応じて生成時の設定を選びます。
選択肢ごとの解説
- A
不適切
top-pサンプリング（Nucleus Sampling）は、確率の上位から足し合わせてpに達するまでの単語だけを候補にします。pを小さくすると候補が上位のごく少数に絞られて貪欲法に近づくため、ばらつきはかえって減ります。
- B
不適切
貪欲法は毎回最も確率の高い単語を選ぶため、同じ入力からはいつも同じ文章が出ます。案のばらつきを増やす目的には合いません。
- C
不適切
ビームサーチは確率の高い系列を探す方法で、同じ入力からは同じ結果が出ます。確率の最大化を目指す方法は、ありきたりで繰り返しの多い文になりやすいことも知られています。
- D
適切 正解
温度は、ソフトマックス関数に入れる前の値を割る数です。1より大きくすると単語ごとの確率の差が縮まり、確率の低い単語も選ばれやすくなるため、案のばらつきが増えます。上げすぎると文のつながりが崩れやすくなります。
試験での狙われ方
温度、top-pサンプリング、貪欲法、ビームサーチなど生成時の設定と、出力の多様さや安定性との対応を整理しておくと、活用場面の問題に対応しやすくなります。