あるソフトウェア会社が、自社の対話型AIの応答を利用者の意図に沿ったものにするため、InstructGPTと同様の手順でRLHFを行う。各段階の進め方の説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 C
この問題の論点：RLHFの各段階の役割
ポイント
RLHFでは、人間の比較データで学習した報酬モデルの出力を報酬として、PPOなどの強化学習で言語モデルを更新します。
選択肢ごとの解説
- A
適切
第1段階は教師ありファインチューニングです。評価者が書いた模範応答で事前学習済みモデルを調整し、指示に従って応答する土台を作ります。次の段階で比べる応答も、主にこのモデルが生成します。
- B
適切
第2段階では、評価者が複数の応答を比べて付けた順位のデータから、人間が好む応答ほど高い値を返す報酬モデルを学習します。この報酬モデルが、次の段階で人間の評価の代わりを務めます。
- C
不適切 正解
強化学習では膨大な数の応答を評価する必要があり、そのたびに人が点数を付けるのは現実的ではありません。そこで第3段階では、学習済みの報酬モデルの出力を報酬として、PPOで方策を更新します。
- D
適切
報酬モデルは完全ではないため、その評価だけを最大化すると不自然な応答に偏るおそれがあります。InstructGPTでは、教師ありで調整したモデルとのKLダイバージェンスに応じたペナルティを報酬に加えて、これを抑えています。
試験での狙われ方
RLHFは、教師ありファインチューニング、報酬モデルの学習、強化学習という各段階の順序と役割を入れ替えて問われやすい手法です。