1行定義
RLHFとは、人間が出力どうしを比べて評価したデータで報酬モデルを作り、その報酬を使った強化学習で、モデルの出力を人間の好みに近づける手法のことです。
くわしく
RLHF（Reinforcement Learning from Human Feedback）は、「人間のフィードバックによる強化学習」です。何がよい出力かを式で書きにくい課題で、人間の好みそのものを学習の目標にします。OpenAIが2022年に発表したInstructGPTで使われ、大規模言語モデルを調整する手法として広く知られるようになりました。OpenAIは、ChatGPTも同様の方法で学習したと説明しています。
なぜ必要か
大規模言語モデルは、大量の文章で次の単語を予測するように事前学習されます。そのため、文章は自然でも、指示に従わない応答や、事実と異なる応答、有害な応答を出すことがあります。「よい応答」を報酬の式として書き下すのは困難です。そこで、人間の判断を報酬の代わりに使います。
3つの段階
InstructGPTでは、次の3段階で学習しました。
- 教師ありファインチューニング：人が書いた模範的な応答を使い、事前学習済みモデルを調整します。
- 報酬モデルの学習：1つの質問に対するモデルの複数の応答を、人間が比べて順位を付けます。この比較データから、応答の好ましさを点数で返す報酬モデルを作ります。
- 強化学習：報酬モデルの点数が高くなるように、PPOという手法でモデルを更新します。このとき、1の段階のモデルから離れすぎないように、KL情報量による罰則を加えます。
位置づけ
深層強化学習で人間の好みから報酬を学ぶ代表的な研究が、2017年のChristianoらの研究です。人間が2つの行動の短い映像を見比べ、どちらがよいかを選んだデータから報酬を学習しています。
報酬を工夫する点で報酬成形と混同しやすいですが、報酬成形は人が報酬の式を設計します。RLHFは、報酬そのものを人間の評価から学習する点が異なります。
覚え方
「人が比べ、報酬モデルが採点し、PPOで鍛える」と覚えます。
G検定での出題
出題のされ方
大規模言語モデルの応答を人間の意図に沿わせる手法であること、比較データから報酬モデルを学習する流れ、PPOによる最適化、報酬成形などほかの深層強化学習の手法との区別が問われます。
混同しやすい用語
| 用語 | 意味 |
|---|---|
| RLHFこのページの用語 | 人間が出力どうしを比べて評価したデータで報酬モデルを作り、その報酬を使った強化学習で、モデルの出力を人間の好みに近づける手法 |
| 報酬成形 | 強化学習で本来の報酬に途中の手がかりとなる報酬を加えるなど、報酬の与え方を工夫して学習を進みやすくする方法 |
◯×チェック
次の文が正しいか、誤りかを選んでください。
-
RLHFでは、1つの入力に対するモデルの複数の応答を人間が比べて順位を付け、そのデータから報酬モデルを学習する。
答えを見る
答え ◯ 正しい
InstructGPTでは、この報酬モデルの点数が高くなるように、PPOでモデルを更新しました。応答どうしを比べさせると、絶対的な点数を付けさせるより判断をそろえやすくなります。
-
RLHFの強化学習の段階では、報酬モデルの点数を高めることだけが目標であり、元のモデルからどれだけ離れるかには制約をかけない。
答えを見る
答え × 誤り
報酬モデルの弱点を突いた不自然な出力を防ぐため、教師ありファインチューニング後のモデルとのKL情報量で罰則をかけます。
-
RLHFは、人間が報酬関数を式として細かく設計し、学習が進みやすいように中間的な報酬を追加する手法である。
答えを見る
答え × 誤り
それは報酬成形の説明です。RLHFは、報酬を人が式で書くのではなく、人間の比較評価から報酬モデルとして学習します。