強化学習とは

強化学習は、うまくいった行動を繰り返し、失敗した行動を避けながら上達していく学び方を、コンピュータで実現する方法です。教師あり学習・教師なし学習と並ぶ、機械学習の代表的な枠組みの1つです。

登場する要素

学習して行動を選ぶ主体をエージェント、エージェントが働きかける対象を環境と呼びます。エージェントは環境の様子（状態）を観測して行動を選び、その結果として報酬と次の状態を受け取ります。このやり取りを繰り返しながら、状態に応じて行動を選ぶ規則（方策）をよりよいものにしていきます。

教師あり学習との違い

強化学習では、各場面での正解の行動は教えられません。手がかりは報酬だけです。しかも、ある行動のよしあしが、すぐには報酬に表れないことがあります。囲碁では、勝敗は対局の最後に決まります。そこで、目先の報酬ではなく、将来の報酬を割引率で割り引きながら足し合わせた合計（収益）を大きくするように学びます。

また、どんなデータが集まるかは、エージェント自身の行動で変わります。よいと分かっている行動を選ぶ「活用」と、まだよく知らない行動を試す「探索」のバランスをとることが、強化学習に特有の課題です。

手法と応用

Q学習やSARSAは行動の価値を推定する手法で、方策勾配法は方策を直接改善する手法です。ディープラーニングと組み合わせた深層強化学習では、DQNがゲーム画面の画素から直接学習し、AlphaGoが囲碁でトップ棋士に勝ちました。ロボットの制御や、対話型の言語モデルを人間の好みに合わせる調整（RLHF）にも使われます。

覚え方

「正解はもらえず、報酬だけを頼りに試行錯誤する」のが強化学習です。