信用割当問題とは

信用割当問題は、ある結果に対して、関わった多くの要素の「手柄」や「責任」をどう割り振るかという問題です。英語のcreditは功績の意味です。1961年にミンスキーが論文「Steps Toward Artificial Intelligence」で、強化によって学習するシステムを複雑な課題に使うときの大きな難しさとして論じました。

身近なたとえ

サッカーでゴールが決まったとき、得点した選手だけでなく、パスを出した選手や守備で流れを作った選手も貢献しています。誰がどれだけ得点に効いたかを数値で決めるのは簡単ではありません。学習するシステムでも、同じことが起きます。

ニューラルネットワークでの信用割当

多層のネットワークでは、出力層には正解の値がありますが、隠れ層のユニットにはありません。出力が間違ったとき、隠れ層のどの重みを、どちらに、どれだけ直せばよいかは、そのままではわかりません。これが構造に関する信用割当の問題で、隠れ層をもつネットワークの学習が長く難しかった理由の1つです。

誤差逆伝播法は、連鎖律を使って、出力の誤差に対する各重みの影響を勾配として求めます。勾配の大きさが、その重みの責任の大きさに当たります。1986年にラメルハートらがこの方法で多層のネットワークを学習できることを示し、広く使われるようになりました。

強化学習での信用割当

強化学習では、報酬が一連の行動の後にまとめて得られることがあります。囲碁で勝ったとき、どの手が勝利に効いたのかを決めるのは、時間に関する信用割当の問題です。代表的な取り組みは、将来の報酬を価値関数で見積もり、各時点の行動を評価する方法です。TD学習は、最終結果を待たずに、次の時点の見積もりとの差を使って価値を更新します。途中の行動にも報酬を与える報酬成形も、この問題を和らげる工夫です。

覚え方

「結果の手柄と責任を、関わった全員にどう配るか」と覚えます。