教師強制とは

教師強制（teacher forcing）は、文章や時系列を1つずつ生成するモデルを学習させるときの方法です。RNNの学習法として古くから知られ、1986年のJordanの研究（ジョルダンネットワーク）や、1989年のWilliamsとZipserの論文でも使われています。

しくみ

文章を生成するモデルは、前の時刻に出した単語を次の時刻の入力にして、1語ずつ文を作ります。学習のときにも同じことをすると、序盤のモデルは誤った単語を出し、その誤りを入力にして次の単語を予測することになります。誤りが積み重なり、学習がなかなか進みません。

教師強制では、次の時刻の入力として、モデルが出した単語ではなく正解の単語を与えます。正解が「今日は」「いい」「天気」なら、モデルが2語目を間違えても、3語目を予測するときには正解の「いい」を入力します。各時刻の予測が正しい文脈から出発するので、学習が安定して速く進みます。

さらに、全時刻の入力が最初からわかるので、Transformerのデコーダのように時刻をまとめて並列に計算できる構造では、学習を大きく速められます。

弱点と対策

推論のときには正解がないので、モデルは自分の出力を次の入力にします。学習中に「自分の誤りを入力として受け取る」経験をしていないため、途中で1語誤ると、その後の生成が崩れやすくなります。この学習時と推論時のずれは、exposure biasと呼ばれます。

対策として、学習が進むにつれて、正解の代わりにモデル自身の出力を入力に使う割合を増やすScheduled Samplingが提案されています。

覚え方

「教師（正解）が、答えを強制的に次の入力へ差し込む」と覚えます。