Source-Target Attentionとは

Source-Target Attentionは、2つの異なる系列をつなぐAttentionです。翻訳でいえば、訳文（ターゲット）を作っている側が、原文（ソース）のどこを参照するかを決めます。Transformerの論文での呼び名は「Encoder-Decoder Attention」で、クロスアテンション（Cross-Attention）とも呼ばれます。

クエリ・キー・バリューの出どころ

• クエリ：デコーダ側、つまりいま出力を作っている系列から作ります。
• キーとバリュー：エンコーダ側、つまり入力系列を処理した出力から作ります。

デコーダの各位置が「次の語を作るには何が必要か」をクエリとして出し、入力系列の全位置のキーと照らし合わせます。関連の強い位置のバリューを重く見て集め、出力の材料にします。

Self-Attentionとの違い

Self-Attentionは、クエリ・キー・バリューを同じ系列から作り、系列の中の関係を捉えます。Source-Target Attentionは、クエリとキー・バリューを別々の系列から作り、系列と系列の対応を捉えます。計算の手順は同じで、違うのは入力の出どころだけです。

Transformerの中での位置

元のTransformerのデコーダの各層は、次の3つの部品をこの順に重ねています。

1. マスク付きSelf-Attention：まだ生成していない後ろの位置を隠して、出力側の文脈をつかみます。
2. Source-Target Attention：エンコーダの出力を参照し、入力文の情報を取り込みます。
3. 位置ごとの全結合層

RNNを使ったSeq2SeqにBahdanauらが加えたAttentionも、出力側から入力側を参照する同じ考え方です。現在は、画像生成モデルが文章の指示を取り込む部分などにも使われています。

覚え方

「問いは出力側から、答えの材料は入力側から」と覚えます。