Transformer内の注意機構

解説

正解 C

この問題の論点：Transformer内の注意機構

選択肢ごとの解説

1. A

   適切

   エンコーダは入力文全体が与えられた状態で処理するため、各位置は前の位置にも後ろの位置にも注意を向けられます。これにより、文全体の文脈を反映した表現が得られます。

2. B

   適切

   デコーダは出力を1語ずつ生成します。学習時に後ろの正解を見てしまうと推論時と条件が変わるため、未来の位置のスコアを負の無限大に置き換え、ソフトマックス後の重みを0にします。

3. C

   不適切 正解

   向きが逆です。Source-Target Attention（Encoder-Decoder Attention）では、デコーダ側の情報からクエリを、エンコーダの出力からキーとバリューを作ります。生成中の単語に関連する入力側の情報を取り出すためです。

4. D

   適切

   ヘッドごとに異なる射影を学習するため、異なる部分空間で別々の関連度を捉えられます。各ヘッドの出力は結合したあと、さらに線形変換して次の層へ渡します。