Multi-Headのヘッドの分け方

解説

正解 C

この問題の論点：Multi-Headのヘッドの分け方

選択肢ごとの解説

1. A

   適切

   1つのヘッドでは、すべての関連を1組の重みの平均にまとめるため、文法上の関係と意味の近さのような異なる関連を同時に表しにくくなります。ヘッドごとに別の射影を学習すると、それぞれの部分空間で別の関連度を求められます。

2. B

   適切

   各ヘッドの次元を、モデルの次元÷ヘッド数（512÷8＝64）に減らしています。そのため、ヘッドに分けても全体の計算量は1つのヘッドで全次元を扱う場合とほぼ同じだと、元論文でも説明されています。

3. C

   不適切 正解

   ヘッドごとに異なるのは、入力を射影する先の低次元の部分空間で、系列の位置ではありません。どのヘッドも系列のすべての位置との関連度を計算し、それぞれ別の観点から情報を集めます。

4. D

   適切

   元のTransformerでは、エンコーダのSelf-Attention、デコーダのマスク付きSelf-Attention、Source-Target Attentionの3か所すべてがMulti-Head Attentionです。違いは、クエリ・キー・バリューの出どころとマスクの有無です。