TransformerのSelf-Attentionで使うクエリ・キー・バリューに関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：クエリ・キー・バリューの作り方
ポイント
Self-Attentionのクエリ・キー・バリューは、同じ入力に別々の学習可能な重み行列を掛けて作ります。
選択肢ごとの解説
- A
適切
Self-Attentionでは、3つとも同じ系列から作ります。ただし掛ける重み行列は別々なので、同じトークンからでも役割の違う3種類のベクトルが得られます。
- B
適切
重み行列は学習で決まります。どのような観点で関連度を測り、どのような情報を集めるかを、人が決めるのではなくデータから獲得できます。
- C
適切
Self-Attentionは、自分を含む系列内のすべての位置との関連度を計算します。デコーダのマスク付きSelf-Attentionでも、隠すのは後ろの位置だけで、自分自身は参照できます。
- D
不適切 正解
Transformerでは、キーとバリューを別々の重み行列で作ります。関連度を測るための表現（キー）と、出力に渡す中身（バリュー）を分けて学習できることが利点です。
補足
Bahdanauらの2014年のAttention付き翻訳モデルでは、エンコーダの同じ隠れ状態を、関連度の計算と加重和の両方に使っていました。Transformerはこれを別々の重み行列で分け、さらにヘッドごとに異なる重み行列を持たせています。
試験での狙われ方
クエリ・キー・バリューの役割の違い（関連度を測るものか、集める中身か）を区別させる形が考えられます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目23 Attention）
- Vaswani et al., Attention Is All You Need (2017)