Attention（シラバス 技術23）

Seq2Seqと固定長の壁

Seq2Seqは、エンコーダが入力系列を読み込み、デコーダが別の系列を出力するモデルで、機械翻訳が代表的な用途です。初期のSeq2SeqはRNNで作られ、入力文全体を1つの固定長のベクトルにまとめてデコーダへ渡していました。そのため、入力が長いと情報が収まりきらず、精度が落ちました。

Attentionの考え方

Attentionは、出力を作るたびに、入力のどの部分に注目するかを重みとして計算する仕組みです。デコーダは各時刻で、エンコーダの全時刻の状態に重みを付けて足し合わせ、必要な情報を取り出します。翻訳では、いま訳している語に対応する原文の語に大きな重みが付きます。

クエリ・キー・バリュー

Attentionの計算は、辞書を引く操作にたとえられます。

• クエリ：探したい内容を表すベクトルです。
• キー：各要素の見出しにあたり、クエリと照らし合わせます。
• バリュー：各要素から実際に取り出す中身です。

クエリとキーの内積などで類似度を求め、ソフトマックス関数で合計1の重みに変えます。その重みでバリューを足し合わせたものが出力です。Transformerでは softmax(Q・K^T / √d_k)・V のように、内積をキーの次元数の平方根で割ってから重みにします。

2種類のAttention

• Source-Target Attention：クエリを出力側（デコーダ）から、キーとバリューを入力側（エンコーダ）から作り、入力と出力の対応をとります。Encoder-Decoder Attentionとも呼ばれます。
• Self-Attention：クエリ・キー・バリューをすべて同じ系列から作ります。同じ文の語どうしの関係を、離れた位置でも直接とらえます。

Transformer

Transformerは、2017年の論文「Attention Is All You Need」で提案されました。RNNも畳み込みも使わず、Attentionを中心に組み立てたモデルです。エンコーダはSelf-Attentionと全結合層の組を重ねます。デコーダは、まだ生成していない後ろの語を見ないようにマスクしたSelf-Attentionと、Source-Target Attentionを使います。各位置を同時に計算できるため、1時刻ずつ処理するRNNより並列化しやすく、学習が速く進みます。

• Multi-Head Attention：クエリ・キー・バリューを異なる重みで複数組に変換し、並列にAttentionを計算して結合します。種類の異なる関係を同時にとらえられます。
• 位置エンコーディング：Self-Attentionだけでは語の並び順を区別できません。そこで、位置ごとに異なるベクトルを語の埋め込みに足します。元の論文では周期の違う正弦波と余弦波を使っています。

現在の大規模言語モデルの多くも、Transformerを土台にしています。