Attentionとは

Attention（注意機構）は、たくさんある情報の中から、いま必要なものに重点を置いて取り出す仕組みです。人が長い文を訳すとき、訳している箇所に対応する原文の単語に目を向けるのに似ています。

生まれた背景

RNNを使ったSeq2Seqでは、エンコーダが入力文全体を1つの固定長のベクトルにまとめていました。文が長くなるほど、このベクトルに情報が収まりきらず、翻訳の精度が下がります。2014年にBahdanauらは、デコーダが単語を出力するたびに、エンコーダの各時刻の隠れ状態を見直し、関係の深い位置に重みを置いて情報を集める方法を提案しました。

計算の流れ

Attentionは、クエリ・キー・バリューの3つで説明できます。

1. クエリ（何を探しているか）と、各要素のキー（見出し）を比べ、関連度のスコアを求めます。内積で計算する方法や、小さなニューラルネットワークで計算する方法があります。
2. スコアをソフトマックス関数に通し、合計が1になる重みに変えます。
3. その重みで各要素のバリュー（中身）を加重和し、出力とします。

重みは固定ではなく、入力のたびに計算されます。同じモデルでも、文が変われば注目する位置が変わります。

種類

クエリとキー・バリューをどこから作るかで、呼び方が変わります。

• Source-Target Attention：クエリを出力側（デコーダ）から、キーとバリューを入力側（エンコーダ）から作ります。Bahdanauらの方式も、この形です。
• Self-Attention：3つとも同じ系列から作り、系列の中の要素どうしの関係を捉えます。

2017年のTransformerは、RNNを使わずにAttentionを中心にモデルを組み立て、BERTやGPTなどの土台になりました。

覚え方

「関連度を測り、ソフトマックスで重みにし、バリューを加重和する」の3段階で覚えます。