位置エンコーディングとは

位置エンコーディングは、Transformerに語順の情報を与えるための仕組みです。2017年にTransformerを提案した論文で使われ、広く知られるようになりました。

なぜ必要なのか

RNNは単語を先頭から順に処理するため、語順の情報が自然に含まれます。一方、Transformerは系列のすべての単語を同時に処理し、Self-Attentionで単語どうしの関係を計算します。Self-Attentionの計算そのものは並び順を区別せず、単語を並べ替えても各単語の出力の値は変わりません。このままでは「太郎が花子を呼んだ」と「花子が太郎を呼んだ」を区別できません。

そこで、各単語の埋め込みベクトルに、その単語の位置を表すベクトルを足し合わせてから、Transformerに入力します。

元のTransformerの計算方法

元の論文では、学習しない固定の値として、正弦関数と余弦関数で位置を表しました。位置をpos、ベクトルの次元の番号をi、ベクトルの次元数をdとすると、次のように計算します。

• 偶数番目の次元：PE(pos, 2i) = sin(pos / 10000^(2i/d))
• 奇数番目の次元：PE(pos, 2i+1) = cos(pos / 10000^(2i/d))

次元ごとに周期の違う波を使うため、位置ごとに異なるパターンのベクトルになります。埋め込みベクトルと同じ次元数で作るので、つなげるのではなく、要素ごとに足し合わせます。

学習で求める位置埋め込み

位置を表すベクトルを、ほかの重みと同じように学習で求める方法もあります。BERTや、画像を分割したパッチを並べて扱うVision Transformerは、この学習型の位置埋め込みを使っています。元の論文でも学習型を試してほぼ同じ結果を得ており、固定の方式は、学習時より長い系列にも対応できる可能性があるとして選ばれました。

覚え方

「Attentionは順番を知らない。だから位置を足して教える」と覚えます。