ある翻訳サービス会社は、RNNを用いたSeq2Seq（エンコーダ・デコーダ）モデルで英日翻訳を行っている。短い文はよく訳せるが、文が長くなるほど前半の内容が訳文から抜け落ちやすい。考えられる原因（ア）と改善策（イ）の組み合わせとして、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 A
この問題の論点：Seq2Seqの固定長ベクトルの限界
ポイント
Seq2Seqの弱点は、入力文を1つの固定長ベクトルに圧縮することです。Attentionは入力の全位置を参照してこれを補います。
選択肢ごとの解説
- A
適切 正解
Seq2Seqでは、エンコーダが文全体を固定長のベクトルにまとめるため、長い文ほど情報が失われます。Attentionを使うと、デコーダは訳語ごとに入力文の関連する位置へ重みを置いて情報を取り出せます。
- B
不適切
RNNは単語を1つずつ順番に処理するため、順序の情報は構造上保たれます。位置エンコーディングは、要素の順序を区別しないSelf-Attentionを使うTransformerで必要になる仕組みです。
- C
不適切
過学習は訓練データにだけ強く適合する現象で、文が長いほど前半が抜け落ちる症状とは結びつきません。また後半を切り捨てると、その部分はまったく訳せなくなります。
- D
不適切
語彙の不足は未知語の増加として現れ、文の長さとは直接関係しません。文が長くなるほど前半が抜け落ちる症状は、入力情報の圧縮に原因があると考えるのが自然です。
補足
このように、デコーダ側の状態をもとに、エンコーダ側（翻訳元の文）の各位置への重みを計算するAttentionは、Source-Target Attentionと呼ばれます。Transformerのデコーダにも、同じ考え方の層があります。
試験での狙われ方
Attentionが導入された理由を、Seq2Seqの固定長ベクトルの限界と結びつけて問う形が典型です。