RNNを用いたAttention付きのSeq2Seqと、2017年の元論文で提案されたTransformerを、翻訳文を生成する処理の観点で比べた説明として、最も適切なものを1つ選べ。
正解と解説を見る
解説
正解 C
この問題の論点：推論時の生成手順の比較
ポイント
Transformerも推論時のデコーダは生成済みの単語を使って1単語ずつ出力します。並列化の利点は主に学習時と入力側で生きます。
選択肢ごとの解説
- A
不適切
学習時は正解の出力文をまとめて入力し、マスクで後ろの位置を隠して全位置を並列に計算できます。しかし推論時は次の単語がまだ決まっていないため、1単語ずつ生成します。
- B
不適切
最後の隠れ状態だけに頼るのは、AttentionのないSeq2Seqの弱点です。Attention付きでは、出力の各時刻で、エンコーダのすべての時刻の隠れ状態を重み付けして参照します。
- C
適切 正解
元論文のTransformerのデコーダは自己回帰的で、生成済みの単語を入力に加えて次の単語を予測します。並列計算の利点が大きいのは、学習時と、入力文をエンコーダで処理する部分です。
- D
不適切
Attentionを加えても、エンコーダとデコーダはRNNのままで、前の時刻の隠れ状態を使って順に計算します。系列方向の逐次計算をなくしたのは、RNNをSelf-Attentionに置き換えたTransformerです。
試験での狙われ方
「Transformerは並列計算できる」という性質を推論時の生成にまで広げた選択肢で、学習時と推論時の違いを確かめる形が考えられます。