ある法律事務所は、Transformerを用いたモデルで契約書を分析している。入力できる系列の長さを1,000トークンから4,000トークンに広げることを、チームで検討した。検討中の発言として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 B
この問題の論点：Self-Attentionの計算量
ポイント
Self-Attentionはすべてのトークンの組の関連度を求めるため、計算量とメモリが系列長の2乗に比例して増えます。
選択肢ごとの解説
- A
適切
系列長をnとすると、1つのヘッドが求める注意の重みはn×n個です。nが4倍になれば4²＝16倍となり、重みの計算に必要な計算量とメモリも系列長の2乗に比例して増えます。
- B
不適切 正解
ヘッドの数を減らしても、各ヘッドが求める重みはn×n個のままです。全体の量が定数倍で減るだけで、系列長の2乗で増える性質は変わりません。
- C
適切
RNNでは、離れた位置の情報は多くの時刻を経由して伝わるため、途中で薄れやすくなります。Self-Attentionではどの2つの位置も1回の計算で結ばれるため、長い距離の依存関係を学習しやすい構造です。
- D
適切
近くの範囲や一部のトークンだけに注目するスパースなAttentionでは、計算量の増え方を系列長の2乗より緩やかにできます。文書を区間に分ける方法は簡単ですが、区間をまたぐ関係は捉えにくくなります。
試験での狙われ方
TransformerとRNNの比較として、並列計算のしやすさ、長い距離の依存関係の扱い、系列長に対する計算量の増え方を組み合わせて問う形が考えられます。