スキップ結合（ショートカット接続）に関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：スキップ結合の働きと応用先
ポイント
スキップ結合は推論時にも使う順伝播の一部で、加算（ResNet、Transformer）や連結（U-Net）の形で多くのモデルに使われています。
選択肢ごとの解説
- A
適切
F(x)＋xをxで微分すると、恒等写像の分の1が加わります。間の層の勾配が小さくても、ショートカットを通る勾配は前のブロックへそのまま伝わるため、深いネットワークでも学習が進みます。
- B
適切
提案時のTransformerは、各サブ層の出力をLayerNorm(x＋Sublayer(x))の形で求めます。スキップ結合はCNNに限らず、層を深く積み重ねるモデルで広く使われています。
- C
適切
U-Netは、縮小前の特徴マップをデコーダ側にコピーしてチャネル方向に連結します。ResNetのような加算ではなく連結で、画素単位の領域分割に必要な位置の情報を取り戻します。
- D
不適切 正解
スキップ結合は順伝播の計算の一部で、ブロックの出力はF(x)＋xです。推論時に外すと出力が変わります。学習時だけ使って推論時に外す経路としては、GoogLeNetの補助分類器が知られています。
試験での狙われ方
ResNetのスキップ結合が勾配の伝わり方をどう変えるかや、ほかのモデルでの使われ方（加算か連結か）を比べる形が考えられます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目21 スキップ結合）
- He, Zhang, Ren, Sun, Identity Mappings in Deep Residual Networks (2016)
- Vaswani et al., Attention Is All You Need (2017)
- Ronneberger, Fischer, Brox, U-Net: Convolutional Networks for Biomedical Image Segmentation (2015)
- Szegedy et al., Going Deeper with Convolutions (2014)