SENetとは

SENet（Squeeze-and-Excitation Networks）は、Jie Huらが2017年に発表したCNNです。複数のSENetを組み合わせたモデルが、2017年のILSVRCの画像分類部門でtop-5誤り率2.251%を記録し、優勝しました。ILSVRCは、この2017年の大会を最後に終了しています。

何をしているのか

CNNの特徴マップには多数のチャネルがあり、チャネルごとに縦線、毛並み、色の違いなど、別々の特徴を捉えています。ただ、どのチャネルが役に立つかは画像によって変わります。SENetは、入力された画像に応じて、重要なチャネルを強め、そうでないチャネルを弱めます。音楽のミキサーで、曲に合わせて楽器ごとの音量を上げ下げするイメージです。

SEブロックの2段階

• Squeeze（圧縮）：グローバルアベレージプーリングで、各チャネルの特徴マップを1つの数値にまとめます。画像全体でそのチャネルがどれだけ反応したかの要約になります。
• Excitation（励起）：その要約を2層の全結合層に通し、最後にシグモイド関数で、チャネルごとに0〜1の重みを出します。1層目でチャネル数を減らし（論文の標準は16分の1）、ReLU関数を挟んで2層目で元に戻します。

最後に、元の特徴マップの各チャネルにこの重みを掛け合わせます。

位置づけ

SEブロックは独立した部品なので、ResNetやInceptionなどの既存のネットワークに後から組み込めます。計算量はほとんど増えないのに精度を上げやすい点が評価されました。チャネル方向に働く注意機構（アテンション）の一種とみなされ、のちのEfficientNetなどにも取り入れられています。

覚え方

「Squeezeで要約し、Excitationでチャネルごとの音量を調整する」と覚えます。