NAS（Neural Architecture Search）とは

NAS（Neural Architecture Search）は、ニューラルネットワークの設計を自動化する手法です。層を何層重ねるか、フィルタの大きさをどうするか、層どうしをどうつなぐかといった構造は、長く研究者が経験と試行錯誤で決めてきました。NASは、この設計作業をアルゴリズムに任せます。機械学習の自動化（AutoML）の一分野です。

3つの要素

NASの手法は、次の3つの組み合わせとして整理されます。

• 探索空間：どんな構造を候補にするか。層の種類、フィルタの大きさ、つなぎ方などの選択肢を決めます。
• 探索戦略：候補の中からどう選んでいくか。強化学習、進化的アルゴリズム、ベイズ最適化、勾配にもとづく方法などがあります。
• 性能の評価方法：選んだ構造がどれだけよいかをどう見積もるか。実際に学習させて、検証データで精度を測るのが基本です。

代表的な研究

2016年に発表されたZophとLeの研究では、RNNで作ったコントローラが構造の設計図を出力し、その構造を学習させたときの精度を報酬として、強化学習でコントローラを改善しました。CIFAR-10では人が設計した最良のモデルに匹敵する結果を出しましたが、800台のGPUを3〜4週間使うほどの計算が必要でした。

その後、小さなデータセットで部品（セル）を探して大きなモデルに転用するNASNet、端末での推論の速さも目的に加えたMnasNet、同じ探索空間でベースのモデルを探したEfficientNetなどが登場しました。

ハイパーパラメータの探索との違い

グリッドサーチなどのハイパーパラメータの探索は、主に学習率などの設定値を探します。NASは、ネットワークの構造そのものを探す点が異なります。ただし、候補ごとに学習が必要で費用がかさむ点は共通しています。

覚え方

「NASは、ネットワークの設計図そのものを探す」と覚えます。