LeNetとは

LeNetは、ヤン・ルカンらが開発した、畳み込みニューラルネットワーク（CNN）の初期の代表的なモデルです。1989年には、誤差逆伝播法で学習するCNNで郵便番号の手書き数字を認識する論文が発表されました。1998年の論文で示された7層の構成をLeNet-5と呼び、単にLeNetといえば多くはこれを指します。

LeNet-5の構造

LeNet-5は、32×32画素の画像を入力に、次の順で層を重ねます。

• 畳み込み層（C1）：5×5のフィルタで、6枚の特徴マップを作る。
• サブサンプリング層（S2）：2×2の範囲の平均に学習する係数を掛け、縦横を半分にする。今の平均値プーリングに近い。
• 畳み込み層（C3）とサブサンプリング層（S4）：特徴マップを16枚に増やし、同じ処理を繰り返す。
• 畳み込み層（C5）と全結合層（F6）を経て、0〜9の10クラスを出力する。

畳み込みで特徴を取り出し、サブサンプリングで解像度を下げて位置のずれに強くする組み合わせは、今のCNNと同じです。同じフィルタを画像全体で使い回す重み共有により、学習するパラメータは約6万個に抑えられています。

成果と実用化

手書き数字のデータセットMNIST（学習用6万枚、テスト用1万枚）で、LeNet-5のテストの誤り率は0.95%でした。この技術による小切手の読み取りシステムは商用化され、1日に数百万枚を処理したと報告されています。

ネオコグニトロンやAlexNetとの違い

構造の発想は、福島邦彦のネオコグニトロンと共通しています。違いは学習方法です。ネオコグニトロンは正解ラベルを使わない自己組織化で学びましたが、LeNetは正解との誤差から誤差逆伝播法で学習します。

2012年のAlexNetは、この考え方を受け継ぎ、より深い構造、ReLU関数、ドロップアウト、GPUによる学習を組み合わせて、ImageNetの大規模なデータで成果を上げました。