単純パーセプトロンとは

単純パーセプトロンは、ニューラルネットワークの出発点にあたるモデルです。パーセプトロンは1958年にローゼンブラットが発表した学習するモデルで、そのうち入力層と出力層だけからなる形を単純パーセプトロンと呼びます。

仕組み

脳の神経細胞は、受け取った信号の合計が一定の値を超えると信号を出します。単純パーセプトロンはこの性質をまねています。入力x1、x2にそれぞれ重みw1、w2を掛けて足し、バイアスbを加えます。この値u = w1x1 + w2x2 + bが0より大きければ1、そうでなければ0を出力します。0と1を切り替えるこの関数を、ステップ関数と呼びます。

重みは、パーセプトロンの学習則で調整します。予測が当たったデータでは何もせず、外れたデータでだけ、正解に近づく向きに重みを少し動かします。式ではw ← w + η(t − y)xと書きます（tは正解、yは出力、ηは学習率）。データが線形分離可能なら、有限回の修正で全データを正しく分けられます。

限界

単純パーセプトロンが引ける境界は、1本の直線（入力が多いときは平面や超平面）だけです。そのため、直線で分けられない問題は解けません。代表例が、2つの入力が異なるときだけ1を出すXOR（排他的論理和）です。1969年にミンスキーとパパートが著書『Perceptrons』でこうした限界を数学的に分析し、ニューラルネットワーク研究が停滞する一因になりました。

その後の発展

入力層と出力層の間に隠れ層を加えた多層パーセプトロンなら、XORも表現できます。ただしステップ関数は、ほとんどの点で微分が0です。そのため誤差逆伝播法で学習するときは、シグモイド関数などのなめらかな活性化関数に置き換えます。

覚え方

「1本の線で分けられるものだけ分けられる」と覚えます。