ニューラルネットワークとは

ニューラルネットワークは、脳の神経細胞（ニューロン）のつながりをヒントにした計算のモデルです。単純な計算をする多数の単位（ユニット）を層状につなぎ、データから入力と出力の関係を学習します。層を何層も重ねて深くしたものを使う手法が、ディープラーニングです。ただし、脳の仕組みを忠実に再現したものではありません。

基本の仕組み

各ユニットは、前の層から受け取った値にそれぞれ重みを掛けて足し合わせ、バイアスを加えます。その結果を活性化関数に通して、次の層へ渡します。式で書くと y = f(w1x1 + w2x2 + … + b) です。重みは、神経細胞どうしをつなぐシナプスでの信号の伝わりやすさに当たります。

ネットワークは、データを受け取る入力層、途中の計算を担う隠れ層、結果を出す出力層からなります。学習では、出力と正解のずれを誤差関数で測ります。次に誤差逆伝播法で各重みの勾配を求め、勾配降下法で重みを少しずつ更新します。

研究の歴史

• 1943年：マカロックとピッツが、神経細胞の働きを単純な計算に置き換えた形式ニューロンを提案。
• 1958年：ローゼンブラットが、データから重みを学習するパーセプトロンを発表。
• 1969年：ミンスキーとパパートが単純パーセプトロンの限界を示し、研究は一時下火に。
• 1986年：ラメルハートらが、誤差逆伝播法で多層のネットワークを学習できることを示す。
• 2006年：ヒントンらが、層ごとの事前学習で深いネットワークを学習する方法を示す。

データに合わせた構造

画像に強い畳み込みニューラルネットワーク（CNN）、時系列データを扱うリカレントニューラルネットワーク（RNN）、文章の処理で主流になったTransformerなど、扱うデータに合わせた構造が考案されています。どれも、重みを持つ層をつないで誤差逆伝播法で学習するという基本は共通です。