ディープラーニング（シラバス 技術6）

人間の神経回路から着想を得る

人間の脳では、神経細胞（ニューロン）が互いにつながり、信号を受け渡して情報を処理しています。ニューラルネットワークは、このつながりを単純な計算の部品に置き換えた数理モデルです。1958年にローゼンブラットが発表したパーセプトロンが出発点ですが、層が1つでは直線で分けられない問題を解けないことが1969年に示され、研究は一度下火になりました。1980年代に誤差逆伝播法が広まり、層を重ねたネットワークを学習させられるようになりました。

CNNの源流

• ネオコグニトロン：福島邦彦が1980年ごろに発表しました。動物の視覚の研究をヒントに、特徴を取り出す層と、位置のずれを吸収する層を交互に重ねています。誤差逆伝播法は使わず、正解ラベルなしの自己組織化で学習します。
• LeNet：ヤン・ルカンらが1989年に発表し、1998年のLeNet-5で形が整いました。畳み込み層とプーリング層を誤差逆伝播法で学習させ、手書き数字の認識に使われました。

どちらもCNNの原型ですが、当時は計算機の性能もデータも足りず、深いネットワークを学習させるのは難しいままでした。2006年には、ジェフリー・ヒントンらが層ごとの事前学習で深いネットワークを学習させる方法を示しました。

2012年の転換点

ImageNetは、フェイフェイ・リーらが2009年に発表した大規模な画像データセットで、1,400万枚を超える画像に写っているものの名前が付いています。ILSVRCは、そこから選んだ1,000クラスの画像分類などで精度を競うコンテストで、2010年から2017年まで開かれました。

2012年、トロント大学のヒントンらのチームが、AlexNetというCNNで優勝しました。上位5候補に正解がない割合は約15%で、2位の約26%に大差をつけました。GPUで大量の画像を学習させたことなどが勝因とされ、これを機に画像認識の主流がディープラーニングに移りました。

アルファ碁(AlphaGo)

囲碁は打てる手が非常に多く、AIが人間に勝つのはまだ先と見られていました。Google傘下のDeepMindが開発したアルファ碁(AlphaGo)は、盤面から有望な手と形勢を推定するニューラルネットワークを、モンテカルロ木探索と組み合わせました。ネットワークは人間の棋譜と自己対局で学習しています。2016年3月、トップ棋士の李世乭（イ・セドル）に4勝1敗で勝ちました。翌年発表されたAlphaGo Zeroは、人間の棋譜を使わず、自己対局だけで学習します。

生成AI

生成AIは、学習したデータの傾向をもとに、文章・画像・音声などの新しいデータを作り出すAIです。2014年のGAN、2017年のTransformerなどの研究が土台になりました。2022年ごろから、文章で指示するだけで画像や文章を作れるサービスが一般に広まりました。