転移学習とは

転移学習は、あるタスクで身につけた知識を、別のタスクに移して使う考え方です。ピアノを習った人が、別の鍵盤楽器を早く覚えられるのに似ています。ディープラーニングでは、大量のデータで学習を済ませたモデルを出発点にして、目的のタスクを学習します。

なぜ有効なのか

ImageNetのような大規模なデータで学習したCNNは、入力に近い層でエッジや色の変化を、深い層で物の部分や形をとらえるようになります。こうした特徴は、多くの画像のタスクに共通して役立ちます。そのため、目的のタスクのデータが数百枚しかなくても、ゼロから学習するより高い精度を得やすくなります。学習にかかる時間や計算も減らせます。

狭い意味と広い意味

日本語の解説では、2つの使い方があります。

• 狭い意味：事前学習済みモデルの重みを固定し、付け替えた出力層などだけを学習する方法です。モデルを、特徴を取り出す道具として使います。
• 広い意味：学習済みの知識を別のタスクに生かす方法の全般です。事前学習済みの層まで重みを更新するファインチューニングも含みます。

問題文が転移学習とファインチューニングを対比している場合は、狭い意味で使われています。

注意点

元のタスクと目的のタスクがかけ離れていると、学習した特徴が役に立たず、かえって性能が下がることがあります。これを負の転移といいます。また、目的のデータで重みを大きく更新しすぎると、元のタスクでの能力を失う破滅的忘却が起きることがあります。

覚え方

「前の仕事の経験を、次の仕事に持ち込む」と覚えます。