ファインチューニングとは

ファインチューニングは、すでに学習を終えたモデルを、自分の目的に合わせて少しだけ作り直す方法です。大量のデータで事前学習したモデルは、画像ならエッジや形、文章なら語の意味や文法といった、多くのタスクに共通する特徴を身につけています。これを出発点にすれば、目的のタスクのデータが少なくても、高い精度を得やすくなります。

進め方の例

ImageNetで学習した画像分類のCNNを、製品の良品・不良品の判定に使う場合を考えます。

1. 出力層を、目的のクラス数に合わせて付け替えます。
2. 事前学習済みの重みを初期値として、目的のデータで学習します。
3. 学習率は、ゼロから学習するときより小さくします。獲得済みの特徴を壊さないためです。

入力に近い層は汎用的な特徴を、出力に近い層はタスクに固有の特徴を表すことが知られています。そのため、入力に近い層を固定（凍結）し、出力に近い層だけを調整することもあります。

転移学習との違い

日本語の解説では、事前学習済みの重みを固定して、付け替えた出力層などだけを学習する方法を「転移学習」と呼びます。そのうえで、事前学習済みの層の重みまで更新する方法を「ファインチューニング」と区別することがよくあります。一方、広い意味では、ファインチューニングも転移学習の手法の1つです。問題文がどちらの意味で使っているかに注意します。

注意点と応用

目的のデータだけで強く調整すると、事前学習で得た能力が失われることがあります。これを破滅的忘却といいます。

自然言語処理では、BERTが事前学習とファインチューニングの組み合わせで、多くのタスクの精度を高めました。大規模言語モデルでもファインチューニングが使われます。たとえばInstructGPTでは、指示と模範的な応答の組で教師ありのファインチューニングを行ったあと、RLHFで調整しました。

覚え方

「一から建てずに、建った家を手直しする」と覚えます。