自己教師あり学習とは

自己教師あり学習（self-supervised learning）は、ラベルの付いていない大量のデータから、データ自身を手がかりに「問題と正解」を自動で作って学習する方法です。人手でラベルを付ける手間をかけずに、大規模な事前学習ができます。

正解をデータから作る

たとえば文章なら、一部の単語を隠し、前後の文脈からその単語を当てさせます。正解は隠す前の文章にあるので、人がラベルを付ける必要はありません。BERTのMasked Language Modelがこの例です。GPT系の言語モデルが行う「次の単語の予測」も、文章そのものが正解になるため、自己教師あり学習に含まれます。

画像では、画像の一部を隠して復元させる方法があります。また、1枚の画像から切り抜きや色の変更で2枚の画像を作り、それらの表現を近づけ、ほかの画像の表現とは遠ざける対照学習もあります。SimCLR（2020年）が代表例です。

目的はその先のタスク

このとき解かせる穴埋めなどの問題を、プレテキストタスク（口実タスク）と呼びます。プレテキストタスクの成績そのものは目的ではありません。解く過程でデータの構造をとらえた表現を身につけさせ、そのモデルを分類などの下流タスクに生かすことが目的です。少量のラベル付きデータでファインチューニングするだけで、高い性能を得やすくなります。

似た用語との違い

正解ラベルを人が用意しない点から、教師なし学習の一種として説明されることもあります。ただし、学習の形は「入力から正解を予測する」教師あり学習と同じです。少量のラベル付きデータと大量のラベルなしデータを組み合わせて学習する半教師あり学習とは区別します。

覚え方

「先生（正解）は、データの中にいる」と覚えます。