基盤モデルとは

基盤モデル（foundation model）は、2021年にスタンフォード大学の研究者らが、報告書「On the Opportunities and Risks of Foundation Models」で提唱した呼び方です。大規模で幅広いデータで学習し、多様な下流タスクに適応できるモデルを指します。

2つの特徴

• 大規模な事前学習：多くは、ラベルのない大量のデータを使った自己教師あり学習で、汎用的な知識や表現を身につけます。
• 多様なタスクへの適応：ファインチューニングやプロンプトの工夫によって、翻訳、要約、質問応答、画像の分類など、1つのモデルを多くの用途に使い回せます。

従来は、タスクごとに個別のモデルを学習するのが一般的でした。基盤モデルでは、共通の土台を1つ作り、その上に用途ごとの調整を重ねます。

新しい性質とリスク

規模を大きくすると、小さなモデルでは見られなかった能力が現れることがあります。これを創発と呼びます。一方で、多くのアプリケーションが同じ基盤モデルに頼るようになります（均質化）。そのため、基盤モデルにある偏りや欠陥、セキュリティ上の弱点が、派生したすべてのモデルに引き継がれるおそれがあります。報告書は、この「土台として重要だが不完全」という性質を、名前に込めたと説明しています。

似た用語との関係

基盤モデルは、事前学習済みモデルのうち、特に大規模で汎用性が高いものと考えるとわかりやすくなります。大規模言語モデル（LLM）は、文章を扱う基盤モデルの代表です。画像と文章を同時に扱うCLIPのような、マルチモーダルなモデルも含まれます。

覚え方

「1つの土台に、多くの家を建てる」と覚えます。