PaLMとは

PaLM（Pathways Language Model）は、Googleが2022年4月に論文で発表した大規模言語モデル（LLM）です。パラメータ数は約5,400億で、当時最大級の規模でした。

どんなモデルか

名前にあるPathwaysは、Googleが開発した、多数のTPUで効率よく学習するための基盤システムです。PaLMはこのシステムを使い、2つのTPU v4 Podにまたがる6,144個のチップで学習されました。

構造は、GPTシリーズと同じく、デコーダだけをもつTransformerです。文章の続きとして次の単語を予測する課題で事前学習しています。学習データは約7,800億トークンで、Webページ、書籍、Wikipedia、ニュース記事、会話、ソースコードなどを含みます。

規模の拡大で見えたこと

論文では、80億、620億、5,400億の3つの規模のモデルを比べています。多くのタスクでは、規模に応じて性能がなだらかに伸びました。一方、BIG-benchという評価用タスク群のおよそ4分の1では、5,400億へ拡大したときに性能が急に伸びました。十分な規模に達すると新しい能力が現れうることを示した例として知られます。

また、推論の途中の過程を書いた例をプロンプトに含める方法（Chain-of-Thought）と組み合わせ、多段階の推論を要する一連の課題で、ファインチューニングした従来の最高性能を上回りました。

その後

Googleは2023年5月に、多言語の能力や推論の能力、計算効率を高めた後継のPaLM 2の技術報告を公開しました。さらに2023年12月には、画像や音声も扱うマルチモーダルのモデルであるGeminiを発表しています。LLMの分野は変化が速いため、最新の動向は各社の発表で確認してください。

覚え方

「PaLMは、Pathwaysで学んだ5,400億パラメータの言語モデル」と覚えます。