1行定義
GPTとは、OpenAIが開発した、TransformerのDecoderを使い、文章の続きを予測するように事前学習した言語モデルのシリーズのことです。
くわしく
GPTは、Generative Pre-trained Transformerの略です。Transformerを使い、大量の文章で事前学習し（Pre-trained）、文章を生成できる（Generative）モデルという意味です。OpenAIが2018年に最初のモデルを発表し、その後も世代を重ねています。
仕組み
GPTは、TransformerのDecoder側を積み重ねた構造をもちます。Encoderがないため、Source-Target Attentionは使いません。学習では、文章の先頭から順に「次に来る単語（トークン）」を予測します。正解は文章そのものの中にあるため、人手でラベルを付ける必要がありません。これは自己教師あり学習の一種です。予測した単語を入力に加えて次を予測することを繰り返し、文章を生成します（自己回帰）。
BERTはEncoder側を使い、文中の隠した単語を前後の両方の文脈から当てるように学習します。文の理解に強いBERTに対し、GPTは文章の生成に向いた構造です。
世代ごとの変化
- 最初のGPT（2018年）：事前学習の後、タスクごとにファインチューニングして、文の分類や質問応答などの性能を高めました。
- GPT-2（2019年）：パラメータ数を約15億に増やし、ファインチューニングなしでも複数のタスクをある程度こなせることを示しました。
- GPT-3（2020年）：パラメータ数を約1,750億に増やしました。プロンプトに少数の例を示すだけでタスクをこなすfew-shotの能力が注目されました。
- ChatGPT（2022年）：GPT-3.5系のモデルを、人間のフィードバックによる強化学習（RLHF）などで対話向けに調整したサービスです。
G検定での位置づけ
シラバス2024の第1.4版（2026年5月11日改訂）で、ChatGPTとGPT-nはキーワードから削除されました。ただし、キーワードに残る大規模言語モデル（LLM）の代表例なので、仕組みは押さえておきます。
覚え方
「GPTは続きを書くDecoder、BERTは穴を埋めるEncoder」と覚えます。
G検定での出題
出題のされ方
シラバス2024の第1.4版でGPT-nはキーワードから外れました。大規模言語モデル（LLM）の代表例として、次の単語を予測する事前学習や、BERTとの構造の違いが問われやすい論点です。
混同しやすい用語
| 用語 | 意味 |
|---|---|
| GPTこのページの用語 | OpenAIが開発した、TransformerのDecoderを使い、文章の続きを予測するように事前学習した言語モデルのシリーズ |
| BERT | Transformerのエンコーダを大量の文章で事前学習し、前後両方向の文脈を捉えた表現を多くの言語タスクに転用できるようにしたモデル |
違いを表で比べる
◯×チェック
次の文が正しいか、誤りかを選んでください。
-
GPTは、TransformerのEncoderとDecoderのうち、Decoder側の構造を積み重ねたモデルである。
答えを見る
答え ◯ 正しい
前の単語だけを参照するように制限したSelf-Attentionを使い、次の単語を順に予測します。Encoder側を使うBERTとは構造が異なります。
-
GPTは文章を生成するためのモデルなので、文の分類や含意関係の判定といった、文章を理解するタスクには使えない。
答えを見る
答え × 誤り
最初のGPTの論文は、事前学習したモデルをタスクごとにファインチューニングし、文の分類や質問応答などの理解系タスクで性能を高めたものです。
-
2022年に公開されたChatGPTは、GPT-3.5系のモデルを、人が書いた応答例による追加学習と、人間のフィードバックによる強化学習（RLHF）で対話向けに調整したものである。
答えを見る
答え ◯ 正しい
次の単語を予測する事前学習だけでは、指示に沿った応答をするとは限りません。そのため、InstructGPTと同じく、人の評価を使った調整が加えられました。
この用語の練習問題
出典
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目27 自然言語処理）
- Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, Improving Language Understanding by Generative Pre-Training, OpenAI (2018)
- Alec Radford et al., Language Models are Unsupervised Multitask Learners, OpenAI (2019)
- Tom B. Brown et al., Language Models are Few-Shot Learners (2020)
- Long Ouyang et al., Training language models to follow instructions with human feedback (2022)