囲碁AIのアルファ碁(AlphaGo)と、その後にDeepMindが発表した後継のAIに関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：AlphaGoと後継AIの学習方法
ポイント
AlphaGoは人間の棋譜も使い、AlphaGo Zero以降は自己対局だけで学習します。AlphaZeroは同じアルゴリズムでゲームごとに別々に学習しました。
選択肢ごとの解説
- A
適切
AlphaGoは、まず人間の対局から集めた約3,000万の局面で、次の一手を予測する方策ネットワークを教師あり学習しました。そのうえで、自己対局による強化学習で方策を改良し、自己対局の結果から形勢を評価する価値ネットワークも学習しました。
- B
適切
AlphaGo Zeroは、人間の対局データを使わず、自分どうしの対局から強化学習だけで学びました。李世乭（イ・セドル）に勝ったバージョンのAlphaGoと対戦し、100戦全勝しています。
- C
適切
AlphaGo Zeroは、手の候補と形勢を1つのネットワークで出力し、それを手がかりにモンテカルロ木探索を行います。探索をやめたわけではなく、終局まで打ってみる簡易な試し打ち（ロールアウト）を省いて探索を簡素にしました。
- D
不適切 正解
AlphaZeroは、同じアルゴリズムとネットワークの構成を使いながら、囲碁・チェス・将棋のそれぞれについて、ルールだけを与えて別々に自己対局から学習しました。1つの学習済みネットワークを使い回したわけではありません。
試験での狙われ方
AlphaGo・AlphaGo Zero・AlphaZeroの違いを、人間の棋譜を使うか、どのゲームを対象にするかという観点で比べさせる形が考えられます。
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目6 ディープラーニング）
- Silver et al., Mastering the game of Go with deep neural networks and tree search, Nature 529, 484–489 (2016)
- Silver et al., Mastering the game of Go without human knowledge, Nature 550, 354–359 (2017)
- Silver et al., Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm (2017)
- Silver et al., A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play, Science 362, 1140–1144 (2018)