あるチャットボット開発企業が、自社の会話AIについて「一般から募った審査員と5分間ずつ文字だけで会話させたところ、3割を超える審査員が人間だと判定した。チューリングテストに合格した」と発表しようとしている。この発表とチューリングテストに関する説明として、最も不適切なものを1つ選べ。
正解と解説を見る
解説
正解 D
この問題の論点：チューリングテスト合格の主張
ポイント
チューリングテストは会話のふるまいが人間と区別できるかを見る方法で、結果は条件に左右されます。合格は理解や正確さの証明にはなりません。
選択肢ごとの解説
- A
適切
チューリングは、50年ほど後には、平均的な質問者が5分間の質問の後に相手を正しく見分けられる確率が70%以下になるだろうと予測しました。3割はこの予測の裏返しで、テストの正式な合格基準ではありません。
- B
適切
2014年には、英語を母語としない13歳の少年という設定の会話プログラムが審査員の33%に人間と判定され、「合格」と報じられました。不自然な受け答えが設定のせいで見逃されやすいなど、条件の妥当性に批判が集まりました。
- C
適切
チューリングテストが評価するのは、会話のふるまいが人間と区別できるかどうかです。人間らしさを演出すれば結果は良くなりえますが、業務で必要な知識の正確さや、意味を理解しているかは別に確かめる必要があります。
- D
不適切 正解
ローブナーコンテストは、チューリングテストの形式で会話プログラムを競う大会として1991年に始まりました。毎年、最も人間らしいと評価されたプログラムに銅賞が贈られましたが、人間と区別できないと認められた場合の銀賞や金賞は一度も授与されていません。
試験での狙われ方
合格の報道や審査の条件を示し、チューリングテストで何がわかり、何がわからないかを判断させる形で問われやすい論点です。