1行定義
ローブナーコンテストとは、チューリングテストの形式で会話プログラムを審査し、最も人間らしいと評価されたものを表彰した大会のことです。
くわしく
ローブナーコンテストは、チューリングテストを実際の大会として行う試みでした。ニューヨークの実業家ヒュー・ローブナーが1990年に賞を設け、1991年11月にボストンのコンピュータ博物館で第1回が開かれました。
大会の形式
判定者は、端末を通じた文字のやり取りで、相手が人間か会話プログラムかを見分けようとします。会話の相手には、プログラムのほかに人間の参加者も含まれます。判定者の評価をもとに、最も人間らしいとされたプログラムに銅メダルと賞金が贈られました。人間と区別できない会話プログラムには10万ドルの大賞が用意されていましたが、獲得したプログラムはありませんでした。
第1回では、話題を限定する方式がとられました。優勝したプログラムは「気まぐれな会話」を話題にしたもので、10人の判定者のうち5人に人間だと思わせました。一方で、人間の参加者を機械だと判定した判定者もいました。
批判と意義
この大会には、研究者から批判も寄せられました。計算機科学者のスチュアート・シーバーは第1回の大会を分析し、目的がはっきりせず、今の設計では役に立つ成果が得られないと論じました。話題を限ったり、受け答えをはぐらかしたりする工夫で人間らしく見せられるため、知能の進歩を測る方法としては疑問視されたのです。
会話が人間らしく見えることと、意味を理解していることは別の問題です。この点は、サールの中国語の部屋による批判とも重なります。ELIZAのような単純な仕組みでも相手が理解していると感じる人がいたことも、同じ問題を示しています。大会は2019年の開催が最後になっています。
覚え方
「チューリングテストを、本当に大会にしたもの」と覚えます。
G検定での出題
出題のされ方
チューリングテストを実際の大会として行ったものという位置づけや、会話の振る舞いだけで評価するため意味を理解していなくても上位になりうるという限界が、チューリングテストや中国語の部屋とあわせて問われます。
◯×チェック
次の文が正しいか、誤りかを選んでください。
-
1991年の第1回ローブナーコンテストは、会話の話題を限定した形でチューリングテストを行った。
答えを見る
答え ◯ 正しい
プログラムごとに話題が決められ、優勝したプログラムは「気まぐれな会話」を話題にしていました。自由な会話よりも機械に有利な条件です。
-
ローブナーコンテストでは、判定者を完全にだましたプログラムだけに賞が贈られ、該当がない年は表彰が行われなかった。
答えを見る
答え × 誤り
大会では、最も人間らしいと評価されたプログラムに銅メダルと賞金が贈られました。人間と区別できないプログラムに贈る大賞は、獲得されませんでした。
-
第1回ローブナーコンテストでは、人間の参加者を機械だと判定した判定者もいた。
答えを見る
答え ◯ 正しい
判定者が機械と人間の両方と会話して見分ける形式のため、誤りは両方向に起こります。人間らしさの判断が、判定者の受け止め方に左右されることを示しています。