Visual Question Answeringとは

Visual Question Answering（VQA）は、画像とその画像についての質問を受け取り、答えを返すタスクです。たとえば、食卓の写真と「コップはいくつありますか」という質問から、「2つ」と答えます。

なぜ難しいのか

答えるには、物の認識だけでなく、数える、色や位置関係を読み取る、常識を使うといった、さまざまな能力が必要です。質問によって、画像のどこを見るべきかも変わります。画像の理解と言語の理解を組み合わせる、マルチモーダルなタスクの代表例です。

データセットと偏りの問題

2015年に発表されたVQAのデータセットは、約25万枚の画像、約76万の質問、約1,000万の答えからなります。画像には、MS COCOの写真と、新たに作った抽象的な場面の絵を使いました。質問と答えは自由記述で、選択肢から選ぶ形式の評価も用意されました。

その後、画像を見なくても質問文の言い回しだけで答えを当てられる偏りが問題になりました。「〜はありますか」と聞かれたら「はい」と答える、といった傾向をモデルが覚えてしまいます。そこで、同じ質問で答えが変わる似た画像を組にして、偏りを減らしたデータセット（VQA v2.0）が作られました。

解き方の変化

初期のモデルは、CNNで画像の特徴を、LSTMで質問文の特徴を取り出し、組み合わせて答えを予測しました。よく出る1,000個の答えを候補とし、その中から選ぶ分類問題として解いています。その後、質問に応じて画像の注目箇所を変える注意機構が広く使われました。現在は、FlamingoやUnified-IOのような視覚言語モデルも答えを生成できます。

似たタスクとの違い

Image Captioningは質問を受け取らず、画像全体の説明文を作ります。文章だけを読んで質問に答える質問応答とは、画像を入力に含む点が異なります。

覚え方

「画像を見せて質問し、答えをもらう」と覚えます。