ノーフリーランチの定理とは

ノーフリーランチの定理は、「どんな問題でも最も優れている万能の手法はない」ことを数学的に示した定理です。名前は、「無料の昼食などない」という意味の英語の言い回しに由来します。

定理の内容

WolpertとMacreadyは1997年、最適化の手法について次のことを示しました。考えうるすべての問題について平均すると、どの手法の性能も同じになります。つまり、ある種類の問題で平均より良い成績を出す手法は、別の種類の問題では平均より悪い成績になります。Wolpertは1996年に、教師あり学習のアルゴリズムについても同じ趣旨の結果を発表しています。

ここでの「すべての問題」には、規則性のまったくない、でたらめな問題も含まれます。現実の問題には「近いデータは似た結果になる」といった偏りがあります。そのため、現実の課題で手法ごとに成績の差が出ることは、この定理と矛盾しません。

実務での意味

機械学習の仕事に当てはめると、次のように読めます。

• 1つの案件で成績が良かった手法が、別の案件でも最良とは限らない。
• 手法の良し悪しは、問題の性質との相性で決まる。データや課題についての知識を、手法の選択や設計に活かすことが大切になる。
• 候補の手法をいくつか試し、交差検証などで比べて選ぶ。

ハイパーパラメータの探索も同じです。ある設定がどの課題でも最良になるとは限らないため、課題ごとに検証します。

覚え方

「無料の昼食はない＝どこかで得をすれば、どこかで損をする」と覚えます。