1行定義
クラスタリングとは、正解ラベルのないデータを、特徴の似たものどうしが同じグループ(クラスタ)になるように分ける、教師なし学習の手法のことです。
くわしく
クラスタリングは、教師なし学習の代表的なタスクです。正解ラベルを与えずに、データどうしの似ている度合いだけを手がかりにして、データをいくつかのグループ(クラスタ)にまとめます。
分類との違い
クラスタリングと分類は、どちらもデータをグループに分ける点で似ています。違いは、グループの正解が先にあるかどうかです。
分類は、「迷惑メール」「通常のメール」のように決まったクラスと正解ラベルを使って学習し、新しいデータをそのクラスに振り分けます。クラスタリングは、グループの数も意味も決まっていない段階で、データの中にあるまとまりを見つけます。そのため、得られたクラスタが何を表すかは、人が各クラスタの特徴を見て解釈します。
主な手法
- 非階層的クラスタリング:クラスタ数を先に決め、データをその数に分けます。k-means法が代表例です。計算が速く、件数の多いデータにも使えます。
- 階層的クラスタリング:近いものから順に併合していき、その過程をデンドログラム(樹形図)で表します。ウォード法が代表例です。クラスタ数を後から選べます。
多くの手法は、ユークリッド距離などでデータ間の近さを測ります。そのため、単位の大きい特徴量に結果が引きずられないよう、標準化などの前処理が重要です。
使われる場面
購買履歴から似た顧客をまとめて販促を変える顧客のグループ分け、大量の文書を話題ごとにまとめる作業、典型的なまとまりから外れたデータを見つける分析などに使われます。主成分分析(PCA)などの次元削減と組み合わせて、データの構造を目で確かめることもよくあります。
G検定での出題
出題のされ方
正解ラベルを使う分類問題との違い、k-means法のような非階層的な手法とウォード法のような階層的な手法の違い、顧客のグループ分けなどビジネスでの使い方が問われます。
混同しやすい用語
| 用語 | 意味 |
|---|---|
| クラスタリングこのページの用語 | 正解ラベルのないデータを、特徴の似たものどうしが同じグループ(クラスタ)になるように分ける、教師なし学習の手法 |
| 分類問題 | 入力データが、あらかじめ決められたいくつかのクラス(カテゴリ)のうちどれに当たるかを予測する、教師あり学習の問題 |
◯×チェック
次の文が正しいか、誤りかを選んでください。
-
クラスタリングで得られた各クラスタが何を表すかは、アルゴリズムが自動で名前を付けるため、人が解釈する必要はない。
答えを見る
答え × 誤り
アルゴリズムは似たものをまとめるだけです。「価格を重視する層」のような意味づけは、各クラスタの特徴を見て人が行います。
-
クラスタリングには正解ラベルがないため、分類問題の正解率のように、結果を正解と照らし合わせて良し悪しを直接測ることはできない。
答えを見る
答え ◯ 正しい
クラスタ内のまとまりやクラスタ間の離れ具合を表す指標や、分析の目的に役立つかどうかで評価します。評価の難しさは、クラスタリングの課題の1つです。
-
クラスタリングでは、1つのデータは必ず1つのクラスタだけに属するように分けなければならない。
答えを見る
答え × 誤り
k-means法のように所属を1つに決める方法をハードクラスタリングといいます。混合ガウスモデルのように、各クラスタに属する確率で表すソフトクラスタリングもあります。