教師なし学習（シラバス 技術8）

教師なし学習とは

正解ラベルを与えず、特徴量だけからデータの中にあるまとまりや構造を見つける方法です。購買履歴から似た顧客を集める、多数の列を少ない指標に要約する、といった使い方をします。予測の正解がないため、結果が役に立つかは目的に照らして人が判断します。

クラスタリング

似たデータどうしを同じグループ（クラスタ）にまとめます。

• k-means法：クラスタ数kを先に決めます。各データを最も近い中心に割り当て、その平均で中心を置き直す手順を、割り当てが変わらなくなるまで繰り返します。計算が軽く大量のデータに向きますが、最初の中心の置き方で結果が変わります。
• ウォード法：階層的クラスタリングの一種です。1件ずつのクラスタから始め、まとめたときにクラスタ内のばらつきの増え方が最も小さい組から順に結合します。結合の過程はデンドログラム(樹形図)に表し、どの高さで切るかでクラスタ数を後から選べます。

次元削減

多くの特徴量を、情報をなるべく残したまま少ない次元にまとめます。可視化や計算量の削減に使います。

• 主成分分析(PCA)：データの分散が最も大きい方向を第1主成分とし、それと直交する方向で次に分散が大きいものを第2主成分とします。元の特徴量の線形結合なので、各成分の意味を読み取りやすい手法です。
• 特異値分解(SVD)：行列を3つの行列の積に分解します。大きな特異値の成分だけを残すと、元の行列を少ない次元で近似できます。PCAの計算や、文書と単語の行列の圧縮にも使われます。
• 多次元尺度構成法(MDS)：データどうしの距離（似ていなさ）だけを手がかりに、その距離関係をなるべく保つよう低次元に点を配置します。
• t-SNE：近くにあるデータどうしの関係を保つことを重視した非線形の手法で、主に2次元や3次元での可視化に使います。

トピックモデル

文書の集まりから、背後にある話題（トピック）を推定します。代表例の潜在的ディリクレ配分法(LDA)は、1つの文書が複数のトピックの混ざり合いでできており、各トピックが単語の出やすさの分布をもつと考えます。記事の分類や問い合わせの傾向分析に使われます。

推薦システム

• 協調フィルタリング：購入や評価の履歴から、好みの似たユーザーや一緒に選ばれやすい商品を見つけて推薦します。履歴のない新規ユーザーや新商品には推薦しにくく、これをコールドスタート問題と呼びます。
• コンテンツベースフィルタリング：ジャンルや説明文などの商品の属性と、ユーザーの好みを照らし合わせて推薦します。新商品でも属性があれば推薦できます。

実際のサービスでは、両者を組み合わせて弱点を補うことがよくあります。

手法の選び方

グループ数の見当がつかず件数も多すぎなければウォード法、件数が多くkを決められるならk-means法が候補です。解釈しやすい要約が欲しければPCA、データの散らばりを目で確かめたいならt-SNEが向いています。