【ITニュース解説】Understanding Unsupervised Machine Learning

機械学習とは、コンピューターがデータからパターンを自動で学び、有用な関係性を見つけ出す人工知能の一分野である。これは、私たちが一つ一つのルールを手動で教え込むのではなく、大量の例を与えることで、コンピューター自身に学習させることを意味する。推薦システム、不正検出、音声アシスタントなど、私たちの日常生活の多くの場面で活用されている技術である。

機械学習にはいくつかの主要な種類があるが、その中でも特に重要なのが「教師なし機械学習」である。これは、大量のデータはあるものの、そのデータに対する正しい答えや分類があらかじめ分かっていない場合に特に有効な手法である。

従来の「教師あり機械学習」では、モデルは先生や監督者のように、正解（ラベル）が付けられた入力データから学習する。例えば、「猫」や「犬」とラベル付けされた何千枚もの画像をコンピューターに与え、画像の特徴とラベルの関連性を学習させる。しかし、「教師なし機械学習」では、先生も監督者もなく、最も重要な「正解ラベル」も存在しない。アルゴリズムには生データのみが与えられ、その唯一の目的はデータを調べ、隠れた数学的構造や繰り返し現れるパターンを発見し、似たデータ点をグループ化することである。

教師なし学習が必要とされる理由はいくつかある。まず、データにラベルを付ける作業は非常にコストがかかり、時間もかかるという現実がある。人間が手作業でアノテーション（注釈付け）を行うのは骨の折れる作業であり、教師なし学習は、ラベル付けされていない膨大なデータセットから意味のある情報を引き出すことを可能にする。次に、人間は自身の先入観や専門知識によって、データから特定のパターンしか見つけられないことがあるが、教師なし学習は、人間が見落としがちな、あるいはこれまで考えもしなかったようなデータ内の関連性を発見できる。さらに、教師なし学習の技術は、複雑なデータセットを簡素化し、可視化しやすくしたり、保存しやすくしたり、後続の予測モデルに供給しやすくするためのデータ圧縮や特徴抽出にも役立つ。

教師なし学習の主要な分野の一つに「クラスタリング」がある。これは、データセットを distinct なグループ（クラスター）に分割するタスクで、同じグループ内のデータ点は、他のグループのデータ点よりも互いに似ているようにする。

クラスタリングの最も重要なアルゴリズムの一つが「K-Meansクラスタリング」である。K-Meansは、その速度とシンプルさから、クラスタリングの主力として広く使われている。K-Meansの仕組みは次の通りである。まず、いくつのクラスターに分けたいか（Kの数）を決める。次に、データ空間にK個の点をランダムに配置し、これらを初期のクラスターの中心（セントロイド）とする。そして、各データ点とK個のセントロイドとの距離（通常は一般的な直線距離であるユークリッド距離）を計算し、最も近いセントロイドにデータ点を割り当てる。その後、各クラスターに割り当てられたすべてのデータ点の平均値を取り、セントロイドの位置を更新する。この「データ点の割り当て」と「セントロイドの更新」のステップを、セントロイドの位置が変化しなくなるまで、または事前に設定した最大回数に達するまで繰り返す。Kの適切な数を見つけるためには、「エルボー法」という手法がよく用いられる。これは、クラスター内誤差平方和（WCSS）という、各クラスター内のデータ点がそのクラスターのセントロイドからどれだけ離れているかを示す指標を、さまざまなKの値に対してプロットする。Kが増えるにつれてWCSSは減少するが、最適なKは、この減少率が急激に鈍化する「肘」のような点であると考えられている。

K-Meansとは異なり、Kの数を事前に指定する必要がない「階層的クラスタリング」という手法もある。これは、クラスターの入れ子構造を生成し、デンドログラムと呼ばれる樹状の図で表現する。階層的クラスタリングには主に二つのアプローチがある。「凝集型（Bottom-Up）」は、まず各データ点をそれぞれ独立したクラスターとして開始し、最も近い二つのクラスターを順次結合していき、最終的に一つの大きなクラスターになるまで続ける。「分割型（Top-Down）」は、すべてのデータ点を一つの大きなクラスターとみなし、それを再帰的に小さなサブクラスターに分割していく。デンドログラムは、クラスターがどのように結合または分割されたかを示すもので、特定の高さで水平線を引くことで、問題に最適なクラスターの数を決定できる。

「DBSCAN（Density-Based Spatial Clustering of Applications with Noise）」は、K-Meansや階層的クラスタリングが苦手とする、不規則な形状のクラスターやノイズの多いデータに対応できるクラスタリング手法である。DBSCANは、セントロイドからの距離ではなく、データの局所的な密度に基づいて点をクラスター化する。DBSCANには「ε（イプシロン）」と「MinPts」という二つの重要な概念がある。εは、ある点の周囲をどれくらいの半径まで探すかの最大距離を示し、MinPtsは、そのε半径内に含まれる点の最小数で、その領域を「密な領域」とみなすための基準となる。DBSCANでは、点を「コア点」（ε半径内にMinPts以上の点を持つ）、 「境界点」（コア点のε半径内にあるが、自身のε半径内にはMinPts未満の点しかない）、そして「ノイズ点」（コア点でも境界点でもない点、つまり外れ値）のいずれかに分類する。DBSCANの利点は、外れ値をノイズとして自動的に識別し、Kの数を事前に指定することなく複雑なクラスター構造を発見できる点にある。

現代のデータセットは、「高次元の呪い」と呼ばれる問題に直面することが多い。この問題に対処するのが「次元削減」である。次元削減は、考慮する変数の数を減らし、主要な特徴のセットを取得することでデータを圧縮し、同時に重要な情報をできるだけ保持する手法である。

次元削減の代表的な手法の一つが「主成分分析（PCA）」である。PCAは線形の次元削減手法で、データを新しい座標系に再配置し、最も少ない軸で最大の分散が捕捉されるようにする。PCAの直感的な仕組みは次の通りである。まず、各特徴ベクトルから平均値を引いてデータを原点（0,0）の中心に配置する。次に、各変数と他のすべての変数がどのように相関するかを示す共分散行列を計算する。そして、固有ベクトルと固有値を見つける。固有ベクトルは新しい座標軸（主成分）の方向を表し、固有値は各主成分に沿って捕捉される分散の量を示す。最後に、固有値の大きい順に主成分をソートし、全体の分散の大部分（例えば95%）を説明する上位K個の主成分を選択する。

PCAが全体的な線形関係を探すのに対し、「t-SNE（t-Distributed Stochastic Neighbor Embedding）」は、高次元データを2Dまたは3D空間で視覚化するために特化された非線形の手法である。t-SNEの直感的な仕組みは、まず高次元空間でのデータ点ペア間の類似度確率をガウス分布を用いて計算する。次に、高次元空間で近隣の点が低次元マップでも近くに留まるように、点の位置を決定した低次元マップ（通常は2D）を構築する。この際、「混雑問題」を解決するために低次元空間でStudent-t分布を使用し、クラスターがきれいに広がり、明確に視覚化されるようにする。

「異常検知（外れ値検出）」も教師なし学習の重要な分野である。これは、データの大部分と著しく異なることで疑念を抱かせるような、まれなイベント、アイテム、または観測を特定するプロセスである。異常は定義上まれであるため、ラベル付けされた異常データセットは極めて不足している。そのため、教師なしアルゴリズムは、「正常な」データがどのようなものかを学習し、その規範から逸脱するものをフラグを立てることで、この分野で優れた能力を発揮する。主要なアルゴリズムには、「Isolation Forest」と「One-Class SVM」がある。Isolation Forestは、正常な点をプロファイリングするのではなく、異常を分離するツリーベースのアルゴリズムである。異常はまれで異なるため、決定木で分離するためには正常な点よりも少ない分割で済むという特性を利用する。One-Class SVMは、サポートベクターマシンの変種で、正常なデータ点の周りにタイトな境界線をフィットさせる。この決定境界の外側に落ちるものは異常としてフラグが立てられる。

教師なしの概念とディープニューラルネットワークを組み合わせたものが「オートエンコーダ」である。オートエンコーダは、制約のあるボトルネック層を介して入力を出力にコピーするように設計されたニューラルネットワークである。そのアーキテクチャは、「エンコーダ」「ボトルネック」「デコーダ」の3つの部分から構成される。エンコーダは、入力データXをより低次元の表現（潜在空間またはコード）に圧縮する一連の層である。ボトルネックは、ネットワークの最も狭い層であり、情報の流れを制限することで、ネットワークに最も本質的な特徴だけを学習させる。デコーダは、潜在コードから元の入力を再構築しようとする一連の層である。損失関数は、再構築された出力X’が元の入力Xとどれだけ正確に一致するかを測定する（通常は平均二乗誤差で測定される）。オートエンコーダの応用例としては、ノイズ除去された画像を目標としてノイズのある画像を入力としてネットワークを訓練することで、画像から背景ノイズを取り除く「画像ノイズ除去」、線形PCAよりも優れた非線形圧縮を行う「次元削減」、そして正常なデータのみで訓練されたオートエンコーダが異常な入力をうまく再構築できないことを利用して、高い再構築誤差を出すことで異常を検知する「異常再構築」などがある。

教師なし機械学習は、現代の産業における数多くの重要なサービスを支えている。マーケティングにおける顧客セグメンテーションでは、Eコマースプラットフォームが顧客の閲覧行動や購入履歴、消費習慣に基づいて顧客をグループ化し、パーソナライズされたマーケティングキャンペーンを構築する。銀行における不正検知では、クレジットカード処理業者が取引パターンを監視し、予期せぬ場所で発生する異常な購入にフラグを立てる。ゲノミクスにおける遺伝子発現解析では、科学者が人間の遺伝パターンをクラスター化し、これまで知られていなかった複雑な疾患の生物学的サブタイプを発見する。推薦エンジンでは、ストリーミングプラットフォームが、推薦を生成する前に、 massive なユーザーとアイテムのインタラクション行列を処理するために次元削減を使用する。自然言語処理（NLP）モデルは、何百万もの非構造化されたニュース記事を自動的に異なるトピックグループに整理する、文書トピックモデリングに利用される。

教師なし機械学習は、生データやラベル付けされていない混沌としたデータから、構造化された知識へと変換するためのツールキットを提供する。クラスタリング（K-Means、階層的、DBSCAN）は、距離や密度に基づいて似たデータ点をグループ化する。次元削減（PCA、t-SNE）は、高次元の特徴空間を管理しやすいコンポーネントに圧縮し、重要な構造情報を保持する。異常検知は、学習された正規分布からの逸脱を測定することで、まれなイベントを分離する。オートエンコーダは、ディープラーニングのボトルネックを活用して、画像やビデオのような複雑で非構造化されたデータから豊かな潜在表現を抽出する。

結論として、教師なし機械学習は、事前定義された答えやラベルを持たないデータから学習する強力な方法である。モデルは、何を探すべきか正確に指示されるのではなく、隠れた構造、類似性、関係性、および異常な観測を自ら探し出す。主な用途としては、類似アイテムのクラスタリング、一緒に発生する製品の発見、複雑なデータの簡素化、異常な行動の検出などがある。ビジネス、医療、サイバーセキュリティ、研究、教育、オンラインプラットフォームなど、多くの分野で有用な技術である。最も重要なアイデアは、教師なし機械学習が、誰も正しいカテゴリや答えをまだ提供していないデータから、コンピューターがパターンを発見するのを助けるという点である。