【ITニュース解説】Cracking Word Embeddings: Why One-Hot Fails and How Word2Vec Actually Works

コンピューターは、人間のように自然な言葉、つまりテキストをそのままの意味で理解することはできない。例えば、「プログラマーはコードを書く」という文を機械に入力しても、コンピューターにはそれが単なる記号の羅列にしか見えない。コンピューターが情報を処理するためには、言葉を数値の形に変換する必要がある。

これまで、この言葉の数値化には「Bag-of-Words」や「TF-IDF」といった伝統的な手法が使われてきた。これらの手法はテキストをある程度数値化できたが、単語が持つ本来の意味や単語間の関係性を深く捉えることには限界があった。意味を完全に理解できないため、より高度な言語処理を行うことが難しかったのだ。この課題を解決するために登場したのが、「単語埋め込み（Word Embeddings）」という概念と、それを実現する「Word2Vec」というフレームワークである。

なぜ従来の数値化方法では限界があったのか、そしてWord2Vecがどのようにこの問題を解決したのかを具体的に見ていこう。

まず、最も単純なテキストの数値化方法の一つに「One-Hotエンコーディング」がある。これは、扱うすべてのユニークな単語（語彙）にそれぞれ固有の整数IDを割り当てる方法だ。例えば、語彙に10000個の単語があれば、各単語に0から9999までのIDを振る。そして、特定の単語を表現する際には、その単語のIDに対応する位置だけが1で、残りの位置はすべて0という、非常に長いベクトルを作成する。例えば、「猫」という単語のIDが500番なら、500番目の要素だけが1で、他は全て0という10000次元のベクトルになる。

しかし、このOne-Hotベクトルは機械学習モデルにとっては非常に扱いにくい。最大の問題は、単語間の意味的な類似性を全く捉えられないことだ。例えば、「猫」と「犬」という単語は意味的に近い関係にあるが、One-Hotベクトルで表現すると、それぞれ異なる位置に1が立っているため、この2つのベクトルの類似度を計算すると常にゼロになる。これは、幾何学的に見ると、すべてのOne-Hotベクトルが互いに完全に直交しており、独立していることを意味する。結果として、One-Hotエンコーディングでは「猫」と「犬」が互いに無関係であると認識されるだけでなく、「猫」と「冷蔵庫」も同じくらい無関係であると判断されてしまう。単語同士の関係性や共通の意味を数値として表現できないため、単語の深い意味を理解することが不可能だった。

このOne-Hotベクトルの問題を克服するために、研究者たちはWord2Vecを開発した。Word2Vecは、各単語を「密な（Dence）」かつ「固定長の」ベクトルにマッピングする。このベクトルは、One-Hotベクトルと異なり、多くの要素がゼロではない数値を持ち、単語の意味的な類似性や類推を捉えることができる。例えば、「王様 - 男性 + 女性 = 女王様」といった単語間の数学的な操作によって意味的な関係を表現できるようなベクトルを生成する。

Word2Vecの賢い点は、「自己教師あり学習」という手法を用いることだ。これは、人間が手動でデータをラベル付けする手間をかけずに、大量の生テキストデータから自動的に学習を行う仕組みである。具体的には、テキストの中からある単語の「周辺の文脈」を使い、その単語自身やその周辺の単語を予測するというタスクを通じて学習を進める。この学習プロセスには、主に「Skip-Gram」と「Continuous Bag of Words（CBOW）」という二つの異なるモデルアーキテクチャがある。

まず、Skip-Gramモデルについて説明しよう。Skip-Gramは、「ある中心の単語から、その周辺にある文脈の単語を生成する」という前提で学習を行う。例えば、「the man loves his son」という文があったとする。「loves」を中心の単語とし、その周囲2単語を文脈として見ると、「the」「man」「his」「son」が文脈語となる。Skip-Gramモデルは、「loves」という中心語が与えられたときに、これらの文脈語を生成する確率を最大化するように学習を進める。このモデルでは、各単語が中心語として使われる場合のベクトルと、文脈語として使われる場合のベクトルの、二種類の表現を持つ。学習中には、確率的勾配降下法という最適化手法を使って、モデルがより正確に文脈語を予測できるように単語ベクトルを調整していく。学習が完了すると、通常、中心語として使われたときのベクトルを、その単語の最終的な埋め込みベクトルとして利用し、他の機械学習タスクに役立てる。

次に、Continuous Bag of Words（CBOW）モデルについて見ていこう。CBOWはSkip-Gramとは逆のアプローチを取る。「周辺の文脈語から、中心の単語を予測する」という前提で学習を行う。先ほどの例と同じく、「the man loves his son」という文で、「loves」を中心語、周囲2単語を文脈語とすると、「the」「man」「his」「son」が文脈語となる。CBOWモデルは、これらの文脈語のベクトルを平均化し、その平均ベクトルを使って中心語である「loves」を予測する。Skip-Gramと同様に、勾配最適化プロセスを通じて学習を進めるが、CBOWモデルでは、最終的な単語表現として、文脈語として使われたときのベクトルを利用することが多い。

このように、Word2Vecが導入した密なベクトル表現は、機械学習がテキストデータを扱う方法を根本から変えた。単語を連続的なベクトル空間にマッピングすることで、単語間の幾何学的な距離が意味的な関連性を反映するようになった。これにより、モデルは単語同士の関係性、同義語、そして文脈といった、より深い言語のニュアンスを理解し、高度な自然言語処理タスクを実行できるようになる。これは、コンピューターが言葉の意味を理解する上での大きな一歩と言えるだろう。