【ITニュース解説】Markov chains are the original language models

マルコフ連鎖は、現代の高度な言語モデルが生まれる以前から、文章や言葉のパターンを理解し、新しいテキストを生成するための基本的な手法として存在していた。現代のAIチャットボットや翻訳システムに利用されている大規模な言語モデルは、複雑な技術の結晶だが、そのルーツを探ると、この比較的シンプルな確率モデルにたどり着く。

まず、言語モデルとは何かを簡単に説明する。言語モデルとは、ある単語の並びがどれくらい自然であるかを評価したり、次にどのような単語が来るかを予測したりするための計算モデルである。例えば、「今日の天気は」という文が与えられたとき、「晴れ」や「雨」といった単語が続く可能性が高いと判断し、それ以外の単語が続く可能性は低いと判断するのが言語モデルの役割だ。

では、マルコフ連鎖とは具体的にどのようなものなのだろうか。マルコフ連鎖は、未来の状態が現在の状態のみに依存し、過去の状態は未来に影響しないという「マルコフ性」という性質を持つ確率過程である。これは、システムが複数の「状態」を取り、ある状態から別の状態へ確率的に「遷移」していく様子を表現する数学的なモデルだ。今日の天気が晴れだった場合、明日の天気が曇りになる確率や雨になる確率が今日の天気のみに依存し、一昨日の天気は直接影響しないと仮定するような考え方がこれにあたる。

このマルコフ連鎖の考え方を言語に適用すると、それぞれの単語を一つの「状態」と見なすことができる。つまり、文章は単語から単語へと状態が遷移していく連鎖として捉えられるのだ。例えば、「私は」という単語の次に「猫を」という単語が来る確率は、「食べた」という単語が来る確率よりもはるかに高い、といった具合だ。マルコフ連鎖に基づく言語モデルは、大量のテキストデータ（コーパスと呼ばれる）を分析し、特定の単語の次に別の単語が出現する確率を学習する。

この学習プロセスは非常に直接的だ。例えば、テキストデータ中で「Aの次にBが来る回数」を数え、「Aが出現する合計回数」で割れば、「Aの次にBが来る確率」が求められる。このようにして、あらゆる単語のペア（これをバイグラムと呼ぶ）や、場合によっては3つの単語の連鎖（トライグラム）に対する遷移確率のテーブルを作成する。このテーブルが、マルコフ連鎖に基づく言語モデルの「知識」となる。

テキストを生成する際には、まず最初の単語を確率的に選択するか、あるいは与えられた単語から始める。次に、現在の単語に基づいて、次に最も確率の高い単語を確率的に選択する。そして、選択された単語を現在の単語として、再び次の単語を選択する、というプロセスを繰り返す。これにより、一見すると自然な文章が生成される。例えば、「犬が」という単語から始めると、モデルは学習した確率に基づいて「吠える」や「走る」といった単語を次に選択し、その選択された単語からさらに次の単語を選ぶ、といった具合だ。

しかし、マルコフ連鎖に基づく言語モデルには重要な限界がある。それは、「マルコフ性」そのものに起因する。このモデルは、原則として直前の単語（またはごく少数の単語）しか考慮しないため、長期的な文脈や文全体の意味を捉えることができない。たとえば、「彼は昨日、図書館で借りた本を読んだ」という文の場合、マルコフ連鎖モデルは「読んだ」の直前の単語が「本を」であることしか考慮しないため、「彼」が「読んだ」という行為の主体であることや、「図書館で借りた」という情報が「本」を修飾していることなど、離れた単語間の関係性を理解することが難しい。

このため、マルコフ連鎖によって生成された文章は、短期的には文法的に正しく見えるかもしれないが、長い文になると意味が通じなくなったり、不自然な言い回しになったりすることが多かった。人間が言葉を理解したり生成したりする際には、直前の単語だけでなく、文頭からの情報や、場合によってはその前の文脈全体を考慮に入れる。マルコフ連鎖モデルは、この人間の言語処理の複雑さには対応できなかったのだ。

これらの限界が、より高度な言語モデルの開発へとつながる原動力となった。現在の深層学習に基づく言語モデルは、より広範囲の文脈を捉え、単語間の複雑な依存関係を学習できるようになった。しかし、それでもマルコフ連鎖が言語モデルの基本的な概念とアプローチを提供したという事実は揺るがない。単語を状態と見なし、確率的に次の状態へ遷移するという考え方は、その後の言語モデルの発展において、統計的なアプローチの基礎を築いた。つまり、マルコフ連鎖は、現代の複雑な言語モデルがどのような問題に直面し、それをどう解決していったのかを理解するための、重要な出発点と言えるだろう。現代の高度なAIモデルの内部で動いている複雑な仕組みも、その根底には確率的な思考と状態遷移の概念が息づいているのである。