【ITニュース解説】Stop Coding the AI, Code the World: A Simple Guide to Markov Decision Processes

システムが何かを学ぶ方法の一つに「強化学習」という考え方がある。これは、まるでロボットの犬にボールを取ってくるように教える場面に似ている。犬の動き一つ一つを細かく指示するプログラムを作るのは大変であり、予期せぬ事態には対応できない。代わりに、犬がボールに近づくたびに褒美を与え、間違った方向に進んだら褒美を取り上げる方法を考える。すると犬は最終的に、自分でどう動けばボールにたどり着けるかを学習する。この「具体的な指示を与える」のではなく「スコアリングシステムを与えて自分で学習させる」という考え方が強化学習の基本的なアイデアであり、その学習のルールブックが「マルコフ決定過程（MDP）」と呼ばれるものだ。

マルコフ決定過程のような概念が登場する以前、プログラマーはAIを作る際に、膨大な数の「もし〜ならば、〜せよ」といった条件分岐（if-else文）を羅列してプログラムを組んでいた。この方法はゲームのように環境が完全に制御された小さな世界では機能するが、現実世界は常に変化し、予測不可能な要素に満ちているため、従来のルールでは対応しきれない。私たちは、現実世界の複雑さを受け入れ、AIが試行錯誤を通じて自ら学習できるようにするための数学的な枠組みを必要としていた。それがマルコフ決定過程の存在する理由である。

マルコフ決定過程は、基本的にビデオゲームを数学的に表現する方法と考えることができる。これには主に四つの要素が含まれる。一つ目は「状態（States）」である。これはエージェントが「今どこにいるか」を示す。例えば、ゲームの盤面上の特定のマス目が状態にあたる。二つ目は「行動（Actions）」である。これはエージェントが「何ができるか」を指す。移動や停止などの選択肢がある。三つ目は「報酬（Rewards）」である。これはエージェントに対する「スコア」であり、目標達成に近づく行動にはプラスの点数を、不利益な行動にはマイナスの点数を与える。四つ目は「遷移（Transitions）」である。これは行動が次の状態にどう影響するかを示す「物理法則」のようなものだ。エージェントが特定の行動を選んだとき、次にどの状態へ移るかの確率を示す。例えば「右へ移動」という行動を選んでも、常に右へ移動するとは限らず、滑って別の場所へ移る可能性も考慮される。これらの確率の合計は常に100%（1.0）となる。

これらの要素が揃ってゲームが構築されたら、エージェントがどのようにゲームをプレイするかが問題となる。エージェントは「方策（Policy）」と呼ばれるものを用いる。方策は、エージェントの「脳」や「戦略」と考えることができ、「もし自分がAという状態にいるならば、この行動を取るべきだ」といったルールである。エージェントがスタート地点から始まり、行動を繰り返し、報酬を集め、最終的にゴールに到達するまでの一連の流れ全体を「エピソード（Episode）」または「軌跡（Trajectory）」と呼ぶ。そのエピソードの終わりにエージェントが得る合計のスコアが「累積報酬（Return）」である。

ここで一つ問題が発生する可能性がある。もしエージェントが、常にプラスの報酬が得られる状態を見つけて、そこに永遠に留まることを選択したら、合計スコアは無限大となり、数学的な計算が破綻してしまう。この問題を解決するために、研究者たちは「割引報酬（Discounted Return）」という考え方を用いる。これは、将来得られる報酬よりも現在得られる報酬の価値を高く設定することで、エージェントに最終目標への到達を促す。これにより、エージェントは一つの場所で永遠に報酬を稼ぎ続けるのではなく、迷路を実際にクリアするインセンティブを持つようになる。

マルコフ決定過程において最も重要なルールが「マルコフ性（Markov Property）」と呼ばれるものである。これは、次にどの状態にたどり着くかが、今いる状態と、今行った行動にだけ依存し、それまでの道のりや過去の履歴は一切考慮されないという性質を指す。つまり、ゲームは過去の履歴を覚えていないと考えることができる。なぜこれが重要なのかというと、もしAIがゲームが始まってからのすべてのステップを覚えて意思決定しなければならないとしたら、その計算量はどんなスーパーコンピューターでも処理しきれないほど膨大になってしまうからだ。マルコフ性は、計算を可能にする。それは、未来のための最善の意思決定をするために、現在の瞬間にだけ注目すればよいということを意味する。

これらの概念が理解できれば、マルコフ決定過程の遷移モデルが、Pythonではしばしばシンプルな辞書形式で記述されることにも納得できるだろう。例えば、「状態1」から「右」という行動を選択した場合、80%の確率で「状態2」へ移動し報酬0、20%の確率で滑って「状態1」に留まり報酬0、といった表現が可能である。それぞれの確率が合計で100%（1.0）になる点は、エージェントが必ずどこかの状態にたどり着くことを示している。

強化学習は、すべてのルールを細かくプログラミングすることではない。そうではなく、エージェントが学習できるより良い「環境」を構築することがその本質である。マップ（状態）、ボタン（行動）、物理法則（遷移）、そして得点システム（報酬）を明確に定義できれば、AIは最終的にどのようにすれば勝利できるかを自分で見つけ出すだろう。マルコフ決定過程を習得することは、私たちが機械に学習させるための基本的な枠組みを理解することに他ならない。