【ITニュース解説】Context and Context Windows: What You Need to Know

大規模言語モデル（LLM）は、人間のような記憶を持たない。ChatGPTやClaudeといった現代のAIは、膨大な数のパラメータを持つ統計機械であり、訓練データと与えられた情報に基づいて最も可能性の高い出力を予測する。

LLMが情報を処理するために用いるのが「コンテキストウィンドウ」と呼ばれる固定サイズの領域だ。これはモデルが一度に考慮できるすべての情報が収まる「容器」のようなものだ。ユーザーがモデルに送信する言葉やデータ、そしてモデル自身の過去の応答のすべてがこのコンテキストウィンドウに収められる。この容器がいっぱいになると、最も古い情報から順に消えていき、モデルはその情報を参照できなくなる。コンテキストウィンドウ内にない情報は、モデルにとって存在しない。

LLMの学習データは収集と処理に時間がかかるため、通常2～3年以上前の情報に基づいている。モデルが「最新の訓練データは数ヶ月前まで」と答えることがあっても、それは全体の訓練データのごく一部にすぎない。そのため、もし最新のプログラミングフレームワークについて尋ねても、その情報をコンテキストウィンドウに含めない限り、モデルはその存在を知らない。これはモデルが古い情報を優先する「タイムバイアス」と呼ばれる。

また、LLMが訓練データにない、あるいはコンテキストがない事柄について質問されると、「ハルシネーション（幻覚）」と呼ばれる現象を起こすことがある。これは、あたかも事実であるかのように、しかし実際には作り話や間違った情報を生成してしまうことだ。モデルは情報がない場合でも、質問に答えようとして、訓練データから関連性のありそうな情報を組み合わせて生成してしまう。モデルの訓練は永続的だが、コンテキストは一時的なものだと理解すべきだ。

LLMはメッセージのやり取りの間でコンテキストを自動的に保存するわけではない。ユーザーが新しいメッセージを送るたびに、LLMにデータを供給するシステムは、過去のすべての会話履歴を、まるで一度の大きな入力であるかのように再構築し、再度処理する。例えば、会話が続いて二つ目のメッセージを送ると、モデルはその新しいメッセージだけでなく、最初のメッセージと最初の返信、そして二つ目のメッセージをすべてまとめて処理する。会話が続くにつれてコンテキストは大きくなり、コンテキストウィンドウの限界に達すると、古い会話から情報が消えていく。そのため、会話が長くなるとモデルが以前の情報を「忘れた」ように振る舞ったり、応答が変わったりすることがある。

近年、コンテキストウィンドウのサイズは飛躍的に拡大し、多くの情報を扱えるようになった。しかし、これは新たな課題も生み出した。コンテキストウィンドウを無関係な情報で埋め尽くすと、モデルに「ジャンクデータ」を与えていることになり、正確な応答を生成することが難しくなる。また、大量のコンテキスト処理には時間とコストがかかる。

これは「コンテキストウィンドウのパラドックス」と呼ばれている。つまり、含めなかった情報が重要である可能性もあるが、含みすぎるとモデルの応答精度を損なう可能性があるということだ。特にコード関連のタスクでは、関連しそうな情報をすべてコンテキストに含めてしまうシステムが多く、数機能しか必要ないのにコードベース全体を渡したり、現在の仕様に加えて古いドキュメントを含めたりするなど、モデルが有用な情報を見つけるのを難しくする「コンテキスト汚染」を引き起こす。

このコンテキストウィンドウの仕組みを理解することは、AIとのやり取りで生じる一般的な問題の原因を説明する上で非常に重要だ。例えば、AIアシスタントが長い会話の中で以前言及したことを「忘れて」しまう理由や、多くの背景情報を提供したのに応答が悪くなる理由、同じプロンプトでもコンテキストの内容によって異なる結果になる理由（LLMは統計的確率に基づいて出力するため）、そしてAIコードツールが最新のドキュメントにアクセスできるのに古いアプローチを提案する理由などが、すべてこのコンテキスト管理の問題に起因している。

システムエンジニアは、これらの制限を回避するために、最新の情報を優先したり、古い会話を要約したり、無関係な詳細をフィルタリングして取り除いたりといった様々な技術を用いている。しかし、これらのアプローチにもそれぞれトレードオフと限界がある。

結局のところ、LLMにとって「コンテキストが王様（Context is king）」なのだ。コンテキストウィンドウの生のサイズよりも、適切な量の、適切な情報を、適切な順序でモデルに与えることの方がはるかに重要である。このコンテキスト管理こそが、LLMを活用したシステムを構築する上でエンジニアが直面する中心的な課題となっている。