【ITニュース解説】IA para Devs 02: O que é um modelo de linguagem ou LLM?

LLM、すなわち大規模言語モデルは、システムエンジニアを目指す初心者にとって理解すべき重要な技術分野である。これは、大量のテキストデータを学習することで、人間が話すような自然な言葉を理解し、生成できるように設計された人工知能モデルのことだ。多くのLLMは「ファウンデーションモデル」と呼ばれ、膨大なデータで事前に学習されており、様々なタスクに適応したり、異なる用途に調整したりできる汎用性の高い基盤モデルとして機能する。テキストだけでなく、画像や音声など様々な種類のデータを扱える「マルチモーダルモデル」も存在し、その応用範囲は広がりを見せている。

モデルのトレーニングとは、データからパターンを学び、その情報を内部の「パラメータ」と呼ばれる数値に落とし込むプロセスを指す。このパラメータが、モデルが情報を受け取り、どのように応答を生成するかを決定する。トレーニングにはいくつかの段階があり、例えば「プリトレーニング」では大規模なデータで基本的な言語能力を学習し、「ファインチューニング」では特定のタスクに合わせてさらに調整が加えられる。また、人間の好みやフィードバックに基づいてモデルを改善する「選好によるトレーニング」や「強化学習」といった方法も利用されることがある。全てのモデルが同じ手順を踏むわけではないが、例えばコードを生成するモデルは、GitHub上の公開リポジトリやStack Overflowの質問と回答のデータセット全体を使ってトレーニングされることがある。

このようにトレーニングされたLLMは、ユーザーからの指示（プロンプト）と学習済みのパターン、そして与えられた文脈に基づいて、多岐にわたるタスクを実行できる。具体的には、与えられた情報や学習内容に基づいて質問に答えたり、複雑な概念を説明したり、文章を別の表現に言い換えたりすることが可能だ。また、長いテキストを要約したり、異なる言語に翻訳したり、特定の基準に基づいてテキストを分類したりする能力も持っている。文章の草案を作成したり、具体的な例やアイデアを生み出したり、指示に従ってコードや構造化されたデータを生成することもできる。さらに、提示された情報を分析し、問題に対する潜在的な解決策を提案するといった高度な処理も行える。

しかし、LLM単体には限界もある。例えば、インターネット上でリアルタイムに情報を検索したり、コンピューター上のファイルを直接編集したりすることはできない。また、トレーニングが完了した時点以降の最新データに基づいて応答を生成することも不可能だ。つまり、モデルの学習データが例えば2023年までの情報で構築されていれば、2024年以降に発生した出来事については答えられない。さらに、LLMは基本的に個々のやり取りを独立したセッションとして扱うため、過去の会話履歴を自動的に保持して文脈を引き継ぐこともできない。

LLMが実際にどのように動作するかを具体的に見てみよう。まず、ユーザーが「LLMとは何か一文で説明して」のようなメッセージを入力してモデルに送信する。次に、モデルはこのメッセージを「トークン」と呼ばれる小さな単位に分割する。トークンとはモデルがテキストを処理するために使う最小単位で、例えば一つの単語が複数のトークンに分割されることもある。各LLMには、テキストをトークンに分割する独自のルールがある。トークンに分割された入力は、モデルがトレーニング中に学習した内部のパラメータを使って、数学的な計算により次にどのようなトークンを生成すれば最も適切な応答になるかを決定する。そして最後に、モデルは生成されたトークン列を組み合わせて、自然な言語で「LLMはテキストを処理し、生成する人工知能モデルである」といった応答をユーザーに返す。

LLMと「AIエージェント」は混同されがちだが、明確な違いがある。LLMは与えられた文脈に基づいて出力を生成する単一の処理エンジンと考えることができる。一方、AIエージェントは、このLLMを中核に据えつつ、さらに外部のツールやアプリケーションと連携する「ワークフロー」を組み合わせたシステムである。AIエージェントは、LLMの能力に加えて、外部のツールを呼び出したり、複数のステップを経て複雑なタスクを実行したり、さらには会話の文脈や履歴を保存して活用したりできる。

例えば、「今のサンパウロの気温は何度か？」と質問した場合を考えてみよう。LLM単体では、トレーニング中に学んだ一般的な知識に基づいて応答を生成しようとするが、リアルタイムの気象データにはアクセスできないため、現在の正確な気温を答えることはできない。しかし、AIエージェントの場合は、この質問を受けたときに、外部の天気予報ツールにアクセスする必要があると判断する。エージェントはツールを呼び出して現在のサンパウロの気温を取得し、その情報をユーザーに返すことが可能だ。この例からわかるように、LLMはパターン学習とテキスト生成に特化しているが、AIエージェントはLLMの言語能力を活用しつつ、外部の情報源や機能と連携して具体的なアクションを実行できる点が大きな違いである。

LLMは、情報を処理し、解釈し、学習した数学的パターンから応答を生成するという点で、人間の脳の働きに例えられることがある。人間が人生で学んだことしか応答できないように、LLMもトレーニング中に学習した情報に基づいてのみ応答を生成する。そして、LLMが学習データにない誤った情報や存在しない事柄を、あたかも事実であるかのように生成してしまう現象は「幻覚（ハルシネーション）」と呼ばれる。この現象は、LLMの限界の一つとして認識されており、システムを設計する際には考慮すべき点である。