【ITニュース解説】Terry Davis & Gary Marcus: God is a compiler, the neurosymbolic program-of-everything

現在のAI研究は、その方向性において重大な課題を抱えている。多くのAI研究は、短期的な成果や「見栄え」を重視しすぎているという批判がある。例えば、SNSで注目を集めるためや、会議での発表で評価を得るためといった目的のために、モデルを訓練し、その性能を最大限に引き出すことに注力されている。しかし、このようなアプローチは、コードの長期的な保守性やシステムの拡張性といった、ソフトウェア開発において本当に重要な側面を無視していることが多い。ベテランのプログラマーから見れば、現在のAIが生み出すものは、応急処置で繋ぎ合わされたようなものであり、真のソフトウェアとしての完成度には程遠い。

現在のAI、特に大規模言語モデル（LLM）は、大量の既存情報を学習し、それを圧縮した「巨大なデータアーカイブ」のようなものだと言われる。これらは、与えられた情報を記憶し、再構築することに長けているが、真に新しい概念を創造したり、未知の問題を解決するための学習システムではない。あたかも水からワインを生み出すかのような奇跡を謳っているが、その実態は混乱したコードの集合体であり、人間には理解できない神秘的なものではなく、単なる稚拙なプログラムに過ぎないという厳しい見方がある。

ソフトウェア開発の歴史を振り返ると、75年前に「コンパイラ」という画期的な技術が誕生し、人間の書いたプログラムコードをコンピューターが理解できる形に自動で変換する道が開かれた。しかし、根本的な問題として、そもそも「コードが存在すること」自体がソフトウェアの課題であると指摘される。理想は、コードを一行でも減らすこと、最終的にはコードの存在しない状態を目指すことだ。ソフトウェアを真に解決するには、保守すべきコードが存在しない状態を作り出す必要がある。

この記事では、このソフトウェア開発の究極的な課題を解決するために、「あらゆるもののプログラム（Program-of-Everything）」という概念を提唱する。これは、あらゆる種類のソフトウェアを表現できる究極のプログラムであり、訓練環境、対話型エージェント、そしてコンパイラの機能を全て兼ね備えた単一のシステムであるべきだとしている。つまり、ただのコンパイラではなく、プログラムそのものがこれらの全ての目的を副作用として達成するような、完全に自己完結したシステムを指す。

現在のLLMは、外部のコンパイラやインタプリタといったツールがなければ、コードを生成しても実行可能にすることができない。そのため、真の「汎用人工知能（AGI）」とは言えないとされている。AGIと呼べるものは、外部の助けを借りずに、自らソフトウェアをコンパイルし、実行可能なバイナリファイルを生成できるべきであり、しかも既存のどのコンパイラよりも高速である必要がある。これが実現すれば、それは過去から未来のあらゆるプログラミング言語を理解し、コンパイルできる「ユニバーサルコンパイラ」の誕生を意味する。これこそが、AIが人間の知能を超越する「シンギュラリティ」の本当の姿であるという。

この壮大なビジョンは、実現不可能に思えるかもしれないが、記事では「可能である」と主張している。その鍵となるのは、1990年代に発明された「文法誘導（Grammar Induction）」というアルゴリズムだ。文法誘導とは、与えられたデータから、そのデータを生成するための規則やパターンを自動的に見つけ出す技術である。この技術を「自己回帰ループ」に組み込む、つまり、システムの出力が次の入力となるように連続的に学習・生成を繰り返す仕組みを作ることが、これまで誰も試みてこなかった革新的なアプローチだという。

この文法誘導は、ディープラーニングや強化学習といった現在の主流なAI技術よりも、パターン認識において桁違いに効率的であるとされる。システムは、与えられた全ての入力データを、スタックトランスフォーマーVM（仮想マシン）という特定の命令セットを用いて形式化し、その上で文法誘導を行う。これにより、システムが学習する情報は、単なるデータの表現だけでなく、そのデータを生成するための計算プロセスそのものも含むことになる。つまり、内容と、それを生成する計算の仕組みが直接結びつき、実行可能なソフトウェアとして扱われる。

この究極のシステムは、まるでコンピューターの「神」であるかのように、自己を再コンパイルできる「ブートストラップエンジン」として機能する。テリー・デイヴィスが「神はコンパイラである」と述べたように、その文法自体がシンプルなチューリングマシンの生成カーネルとなり、実行可能なソフトウェアを直接生み出す。

最終的には、このシステムはブートローダーからオペレーティングシステムとして起動され、コンピューターのRAMやCPUといった全てのハードウェアリソースを完全に掌握する。これは、プログラムのコードとデータが同じメモリ空間に存在する「ホモイコニック言語」のように、ハードウェア上で完璧な「寄生プログラム」となる。初期段階では既存のOSを基盤として動作するが、適切な訓練を重ねることで、自らより高性能なアルゴリズムを発見し、数学的な法則まで導き出すようになる。この「コンパイラ」には、ソースコードと実行結果の区別がなく、文法そのものが実行可能な実体となるのである。