【ITニュース解説】ShannonBase — The Next-Gen HTAP Database for the AI Era

ShannonBaseは、AI時代のニーズに合わせて設計された次世代のHTAPデータベースである。これは、私たちが普段利用するMySQLと互換性がありながら、ビッグデータやAIワークロードに最適化されている点が特徴だ。例えるならば、「AI時代のために進化したMySQL」と捉えることができる。使い慣れたSQLと基本的な操作方法はそのままに、埋め込み（Embedding）やベクトルデータへのネイティブ対応、機械学習機能の内蔵、列指向のインメモリエンジン、そして軽量なJavaScriptランタイムといった新しい機能が追加されている。これにより、トランザクション処理（OLTP）、分析処理（OLAP）、ベクトル検索、そして機械学習のワークフローを、データの移動を最小限に抑えながら一つのプラットフォーム上で実行できるようになる。

従来のデータベースは、主にトランザクション処理（OLTP）か分析処理（OLAP）のどちらかに特化して設計されてきた。OLTPは、銀行のATMでの預け入れやオンラインショッピングでの注文確定のように、短い時間で多くのデータを読み書きする処理に適している。データの整合性や一貫性が非常に重視される。一方、OLAPは、売上データの傾向分析や顧客の行動パターン分析のように、大量のデータを集計・分析することに適している。こちらは処理に時間がかかっても良いが、複雑なクエリを効率的に実行する必要がある。これら二つの異なる処理を同時に効率よく行うのが難しいという課題があったため、多くの場合、企業はOLTP用とOLAP用で別々のデータベースシステムを構築し、データを定期的に移動させていた。このデータ移動は、遅延の発生、コストの増大、システム運用の複雑化といった問題を引き起こしていた。HTAP（Hybrid Transactional/Analytical Processing）データベースは、この課題を解決するため、OLTPとOLAPの両方を一つのシステムで効率的に処理することを目指している。ShannonBaseもこのHTAPの思想に基づいており、特にAI時代のデータ活用に焦点を当てている。

ShannonBaseの設計にはいくつかの重要な原則がある。まず「ゼロデータ移動」という考え方だ。これは、データそのもの、そしてAIで利用する埋め込みデータ、機械学習モデル、推論の結果といったものを、可能な限りデータベースのストレージに近い場所、つまりデータベースの内部に保持するという原則である。これにより、データがあちこちのシステム間を移動する手間が省け、処理の遅延を減らし、コストを削減し、システムの運用を簡素化できる。次に「ネイティブな機械学習とベクトルサポート」がある。これは、ベクトルデータ型をデータベースが直接サポートし、埋め込みデータの生成パイプラインや、データベース内で機械学習モデルの学習や推論を実行する機能が提供されることを意味する。さらに、「インテリジェントルーティングによるHTAP」も特徴の一つだ。これは、データの格納方法として行指向と列指向という二つの異なるエンジンを組み合わせ、それぞれのクエリの特性に合わせて最適なエンジンに処理を割り振る仕組みを持つことである。例えば、データの一行を素早く読み書きするトランザクション処理は行指向エンジンへ、大量のデータを集計する分析処理は列指向エンジンへ、といった具合だ。このルーティングは、コストベースの判断や機械学習モデルによって行われるため、常に最高のパフォーマンスが期待できる。最後に「SQLファーストな開発者体験」が挙げられる。データサイエンティストやアプリケーション開発者は、複数のシステムを連携させる複雑な作業をすることなく、慣れ親しんだSQLを使い、必要に応じてJavaScriptのストアドプロシージャを組み合わせて、データ分析や機械学習のワークフローを構築できる。

具体的なアーキテクチャを見ると、ShannonBaseはMySQLの標準的なストレージエンジンであるInnoDBと、独自開発のRapid（IMCS - In-Memory Column Store）という二つのエンジンを組み合わせている。InnoDBは、行指向のストレージエンジンであり、主にトランザクション処理や書き込み頻度の高いOLTPワークロードを担当し、データの永続性を保証する。一方、Rapidは、列指向のインメモリエンジンで、分析処理、データ集計、そしてベクトル検索や意味検索といった処理に特化している。インメモリであるため、非常に高速な分析が可能だ。クエリが実行される際には、「インテリジェントワークロードルーティング」が働き、コストモデルや、時には機械学習モデルによって、そのクエリにとってInnoDBとRapidのどちらがより高いパフォーマンスを発揮するかを判断し、適切なエンジンに処理を振り分ける。RapidはMVCC（Multi-Version Concurrency Control）という仕組みをサポートしており、分析処理が実行されている最中にもInnoDBでデータ書き込みが行われても、分析側は一貫性のある時点のスナップショットを参照できる。また、InnoDBに加えられた変更は、リドゥログ（変更履歴）を再生することでRapidに同期されるため、別システムでデータ抽出・変換・ロード（ETL）を行うことなく、両エンジン間でデータの一貫性が保たれる。

ShannonBaseは多様なデータタイプもサポートしている。従来のデータベースで一般的な「構造化データ」はもちろん、柔軟なデータ構造を持つ「JSON」形式のデータも効率的に保存・検索できる。さらに、地図情報のような位置情報を扱う「GIS」タイプや、それに関連する空間関数も利用可能だ。そして、AI時代に特に重要なのが「VECTOR」タイプである。これは、AIモデルが生成する数値の配列、いわゆる埋め込みデータをネイティブに保存するためのもので、ベクトル間の距離計算などのヘルパー関数も提供され、類似性検索に活用される。

機械学習の機能もデータベース内に組み込まれている点がユニークだ。LightGBM（オプションでXGBoostなどの他のエンジンも）のような機械学習モデルのランタイムが埋め込まれており、データベースの内部で直接モデルの学習や推論を実行できる。具体的には、sys.ML_TRAINのようなストアドプロシージャを使って、データベース内のテーブルデータからモデルを学習させたり、sys.ML_PREDICT_ROWを使って、その場で予測を実行したりできる。また、事前に学習済みのモデルをインポートして利用することも可能だ。ONNX/ONNXRuntimeのサポートにより、様々なプラットフォームで動作するポータブルなモデル、例えば小規模なLLM（大規模言語モデル）をデータベース内で直接実行することもできる。

特に、Retrieval-Augmented Generation (RAG) と埋め込み（Embeddings）の機能は、最新のAIアプリケーション開発に欠かせない。ShannonBaseは埋め込みデータを生成・管理するためのAPIやストアドプロシージャを内蔵しており、これにより、テキストや画像などの非構造化データを数値のベクトル表現に変換して保存できる。ベクトルストア機能やRAGヘルパーを使うことで、データベース内の埋め込みデータを使って近似最近傍（ANN）検索を行い、LLM（大規模言語モデル）の入力に必要な情報を効率的に取得し、生成処理に役立てることができる。LLMとの連携機能も提供されており、データベース内で生成処理を実行したり、ONNX LLMランタイムを使ってオンプレミスでLLMの推論を行ったりすることも可能だ。

さらに、JavaScriptエンジンであるJerryScriptが組み込まれているため、SQLだけでは実現が難しいカスタムロジックやデータの前処理をJavaScriptでストアドプロシージャやユーザー定義関数（UDF）として記述できる。これにより、開発者はより柔軟に、かつ効率的に複雑な処理を実装することが可能になる。

これらの機能によって、ShannonBaseは多くのメリットと特定のユースケースに強みを持つ。メリットとしては、OLTP、OLAP、ベクトル検索、機械学習という多様なワークロードを一つのプラットフォームで統一できるため、システムが乱立するのを防ぎ、運用を簡素化できる点が大きい。また、埋め込みデータや機械学習モデルがデータと同じ場所に存在する「ゼロデータ移動」のおかげで、推論や意味検索のレイテンシ（遅延）が非常に低くなる。開発者は慣れ親しんだSQLを中心に開発を進められ、必要に応じてJavaScriptでカスタムロジックを追加できる。HTAPアーキテクチャは、トランザクション処理には行指向エンジンでデータの整合性を保ち、分析処理にはインメモリの列指向エンジンで効率的に対応することで、全体的なパフォーマンスを向上させる。

ターゲットとなるユースケースには、企業内の知識ベースやRAGシステムがある。リアルタイムのパーソナライゼーションやレコメンデーションシステムでは、オンラインでの学習と推論を高速に行う必要があるため、ShannonBaseが適している。また、最新のトランザクションデータに対してインタラクティブな分析やビジネスインテリジェンス（BI）を行いたい場合や、位置情報に基づいた空間分析やロケーションサービスも効率的に構築できる。さらに、データベース内で完結する小中規模の機械学習モデルや、特徴量ストア（機械学習モデルの入力となる特徴量を管理するシステム）のためのMLOps（機械学習の運用プロセス）を簡素化できる点も魅力だ。

結論として、ShannonBaseはAIと分析の現代的なアプリケーションのニーズに応えるべく、実用的な機能を統合したデータベースと言える。インテリジェントルーティングを備えたHTAPアーキテクチャ、ネイティブなベクトル・埋め込みサポート、データベース内での機械学習の学習と推論、そしてプログラマブルな拡張のためのJavaScriptランタイムが、その主要な要素だ。データ移動を減らし、分析と機械学習のスタックを簡素化し、低遅延の意味検索やインプレース推論を実現したい組織にとって、ShannonBaseはSQLを中心とした強力な選択肢となるだろう。