【ITニュース解説】Apache Gravitino 1.0.0 — From Metadata Management to Contextual Engineering

Apache Gravitino 1.0.0は、企業が持つ膨大なデータをより効率的かつ賢く管理し、活用するための重要なツールである。Gravitinoは、さまざまな場所に散らばっているデータの「メタデータ」を一元的に集めて管理するシステムである。メタデータとは、「データに関するデータ」のことで、例えばテーブルの名前、列の型、データの保存場所、更新日時、誰がアクセスできるかといった情報である。Gravitinoはこれを「メタデータレイク（metalake）」と呼び、まるで湖に水が集まるように、あらゆるシステムのメタデータを一つの場所に統合する。これにより、企業内のどのデータがどこにあり、どのような特性を持つのかを簡単に把握できるようになる。これまでのGravitinoは、主にこのようなメタデータを集めて整理する役割を担ってきた。

しかし、今回の1.0.0のリリースでは、その役割が大きく進化し、単なるメタデータ管理ツールから「コンテキストエンジニアリング」という、より高度なデータ活用を目指すものへと変化した。「コンテキストエンジニアリング」とは、集めたメタデータに「状況に応じた意味合い（コンテキスト）」を与え、それに基づいて賢く自動的に何かを実行する仕組みのことである。例えるなら、これまでは図書館の蔵書目録を作成するだけだったのが、その目録を使って、例えば「この本は最近あまり読まれていないから、書庫の奥に移動しよう」「この本は特定のジャンルの人によく読まれているから、関連する新しい本を推薦しよう」といった具体的なアクションまで提案・実行できるようになるイメージである。この進化の基盤となるのが「Metadata-driven Action System（メタデータ駆動型アクションシステム）」だ。

このメタデータ駆動型アクションシステムは、データを管理するだけでなく、そのメタデータに基づいて様々な自動処理を実行することを可能にする。例えば、古くなったデータを自動で削除したり、頻繁にアクセスされるテーブルを効率的に圧縮したり、個人情報（PII）が含まれている可能性のあるデータを自動で特定したりする作業がこれに該当する。Gravitino 1.0.0では、このシステムを実現するために三つの新しい主要コンポーネントが導入された。

一つ目は「Statistics System（統計システム）」である。これは、特定のテーブルやパーティションといったデータの塊がどれくらいのサイズか、データはどのくらいの頻度で更新されているか、といった統計情報を集めて保存する機能だ。Gravitinoはこの統計情報を分析し、データの現状を正確に把握する。二つ目は「Policy System（ポリシーシステム）」である。これは、どのような状況でどのようなアクションを実行すべきかを定義する「ルール（ポリシー）」を設定する機能だ。例えば、「このテーブルのデータが一定期間以上経過したら自動的に圧縮する」といったルールや、「個人情報を含む可能性のあるデータは特定のアクセス制限をかける」といったルールをメタデータに関連付けて設定できる。三つ目は「Job System（ジョブシステム）」である。これは、実際に定義されたアクションを実行する「ジョブ」を管理するシステムだ。ユーザーはあらかじめジョブの「テンプレート」を登録し、Statistics Systemで取得した統計情報とPolicy Systemで定義したルールに基づいて、そのジョブを実行するための具体的な指示（パラメータ）を生成する。そして、Gravitinoがその指示に従って、Apache Airflowのような外部のジョブ実行システムに処理を依頼し、実行結果を管理する。これにより、人間が手作業で行っていたデータ管理作業の多くを自動化し、データの鮮度や品質を常に最適な状態に保つことが可能になる。Gravitino 1.0.0では、このメタデータ駆動型アクションシステムはまだ初期段階にあるが、今後の進化が期待される。

さらに、Gravitino 1.0.0は「Agent-ready through the MCP server（MCPサーバーによるエージェント対応）」という機能も導入した。MCP（Metadata Control Plane）プロトコルは、人間が普段使う「自然言語」と、コンピューターが理解する「機械インターフェース」の間の橋渡しをする役割を果たす。このMCPサーバーを通じて、大規模言語モデル（LLM）のようなAIとGravitinoが連携できるようになる。これにより、ユーザーは例えば「このテーブルの古いデータを全て削除して」といった指示を自然言語でAIに伝えるだけで、AIがGravitinoの機能を使って自動的にその処理を実行できるようになる。データ管理がより直感的で効率的になる可能性を秘めている。

セキュリティとガバナンス（データの管理と統制）の面でも大きな強化が行われた。「Unified access control framework（統合アクセス制御フレームワーク）」では、以前からあったロールベースアクセス制御（RBAC）システムがさらに完全になった。これにより、誰がどのようなデータにアクセスできるかを細かく設定し、その設定が実際にデータへのアクセス時にきちんと適用されるようになった。これにより、機密性の高いデータの保護が強化され、企業全体のデータセキュリティが向上する。

また、AIや機械学習のモデルを管理する機能も改善された。「Add support for multiple locations model management（複数ロケーションのモデル管理サポート）」により、一つのモデルバージョンに対して複数の保存場所を設定できるようになった。これにより、ユーザーは用途に応じて最適なモデルの保存場所を選択でき、AI/MLモデルの柔軟な運用が可能になる。

主要なデータフォーマットに対するサポートも更新された。データレイクの基盤として広く使われている「Apache Iceberg」はバージョン1.9.0に、「Apache Paimon」はバージョン1.2.0にそれぞれアップグレードされ、最新の機能を利用できるようになった。

その他のコア機能にも多くの改善が見られる。Gravitinoの内部処理を高速化するキャッシュシステムが追加され、データがどこから来てどのように加工されたかの履歴を追跡する「データ系譜（lineage）」機能としてMarquezとの統合も実現した。さらに、企業で広く利用されるクラウドサービスであるAzure ADを通じた認証（ログイン）もサポートされ、データの種類を管理する「カタログ」機能ではStarRocksという新しいデータベースの管理も可能になった。クライアントツールの設定の柔軟性も向上し、Webユーザーインターフェース（UI）ではファイルやディレクトリのリスト表示機能が追加されるなど、使いやすさも向上している。

今回のリリースには、いくつかの動作変更も含まれている。互換性のある変更としては、これまで「Hadoopカタログ」と呼ばれていたものが「filesetカタログ」に名称変更されたことや、モデルバージョンをリスト表示する際に別名（エイリアス）が返されるようになったことなどがある。一方で、注意すべき「互換性のない変更（Breaking changes）」も存在する。Gravitinoサーバーを動かすために必要なJavaのバージョンがJDK 17に引き上げられたことや、GravitinoのPythonクライアントではPython 3.8のサポートが終了したことがこれにあたる。特にfilesetのパスに関するエンコーディングの問題修正は、古いバージョンのJavaやPythonクライアントを使用していると、新しいGravitinoサーバーとの間でデータのデコードエラーが発生する可能性があるため、システムをアップグレードする際には注意が必要である。

Apache Gravitino 1.0.0は、単にデータを集めて管理する「データカタログ」から、メタデータに基づいて賢く自動的にアクションを実行できる「スマートカタログ」へと進化する大きな一歩を示している。今後もデータとAIの連携を深め、より高度な機能が追加されていくことが期待される。このリリースは、数多くの貢献者たちの努力と献身によって実現されたものだ。