Webエンジニア向けプログラミング解説動画をYouTubeで配信中!
▶ チャンネル登録はこちら

【ITニュース解説】ZY-S1 Preview: fine-tuning a 1.18B HRM-Text model, built in India

2026年10月13日に「Dev.to」が公開したITニュース「ZY-S1 Preview: fine-tuning a 1.18B HRM-Text model, built in India」について初心者にもわかりやすく解説しています。

作成日: 更新日:

ITニュース概要

ZYR AIがインドで、11.8億パラメータを持つAIモデル「ZY-S1」のプレビュー版を公開した。既存モデルを微調整し、一部の性能テストでスコアが向上。今後の詳細な評価とフィードバックを求めている。

ITニュース解説

ZYR AIが開発した新しいAIモデル「ZY-S1 Preview」が発表された。これはインドで構築された実験的なモデルであり、今後のAI技術の発展において注目される動きの一つだ。システムエンジニアを目指す皆さんにとって、このようなモデルがどのように作られ、どのような特徴を持つのかを理解することは、将来のキャリアを考える上で非常に重要となるだろう。

まず、AIモデルとは何か、そして「パラメータ」という言葉が何を意味するのかから説明しよう。AIモデル、特に大規模言語モデルと呼ばれるものは、大量のテキストデータを学習することで、人間のような文章を生成したり、質問に答えたり、翻訳したりする能力を持つソフトウェアプログラムだ。このモデルの「知能」や「複雑さ」を表す一つの指標が「パラメータ」の数だ。パラメータは、モデルが学習する際に調整される内部的な数値のことで、人間の脳におけるシナプスのようなものだと考えるとイメージしやすい。ZY-S1は11.8億(1.18B)という非常に大きなパラメータ数を持つ。これは、モデルが非常に多くの情報を学習し、複雑なパターンを認識できる可能性を秘めていることを意味する。

ZY-S1は、ゼロから作られたわけではなく、既存の「Sapient AIのHRM-Text-1B」というモデルをベースにしている。これを「ファインチューニング」と呼ぶ。ファインチューニングとは、特定のタスクや目的に合わせて、すでに学習済みの大規模モデルをさらに少量のデータで追加学習させる手法のことだ。例えるなら、一般的な知識を広く学んだ学生が、特定の専門分野の知識をさらに深めるために、その分野の専門書で集中的に学ぶようなものだ。HRM-Text-1Bは「PrefixLM」という種類のモデルだ。PrefixLMは、与えられた入力(プレフィックス)に基づいて続きのテキストを生成することに特化したモデルだと理解すると良い。つまり、特定の文頭や質問を与えると、それに続く適切な応答や文章を作り出すのが得意なモデルと言える。

ZY-S1の学習プロセスも特徴的だ。まず「1,000 SFTステップ」という学習が行われた。SFTは「Supervised Fine-Tuning」、つまり教師ありファインチューニングのことだ。これは、入力と期待される出力のペア(例:「質問→正しい答え」)が与えられたデータセットを使ってモデルを学習させる方法だ。これにより、モデルは特定のタスクでより正確な振る舞いをするように調整される。さらに、「120の修正ステップ」が追加で行われた。これは「MnemicAI/Ling-Coder-SFT-English-Clean」というデータセットを用いて、モデルの性能をさらに改善するための追加学習プロセスだ。このような多段階の学習を通じて、モデルはより洗練された能力を獲得していく。

このモデルは「Apache-2.0」というライセンスで公開されている。これは、多くの人が自由にモデルを利用し、修正し、再配布できることを意味する。オープンソースの精神に則っており、AI技術の発展を加速させる上で非常に重要な要素だ。

ZY-S1の性能を評価するために、いくつかのベンチマークテストが行われている。ベンチマークテストとは、AIモデルの能力を客観的に測るための標準的な試験のようなものだ。

  • DROP: 質問応答タスクの評価。文脈から情報を抽出して質問に答える能力を見る。EM(Exact Match:完全一致)とF1(F1スコア:正解率と再現率の調和平均)という指標で測られる。ZY-S1はEMで4から4と変化はないものの、F1スコアは18.24から19.76へとわずかに向上している。これは、より柔軟な回答ができるようになった可能性を示唆している。
  • ARC-Challenge: 難しい常識推論に関する質問応答タスク。モデルが単に情報を記憶しているだけでなく、論理的に推論する能力を評価する。スコアが76から80へと向上しており、推論能力が改善したことがわかる。
  • MMLU (Massive Multitask Language Understanding): さまざまな専門分野にわたる多肢選択式の質問に答える能力を評価する。モデルの広範な知識と理解度を測るテストだ。48から52へとスコアが伸びており、より広い分野での理解度が向上したことを示している。
  • MATH-500: 数学の推論能力を評価するタスク。モデルが数学的な問題を理解し、計算や論理的思考を用いて解答を導き出す能力を見る。しかし、ZY-S1ではスコアが4から0へと低下している。これは、今回のファインチューニングが数学的な推論能力の向上には寄与しなかったか、あるいは、他のタスクの改善を優先した結果、特定の分野の能力が一時的に低下した可能性も考えられる。実験的なモデルでは、特定の領域で性能が向上する一方で、別の領域で変化がなかったり、わずかに低下したりすることは珍しくない。今後の完全な評価で、この点についても詳しく分析されることが期待される。

ZY-S1を実際に使うには、特定のコードを読み込む必要がある。「trust_remote_code=True」という設定は、リモートにあるコードを信頼して実行することを許可する指示だ。また、「token_type_ids」というものも渡す必要がある。これは、入力されたテキストがプロンプト(ユーザーが与える指示や質問)の一部なのか、それともモデルが生成したテキストの一部なのかをモデルに伝えるための情報だ。プロンプトのトークンには「1」を、生成されたトークンには「0」を設定することで、モデルは入力の意図を正確に理解し、適切な応答を生成できるようになる。

今回公開されたのは「Preview」版であり、早期の実験的な結果だ。開発元であるZYR AIは、今後より詳細な評価結果を公開する予定であり、コミュニティからのフィードバックも積極的に求めている。システムエンジニアを目指す皆さんにとって、このようなオープンな開発姿勢は、AI技術がどのように進化していくのか、そしてどのように貢献できるのかを考える良い機会となるだろう。インド発のこの新しいAIモデルが、今後の技術発展にどのような影響を与えるのか、引き続き注目していきたい。

関連コンテンツ