【ITニュース解説】Why I chose on-device inference for a writing assistant

ある執筆アシスタントアプリ「DraftKey」の開発者が、アプリケーションの心臓部とも言えるAIモデルの処理方法について、非常に重要な技術的判断を下したというニュースがある。彼が選択したのは「オンデバイス推論」という方法で、これはAIの機能をユーザーのMac上で直接実行させる方式だ。多くのAIアプリケーションがインターネットを通じてクラウド上の大規模なサーバーで処理を行う「クラウドAPI推論」を採用する中で、なぜこの開発者はあえてローカル実行を選んだのか、そのメリットとデメリット、そしてその結果について解説する。

まず「推論」とは何か、という点から説明しよう。AIモデルとは、大量のデータから学習し、特定のタスクを実行できるように訓練されたプログラムのことだ。例えば、文章の生成や画像の認識、音声の翻訳などが挙げられる。このAIモデルが、新しいデータ（この場合はユーザーが入力した文章）を受け取って、学習結果に基づいて予測や判断を下すプロセスを「推論」と呼ぶ。

一般的なAIアプリケーションでは、ユーザーが入力したデータをインターネット経由で「クラウド」と呼ばれるデータセンターにある高性能なサーバーに送り、そこでAIモデルによる推論を実行し、その結果を再びインターネット経由でユーザーのデバイスに戻すという方式がとられる。これを「クラウドAPI推論」と呼ぶ。API（Application Programming Interface）とは、ソフトウェア同士がやり取りするための窓口のようなものだ。

しかし、DraftKeyの開発者はこのクラウドAPI推論ではなく、AIモデルをユーザーのMacにダウンロードし、Macのプロセッサを使って直接推論を実行する「オンデバイス推論」を選んだ。この選択には、いくつかの明確な理由と、それと引き換えに受け入れるべき課題があった。

オンデバイス推論の最大のメリットの一つは、プライバシーの保護だ。ユーザーがアプリケーションに入力したテキストデータが、Macの外部、つまりインターネットやクラウドサーバーに送信されることが一切ない。これは、日記や機密性の高いビジネス文書など、個人情報や重要な情報を含むテキストを扱う際に、ユーザーにとって極めて大きな安心感となる。データが外部に漏れるリスクを根本的に排除できるのだ。

次に挙げられるメリットは、オフラインでの動作が可能になる点だ。クラウドAPI推論の場合、インターネット接続がなければAI機能を利用できない。しかし、オンデバイス推論では、モデルが一度ダウンロードされていれば、インターネット環境がなくても、飛行機の中や電波の届かない場所でも、執筆アシスタントの機能を使うことができる。これは、どこでも作業を進めたいユーザーにとって非常に便利な特性と言える。

さらに、コスト面でのメリットもある。クラウドAPIを利用する場合、一般的にAPIの利用回数や処理量に応じて料金が発生する。つまり、ユーザーがAI機能を多く使うほど、開発者はクラウドサービス提供元に費用を支払う必要がある。オンデバイス推論では、AI処理がユーザーのデバイス上で行われるため、開発者はこのAPI利用料を心配する必要がない。これは開発者の運用コストを削減し、結果的にアプリケーションの利用料金を抑えることにも繋がりうる。

一方で、オンデバイス推論にはいくつかのデメリットも存在する。

まず、モデルのダウンロードが必要になる点だ。DraftKeyの場合、約1.1ギガバイトという比較的大きなAIモデルのファイルを、初回利用時にユーザーのMacにダウンロードする必要がある。これは、ストレージ容量を消費するだけでなく、ダウンロードに時間とネットワーク帯域を要する。インターネット環境によっては、この初期設定が手間だと感じられる可能性もある。

次に、ハードウェア要件が厳しくなることだ。AIモデルを効率的に処理するには、ある程度の性能を持ったコンピュータが必要になる。DraftKeyの場合、少なくとも8ギガバイトのメインメモリ（RAM）と、Apple社が独自開発した高性能なチップ「Apple Silicon」を搭載したMacが必要とされている。Apple Siliconは、従来のIntel製プロセッサに比べてAI処理に特化した「Neural Engine」などの機能を備えており、オンデバイスでのAI推論を高速かつ省電力で行うのに非常に適している。しかし、これらの要件を満たさない古いMacやWindows PCのユーザーは、このアプリケーションを利用できないという制約が生まれる。

そして、モデルの性能に限界があるという点も挙げられる。クラウドで利用される最先端のAIモデルは、膨大な計算リソースとデータを使って訓練されており、非常に複雑で大規模なタスクを高精度でこなすことができる。しかし、オンデバイスで実行するためには、モデルのサイズをある程度小さくする必要がある。DraftKeyで使われている小規模なローカルモデルは、最先端の巨大モデルと比較すると、 rawな（素の）能力、つまり対応できるタスクの幅や精度において劣る可能性がある。

DraftKeyの開発者は、これらのメリットとデメリットを慎重に比較検討した結果、オンデバイス推論を選択した。そして、その選択が正しかったことを実証した。彼らが開発した執筆アシスタントは、短い文章の書き換えやオートコンプリートといった特定のタスクにおいては、小規模なローカルモデルでも十分に高い品質を提供できたのだ。さらに、ユーザーからのフィードバックでは、AIの能力以上に、プライバシー保護が最も高く評価される機能となったという。人々は、自分の書いた文章が外部に送られないという安心感を非常に重視していたのだ。

この事例は、システム開発における技術選択がいかに重要であるかを示している。単に最も高性能な技術を選ぶのではなく、アプリケーションの目的、ターゲットユーザーのニーズ、そして技術的な制約やメリット・デメリットのバランスを考慮し、最適なトレードオフを見つけることが成功への鍵となる。DraftKeyの場合、プライバシーという価値を重視し、それを実現できる範囲で十分な性能を持つAIモデルをオンデバイスで提供するという戦略が、結果としてユーザーに最も響く「機能」を生み出したと言えるだろう。