【ITニュース解説】I built DialDo: a phone number that can ask your Mac to do work

DialDoは、ユーザーがMacのそばにいなくても、電話一本でMacに様々な作業を指示できる革新的なシステムだ。スマートフォンしか手元にない状況で、Macに保存されているファイルが必要になったり、特定の作業を実行させたりしたい場面は少なくない。これまでの一般的な解決策としては、スマートフォンからMacを遠隔操作するリモートデスクトップが挙げられるが、小さな画面での精密な操作は非常に難しく、ストレスが溜まることも多かった。DialDoは、こうした不便さを解消し、あたかも誰かに話しかけて作業を依頼するかのように、自然な形でMacに指示を出すことを可能にする。

具体的にDialDoでどのようなことができるかというと、例えば「ダウンロードフォルダに入っている最新のPDFファイルを特定し、その内容を要約する。要約したメモはMacのデスクトップに保存し、作業が完了したらスマートフォンにテキストメッセージで通知する」といった一連の複雑なタスクを、音声による指示だけで実行できる。これは、単にファイルを開くだけではなく、ファイルの検索、内容の解析、新しいファイルの生成、さらには別デバイスへの通知といった、複数のステップを含む作業を自動化できることを示している。

このDialDoの裏側で、どのような技術が連携して動作しているのかを見てみよう。まず、ユーザーがDialDoに割り当てられた電話番号に電話をかけると、その通話は「Twilio（トゥイリオ）」という外部サービスによって受け取られる。Twilioは、電話回線とインターネットサービスを連携させるためのプラットフォームで、ユーザーの音声をデジタルデータとしてインターネット上に送り出す役割を担う。

Twilioから送られてきた通話データは、「Railway（レイルウェイ）」というクラウドサービス上で動作する「ゲートウェイ」と呼ばれるプログラムに到達する。このゲートウェイは、いわばシステムの中心となる中継役であり、どの電話番号にかけられた通話であるかを識別する。そして、その情報に基づいて、ユーザー自身のMacに安全な接続を確立する。この接続は、外部から無制限にMacを操作できるような「リモートシェル」と呼ばれる一般的な接続方法とは異なり、セキュリティに配慮して、DialDoの特定の機能だけが利用できるように制限されている。

Macとの接続が確立されると、ユーザーの音声は「OpenAI（オープンエーアイ）」という人工知能（AI）サービスに送られる。OpenAIは、高度な音声認識技術を用いて、ユーザーが話した内容をテキスト（文字）に変換（転写）する。さらに、そのテキストの内容を解析し、ユーザーが何をしたいのか、どのような手順でタスクを実行すればよいのかを理解し、具体的な作業計画を立てる手助けをする。つまり、AIがユーザーの漠然とした指示を、Macが実行可能な具体的なステップへと変換するわけだ。

タスクの計画が立てられたら、いよいよユーザーのMac上で動作する「Macアプリ」がその計画を実行に移す。このMacアプリは、Macに標準で備わっている様々な自動化ツールや機能を利用する。例えば、ローカルに保存されたファイルを検索したり、文書の内容を読み込んだり、ブラウザを起動して特定のウェブサイトにアクセスしたり、macOSの様々な操作を自動で行ったりすることが可能だ。このように、クラウド上のAIがタスクを計画し、Mac上のアプリがその計画に従って具体的な作業を実行することで、電話一本でMacを動かすという目的が達成される。

DialDoの開発において特に難しかった点の一つは、単にタスクを「実行する」ことだけでなく、それがユーザーの意図通りに「完了した」かどうかを判断することだ。例えば、「ファイルを開く」という指示は単純に実行できるが、「ファイルを要約する」という指示の場合、要約が本当に完了したのか、その内容が適切なのかをシステムが判断する必要がある。DialDoは、各ステップの実行後にその「証拠」を確認することで、タスクが適切に完了したかを検証しようと試みている。また、電話でのやり取りが長くなりすぎないよう、システムからの音声応答は短く簡潔に保たれる工夫もされている。

現在のDialDoは、主にApple Siliconを搭載したMac向けにリリースされている。ファイル操作、PDFの処理、ブラウザを使った作業、一般的なアプリの操作など、様々なワークフローに対応できる。しかし、ウェブサイトの見た目が頻繁に変わるような複雑なユーザーインターフェース（UI）の自動操作や、サインインが必要な場面、あるいはユーザーの指示が曖昧な場合には、タスクが途中で停止してしまうこともある。この点は今後の改善が期待される部分だ。システムを利用するには、Macが電源オンで、インターネットに接続されており、ユーザーがサインインしている必要がある。また、DialDoがMacのファイルやアプリケーションを操作するために、macOSのセキュリティ設定で必要な権限をユーザーが承認することも必須となる。音声認識とタスク計画の部分はクラウドサービスを利用するが、実際のMac上での操作はすべてMac本体で実行される。

DialDoは、ユーザーが物理的にMacの前にいなくても、音声という最も直感的なインターフェースを通じて、Macの能力を最大限に引き出す可能性を秘めている。これは、システム開発において、どのように既存の技術を組み合わせ、ユーザーの不便を解消し、新たな価値を生み出すかを考える良い事例と言えるだろう。