いつか、AI が質問に答えるだけでなく、実際に人間と同じようにマウスを手に取り、キーボードを操作し、携帯電話を使用できるようになれば、携帯電話の自動化は新たな段階に入るでしょう。 GitHub 上のオープンソース プロジェクト ESP32 iPhone エージェント 私たちはこのアイデアを実現しようとしています。約7ドルのESP32-S3開発ボードとコンピュータ、視覚的な理解をサポートするAIモデルだけで、AIがiPhoneの画面を観察し、タスクに応じて自動的にクリック、スライド、文字入力などの一連の操作を完了することができます。
このプロジェクトの最も興味深い点は、従来の iOS 自動化ルートをとらず、人間の携帯電話の使用方法をシミュレートしていることです。 AirPlay を通じて iPhone の画面をコンピュータに投影し、コンピュータ上のプログラムが画像を取得して、分析のためにビジュアル モデルに送信します。同時に、携帯電話の USB インターフェイスに接続された ESP32-S3 はマウスとキーボードとして機能し、USB HID を介して実際の入力操作をシミュレートします。 AI は観察と意思決定を担当し、コンピューターはエージェント プログラムの実行を担当し、ESP32 は命令の実行を担当します。 3 つが連携して、完全な自動化された閉ループを形成します。
実際の使用では、ユーザーは「時計アプリケーションを開いて、目覚まし時計を毎朝 7 時にセットする」などの自然言語タスクを入力するだけで済みます。エージェントは画面の内容に基づいて操作手順を計画し、対応するボタンを徐々にクリックし、時刻と繰り返しの日付を設定し、最後に設定を保存します。このプロジェクトでは、ホワイトボード アプリケーションを自動的に開き、スマイリーフェイスを描く機能も実証しています。操作のすべてのステップでスクリーンショットとアクション記録が残されるため、ユーザーは実行プロセスを観察し、AI が何をしたか、誤操作が発生したかどうかを理解できるようになります。
XCTest、WebDriverAgent、Xcode、開発者の署名に依存する従来の iPhone 自動化ソリューションと比較して、この設計の最大の利点はしきい値が低いことです。電話機に特別なアプリケーションをインストールする必要はなく、ジェイルブレイクしたり、Apple 開発者アカウントで設定したりする必要もありません。理論的には、標準化された自動化インターフェイスが欠けているインターフェイスも含め、画面の視覚認識とポインター操作を通じて、より多くのアプリケーションと互換性を持たせることができます。このプロジェクトは MIT オープンソース ライセンスを採用しており、開発者は自分のニーズに応じてコードを研究し、関数を変更し、さまざまなビジュアル言語モデルにアクセスできます。
技術アーキテクチャの観点から見ると、ESP32-S3 自体は大規模な AI モデルの実行を担当せず、複雑なタスクの計画も担当しません。実際のスマートな部分は引き続きコンピュータまたはモデル サーバー上で実行され、開発ボードは単純なマウス、キーボード、およびスクロール コマンドの実行のみを担当します。この分業によりハードウェアのコストが削減され、開発者はクラウド API またはオンプレミスにデプロイされた互換モデルを柔軟に選択できるようになります。ただし、ハードウェアが低コストであっても、システム全体が無料であることを意味するわけではありません。コンピューター、ネットワーク環境、モデル推論リソース、および必要な構成作業は依然として不可欠です。
もちろん、このテクノロジーには現時点ではいくつかの制限があります。たとえば、一部の iOS セキュリティ インターフェイス、Apple Pay、著作権で保護されたデジタル ビデオ画面は通常はミラーリングできません。電話がロックされた後も、画面ミラーリングが中断される場合があります。現在のキーボード入力は主に ASCII 文字をサポートしており、横画面アプリケーションの座標適応はまだ完全ではありません。さらに、ビジュアルモデルはボタンの位置を誤判断したり、間違ったアクションを実行したりする可能性があるため、プロジェクトでは実行ログと緊急停止機能が提供されていますが、使用時には依然として手動の監視が必要です。
ESP32 iPhone Agent が実証する価値は、安価な開発ボードで iPhone を制御するだけではなく、携帯電話インテリジェンスを実装するというより一般的なアイデアを提供することです。AI は、各アプリケーションに依存して個別のインターフェイスを開く必要はなく、画面を観察し、インターフェイスを理解し、アクションを実行し、結果を検証することでタスクを完了できます。将来的に、視覚的な理解、行動計画、デバイス側のコンピューティング機能が向上し続ければ、このアーキテクチャは携帯電話のテスト、反復的な操作、パーソナルオートメーション、バリアフリー支援などのシナリオで使用されることが期待されます。完全に信頼できるユニバーサル携帯電話アシスタントにはまだ距離がありますが、AI が「何をすべきかを指示する」ものから「代わりにそれを行う」ものに移行し、自分で構築して検証できるエンジニアリング手法になりつつあることを人々はすでに理解できるようになりました。
プロジェクトの住所：https://github.com/onehumanbeing/esp32-iphone-agent