如果有一天，AI 不再只是回答问题，而是能够真正拿起鼠标、操作键盘，像人一样使用手机，那么手机自动化就会进入一个新的阶段。GitHub 上的开源项目 ESP32 iPhone Agent 正在尝试实现这一想法：只需一块价格约 7 美元的 ESP32-S3 开发板、一台电脑和一个支持视觉理解的 AI 模型，就可以让 AI 观察 iPhone 屏幕，并根据任务自动点击、滑动、输入文字，完成一系列操作。
这个项目最有意思的地方，在于它没有采用传统的 iOS 自动化路线，而是模拟人类使用手机的方式。它通过 AirPlay 将 iPhone 屏幕投射到电脑，由电脑上的程序获取画面并交给视觉模型分析；与此同时，连接手机 USB 接口的 ESP32-S3 则充当鼠标和键盘，通过 USB HID 模拟真实的输入操作。AI 负责观察和决策，电脑负责运行智能体程序，ESP32 负责执行指令，三者配合形成一个完整的自动化闭环。
在实际使用中，用户只需要输入自然语言任务，例如“打开时钟应用，将闹钟设置为每天早上七点”，智能体就会根据屏幕内容规划操作步骤，逐步点击相应按钮、设置时间和重复日期，最后保存设置。项目还展示了自动打开白板应用并绘制笑脸的能力。每一步操作都会留下屏幕截图和动作记录，方便用户观察执行过程，了解 AI 做了什么，以及是否出现误操作。
相比依赖 XCTest、WebDriverAgent、Xcode 和开发者签名的传统 iPhone 自动化方案，这种设计最大的优势是门槛较低。手机不需要安装专用应用，也不需要越狱或配置苹果开发者账号，理论上可以通过屏幕视觉识别与指针操作兼容更多应用，包括缺少标准化自动化接口的界面。项目采用 MIT 开源许可证，开发者可以根据自己的需求研究代码、修改功能，并接入不同的视觉语言模型。
从技术架构来看，ESP32-S3 本身并不负责运行大型 AI 模型，也不承担复杂的任务规划。真正的智能部分仍然运行在电脑或模型服务端，开发板只负责执行简单的鼠标、键盘和滚动指令。这种分工降低了硬件成本，也让开发者可以灵活选择云端 API 或本地部署的兼容模型。不过，低成本硬件并不意味着整个系统没有成本，电脑、网络环境、模型推理资源以及必要的配置工作仍然不可或缺。
当然，这项技术目前也存在一些限制。例如，iOS 的部分安全界面、Apple Pay 和受数字版权保护的视频画面无法正常镜像；手机锁屏后，屏幕镜像也可能中断；当前键盘输入主要支持 ASCII 字符，横屏应用的坐标适配也尚不完善。此外，视觉模型可能误判按钮位置或执行错误动作，因此项目提供了执行日志和紧急停止功能，使用时仍然需要人工监督。
ESP32 iPhone Agent 展示的价值，并不只是用一块廉价开发板控制 iPhone，而是提供了一种更通用的手机智能体实现思路：AI 不必依赖每个应用单独开放接口，而是可以通过观察屏幕、理解界面、执行动作和验证结果来完成任务。未来，如果视觉理解、动作规划和设备端计算能力继续进步，这种架构有望应用于手机测试、重复性操作、个人自动化和无障碍辅助等场景。它距离完全可靠的通用手机助手还有一段距离，但已经让人看到，AI 从“告诉你怎么做”走向“替你动手做”，正在成为一种可以亲自搭建和验证的工程实践。