Если однажды ИИ перестанет просто отвечать на вопросы, но сможет брать в руки мышь, управлять клавиатурой и пользоваться мобильным телефоном, как человек, тогда автоматизация мобильных телефонов вступит в новый этап. Проекты с открытым исходным кодом на GitHub Агент ESP32 для iPhone Мы пытаемся реализовать эту идею: имея только плату разработки ESP32-S3 стоимостью около 7 долларов США, компьютер и модель искусственного интеллекта, поддерживающую визуальное понимание, искусственный интеллект может наблюдать за экраном iPhone и автоматически щелкать, перемещать и вводить текст в соответствии с задачей, чтобы выполнить серию операций.
Самое интересное в этом проекте то, что он не идет по традиционному пути автоматизации iOS, а имитирует то, как люди используют свои телефоны. Он проецирует экран iPhone на компьютер через AirPlay, а программа на компьютере получает изображение и передает его визуальной модели для анализа; в то же время ESP32-S3, подключенный к интерфейсу USB мобильного телефона, действует как мышь и клавиатура, имитируя реальные операции ввода через USB HID. ИИ отвечает за наблюдение и принятие решений, компьютер отвечает за запуск программы-агента, а ESP32 отвечает за выполнение инструкций. Все трое работают вместе, образуя полностью автоматизированный замкнутый цикл.
При фактическом использовании пользователю нужно только ввести задачу на естественном языке, например «Откройте приложение часов и устанавливайте будильник на семь часов каждое утро». Агент спланирует шаги операции на основе содержимого экрана, постепенно нажимает соответствующие кнопки, устанавливает время и дату повтора и, наконец, сохраняет настройки. Проект также демонстрирует возможность автоматического открытия приложения для доски и рисования смайлика. На каждом этапе операции будут сохраняться снимки экрана и записи действий, что позволит пользователям наблюдать за процессом выполнения, понимать, что сделал ИИ и произошли ли какие-либо неправильные операции.
По сравнению с традиционными решениями для автоматизации iPhone, которые полагаются на XCTest, WebDriverAgent, Xcode и подписи разработчиков, самым большим преимуществом этой конструкции является более низкий порог. На телефон не нужно устанавливать специальные приложения, делать джейлбрейк или настраивать учетную запись разработчика Apple. Теоретически он может быть совместим с большим количеством приложений посредством визуального распознавания экрана и операций с указателями, включая интерфейсы, в которых отсутствуют стандартизированные интерфейсы автоматизации. В проекте используется лицензия с открытым исходным кодом MIT, и разработчики могут изучать код, изменять функции и получать доступ к различным моделям визуального языка в соответствии со своими потребностями.
С точки зрения технической архитектуры, ESP32-S3 сам по себе не отвечает за работу больших моделей искусственного интеллекта и не отвечает за планирование сложных задач. Настоящая интеллектуальная часть по-прежнему работает на компьютере или сервере модели, а плата разработки отвечает только за выполнение простых команд мыши, клавиатуры и прокрутки. Такое разделение труда снижает затраты на оборудование и дает разработчикам возможность выбирать облачный API или совместимую модель, развернутую локально. Однако недорогое оборудование не означает, что вся система бесплатна. Компьютеры, сетевое окружение, ресурсы для вывода моделей и необходимая работа по настройке по-прежнему необходимы.
Конечно, эта технология в настоящее время имеет некоторые ограничения. Например, некоторые интерфейсы безопасности iOS, Apple Pay и цифровые видеоэкраны, защищенные авторскими правами, не могут нормально зеркалироваться; дублирование экрана также может прерваться после блокировки телефона; текущий ввод с клавиатуры в основном поддерживает символы ASCII, а адаптация координат приложений с горизонтальным экраном еще не идеальна. Кроме того, визуальная модель может неправильно оценить положение кнопки или выполнить неправильное действие, поэтому в проекте предусмотрены журналы выполнения и функции аварийной остановки, которые по-прежнему требуют ручного контроля при использовании.
Ценность, продемонстрированная ESP32 iPhone Agent, заключается не только в управлении iPhone с помощью дешевой платы разработки, но и в предоставлении более общего представления о реализации интеллекта мобильного телефона: ИИ не должен полагаться на каждое приложение для открытия отдельного интерфейса, он может выполнять задачи, наблюдая за экраном, понимая интерфейс, выполняя действия и проверяя результаты. В будущем, если визуальное понимание, планирование действий и вычислительные возможности устройств будут продолжать улучшаться, ожидается, что эта архитектура будет использоваться в таких сценариях, как тестирование мобильных телефонов, повторяющиеся операции, личная автоматизация и безбарьерная помощь. До полностью надежного универсального помощника по мобильному телефону еще далеко, но он уже позволил людям увидеть, что ИИ перешел от «говорить вам, что делать» к «делать это за вас» и становится инженерной практикой, которую можно построить и проверить самостоятельно.
Адрес проекта:https://github.com/onehumanbeing/esp32-iphone-agent