Si algún día la IA ya no solo responde preguntas, sino que puede levantar un mouse, operar un teclado y usar un teléfono móvil como un ser humano, entonces la automatización de los teléfonos móviles entrará en una nueva etapa. Proyectos de código abierto en GitHub Agente de iPhone ESP32 Estamos tratando de hacer realidad esta idea: con solo una placa de desarrollo ESP32-S3 que cuesta alrededor de 7 dólares estadounidenses, una computadora y un modelo de IA que admita la comprensión visual, la IA puede observar la pantalla del iPhone y automáticamente hacer clic, deslizar e ingresar texto de acuerdo con la tarea para completar una serie de operaciones.
Lo más interesante de este proyecto es que no sigue la ruta tradicional de automatización de iOS, sino que simula la forma en que los humanos usan sus teléfonos. Proyecta la pantalla del iPhone en la computadora a través de AirPlay, y el programa en la computadora obtiene la imagen y la envía al modelo visual para su análisis; al mismo tiempo, el ESP32-S3 conectado a la interfaz USB del teléfono móvil actúa como mouse y teclado, simulando operaciones de entrada reales a través de USB HID. La IA es responsable de la observación y la toma de decisiones, la computadora es responsable de ejecutar el programa agente y el ESP32 es responsable de ejecutar las instrucciones. Los tres trabajan juntos para formar un circuito cerrado automatizado completo.
En el uso real, el usuario solo necesita ingresar una tarea en lenguaje natural, como "Abra la aplicación del reloj y configure el despertador a las siete en punto todas las mañanas". El agente planificará los pasos de la operación según el contenido de la pantalla, hará clic gradualmente en los botones correspondientes, establecerá la hora y repetirá la fecha y finalmente guardará la configuración. El proyecto también demuestra la capacidad de abrir automáticamente una aplicación de pizarra y dibujar una carita sonriente. Cada paso de la operación dejará capturas de pantalla y registros de acciones, lo que permitirá a los usuarios observar el proceso de ejecución, comprender qué ha hecho la IA y si se ha producido alguna operación incorrecta.
En comparación con las soluciones tradicionales de automatización de iPhone que se basan en XCTest, WebDriverAgent, Xcode y firmas de desarrolladores, la mayor ventaja de este diseño es que el umbral es más bajo. El teléfono no necesita instalar aplicaciones especiales, ni necesita tener jailbreak ni configurarse con una cuenta de desarrollador de Apple. En teoría, puede ser compatible con más aplicaciones mediante reconocimiento visual de pantalla y operaciones de puntero, incluidas interfaces que carecen de interfaces de automatización estandarizadas. El proyecto adopta la licencia de código abierto del MIT y los desarrolladores pueden estudiar el código, modificar funciones y acceder a diferentes modelos de lenguaje visual según sus propias necesidades.
Desde la perspectiva de la arquitectura técnica, ESP32-S3 en sí no es responsable de ejecutar grandes modelos de IA ni de la planificación de tareas complejas. La parte realmente inteligente todavía se ejecuta en la computadora o servidor modelo, y la placa de desarrollo solo es responsable de ejecutar comandos simples de mouse, teclado y desplazamiento. Esta división del trabajo reduce los costos de hardware y brinda a los desarrolladores la flexibilidad de elegir una API en la nube o un modelo compatible implementado localmente. Sin embargo, un hardware de bajo coste no significa que todo el sistema sea gratuito. Las computadoras, los entornos de red, los recursos de inferencia de modelos y el trabajo de configuración necesario siguen siendo indispensables.
Eso sí, esta tecnología actualmente tiene algunas limitaciones. Por ejemplo, algunas interfaces de seguridad de iOS, Apple Pay y pantallas de vídeo digitales protegidas por derechos de autor no se pueden reflejar normalmente; la duplicación de pantalla también puede interrumpirse después de bloquear el teléfono; la entrada de teclado actual admite principalmente caracteres ASCII y la adaptación de coordenadas de las aplicaciones de pantalla horizontal aún no es perfecta. Además, el modelo visual puede juzgar mal la posición del botón o realizar una acción incorrecta, por lo que el proyecto proporciona registros de ejecución y funciones de parada de emergencia, que aún requieren supervisión manual cuando se usan.
El valor demostrado por ESP32 iPhone Agent no es solo controlar el iPhone con una placa de desarrollo barata, sino también proporcionar una idea más general de la implementación de la inteligencia del teléfono móvil: la IA no tiene que depender de cada aplicación para abrir una interfaz separada, sino que puede completar tareas observando la pantalla, entendiendo la interfaz, realizando acciones y verificando los resultados. En el futuro, si la comprensión visual, la planificación de acciones y las capacidades informáticas del dispositivo continúan mejorando, se espera que esta arquitectura se utilice en escenarios como pruebas de teléfonos móviles, operaciones repetitivas, automatización personal y asistencia sin barreras. Todavía está a cierta distancia de ser un asistente universal para teléfonos móviles completamente confiable, pero ya ha permitido a la gente ver que la IA ha pasado de "decirle qué hacer" a "hacerlo por usted" y se está convirtiendo en una práctica de ingeniería que usted mismo puede construir y verificar.
Dirección del proyecto:https://github.com/onehumanbeing/esp32-iphone-agent