Si un jour l’IA ne se contente plus de répondre aux questions, mais peut réellement saisir une souris, faire fonctionner un clavier et utiliser un téléphone mobile comme un être humain, alors l’automatisation du téléphone mobile entrera dans une nouvelle étape. Projets open source sur GitHub Agent iPhone ESP32 Nous essayons de concrétiser cette idée : avec seulement une carte de développement ESP32-S3 qui coûte environ 7 $, un ordinateur et un modèle d'IA prenant en charge la compréhension visuelle, l'IA peut observer l'écran de l'iPhone et cliquer, glisser et saisir automatiquement du texte en fonction de la tâche pour effectuer une série d'opérations.
La chose la plus intéressante à propos de ce projet est qu'il n'emprunte pas la voie traditionnelle de l'automatisation iOS, mais simule la façon dont les humains utilisent leur téléphone. Il projette l'écran de l'iPhone sur l'ordinateur via AirPlay, et le programme sur l'ordinateur obtient l'image et la soumet au modèle visuel pour analyse ; en même temps, l'ESP32-S3 connecté à l'interface USB du téléphone mobile agit comme une souris et un clavier, simulant des opérations d'entrée réelles via USB HID. L'IA est responsable de l'observation et de la prise de décision, l'ordinateur est responsable de l'exécution du programme agent et l'ESP32 est responsable de l'exécution des instructions. Les trois travaillent ensemble pour former une boucle fermée automatisée complète.
En utilisation réelle, il suffit à l'utilisateur de saisir une tâche en langage naturel, telle que "Ouvrez l'application horloge et réglez le réveil à sept heures chaque matin". L'agent planifiera les étapes de l'opération en fonction du contenu de l'écran, cliquera progressivement sur les boutons correspondants, définira l'heure et la date de répétition, et enfin enregistrera les paramètres. Le projet démontre également la possibilité d'ouvrir automatiquement une application de tableau blanc et de dessiner un visage souriant. Chaque étape de l'opération laissera des captures d'écran et des enregistrements d'actions, permettant aux utilisateurs d'observer le processus d'exécution, de comprendre ce que l'IA a fait et si des erreurs de manipulation se sont produites.
Par rapport aux solutions d'automatisation iPhone traditionnelles qui s'appuient sur XCTest, WebDriverAgent, Xcode et les signatures des développeurs, le plus grand avantage de cette conception est que le seuil est plus bas. Le téléphone n'a pas besoin d'installer d'applications spéciales, ni d'être jailbreaké ou configuré avec un compte de développeur Apple. En théorie, il peut être compatible avec davantage d'applications grâce à la reconnaissance visuelle de l'écran et aux opérations de pointeur, y compris des interfaces dépourvues d'interfaces d'automatisation standardisées. Le projet adopte la licence open source MIT et les développeurs peuvent étudier le code, modifier les fonctions et accéder à différents modèles de langage visuel en fonction de leurs propres besoins.
Du point de vue de l'architecture technique, l'ESP32-S3 lui-même n'est pas responsable de l'exécution de grands modèles d'IA, ni de la planification de tâches complexes. La véritable partie intelligente s'exécute toujours sur l'ordinateur ou le serveur de modèles, et la carte de développement est uniquement responsable de l'exécution de commandes simples de souris, de clavier et de défilement. Cette division du travail réduit les coûts matériels et donne aux développeurs la flexibilité de choisir une API cloud ou un modèle compatible déployé sur site. Toutefois, un matériel peu coûteux ne signifie pas que l’ensemble du système est gratuit. Les ordinateurs, les environnements réseau, les ressources d'inférence de modèles et les travaux de configuration nécessaires restent indispensables.
Bien entendu, cette technologie présente actuellement certaines limites. Par exemple, certaines interfaces de sécurité iOS, Apple Pay et les écrans vidéo numériques protégés par le droit d'auteur ne peuvent pas être mis en miroir normalement ; la mise en miroir de l'écran peut également être interrompue une fois le téléphone verrouillé ; la saisie au clavier actuelle prend principalement en charge les caractères ASCII et l'adaptation des coordonnées des applications à écran horizontal n'est pas encore parfaite. De plus, le modèle visuel peut mal évaluer la position du bouton ou effectuer une mauvaise action, c'est pourquoi le projet fournit des journaux d'exécution et des fonctions d'arrêt d'urgence, qui nécessitent toujours une supervision manuelle lorsqu'ils sont utilisés.
La valeur démontrée par ESP32 iPhone Agent n'est pas seulement de contrôler l'iPhone avec une carte de développement bon marché, mais de fournir une idée plus générale de la mise en œuvre de l'intelligence du téléphone mobile : l'IA n'a pas besoin de s'appuyer sur chaque application pour ouvrir une interface distincte, mais peut effectuer des tâches en observant l'écran, en comprenant l'interface, en effectuant des actions et en vérifiant les résultats. À l'avenir, si la compréhension visuelle, la planification des actions et les capacités informatiques côté appareil continuent de s'améliorer, cette architecture devrait être utilisée dans des scénarios tels que les tests de téléphones mobiles, les opérations répétitives, l'automatisation personnelle et l'assistance sans obstacle. On est encore loin d'un assistant de téléphonie mobile universel totalement fiable, mais il a déjà permis aux gens de voir que l'IA est passée du « vous disant quoi faire » au « le fait pour vous » et est devenue une pratique d'ingénierie qui peut être construite et vérifiée par vous-même.
Adresse du projet :https://github.com/onehumanbeing/esp32-iphone-agent