Wenn KI eines Tages nicht mehr nur Fragen beantwortet, sondern tatsächlich eine Maus in die Hand nehmen, eine Tastatur bedienen und ein Mobiltelefon wie ein Mensch bedienen kann, dann wird die Automatisierung von Mobiltelefonen eine neue Stufe erreichen. Open-Source-Projekte auf GitHub ESP32 iPhone-Agent Wir versuchen, diese Idee zu verwirklichen: Mit nur einem ESP32-S3-Entwicklungsboard, das etwa 7 US-Dollar kostet, einem Computer und einem KI-Modell, das das visuelle Verständnis unterstützt, kann die KI den iPhone-Bildschirm beobachten und entsprechend der Aufgabe automatisch klicken, schieben und Text eingeben, um eine Reihe von Vorgängen abzuschließen.
Das Interessanteste an diesem Projekt ist, dass es nicht den traditionellen Weg der iOS-Automatisierung einschlägt, sondern die Art und Weise simuliert, wie Menschen ihre Telefone nutzen. Es projiziert den iPhone-Bildschirm über AirPlay auf den Computer, und das Programm auf dem Computer ruft das Bild ab und übermittelt es zur Analyse an das visuelle Modell. Gleichzeitig fungiert der an die USB-Schnittstelle des Mobiltelefons angeschlossene ESP32-S3 als Maus und Tastatur und simuliert echte Eingabevorgänge über USB HID. Die KI ist für die Beobachtung und Entscheidungsfindung verantwortlich, der Computer für die Ausführung des Agentenprogramms und der ESP32 für die Ausführung von Anweisungen. Die drei arbeiten zusammen, um einen vollständig automatisierten geschlossenen Kreislauf zu bilden.
Bei der tatsächlichen Verwendung muss der Benutzer lediglich eine Aufgabe in natürlicher Sprache eingeben, z. B. „Öffnen Sie die Uhranwendung und stellen Sie den Wecker jeden Morgen auf sieben Uhr.“ Der Agent plant die Arbeitsschritte anhand des Bildschirminhalts, klickt nach und nach auf die entsprechenden Schaltflächen, stellt die Uhrzeit und das Wiederholungsdatum ein und speichert schließlich die Einstellungen. Das Projekt demonstriert auch die Möglichkeit, automatisch eine Whiteboard-Anwendung zu öffnen und ein Smiley-Gesicht zu zeichnen. Bei jedem Schritt des Vorgangs werden Screenshots und Aktionsaufzeichnungen hinterlassen, sodass Benutzer den Ausführungsprozess beobachten, nachvollziehen können, was die KI getan hat und ob Fehlvorgänge aufgetreten sind.
Im Vergleich zu herkömmlichen iPhone-Automatisierungslösungen, die auf XCTest, WebDriverAgent, Xcode und Entwicklersignaturen basieren, besteht der größte Vorteil dieses Designs darin, dass der Schwellenwert niedriger ist. Auf dem Telefon müssen weder spezielle Anwendungen installiert werden, noch muss es einen Jailbreak haben oder mit einem Apple-Entwicklerkonto konfiguriert werden. Theoretisch kann es durch visuelle Bildschirmerkennung und Zeigeroperationen mit mehr Anwendungen kompatibel sein, einschließlich Schnittstellen, denen standardisierte Automatisierungsschnittstellen fehlen. Das Projekt übernimmt die MIT-Open-Source-Lizenz, und Entwickler können den Code studieren, Funktionen ändern und auf verschiedene visuelle Sprachmodelle entsprechend ihren eigenen Anforderungen zugreifen.
Aus Sicht der technischen Architektur ist ESP32-S3 selbst weder für die Ausführung großer KI-Modelle noch für die Planung komplexer Aufgaben verantwortlich. Der eigentliche Smart-Teil läuft weiterhin auf dem Computer oder Modellserver, und das Entwicklungsboard ist nur für die Ausführung einfacher Maus-, Tastatur- und Scrollbefehle zuständig. Diese Arbeitsteilung reduziert die Hardwarekosten und gibt Entwicklern die Flexibilität, eine Cloud-API oder ein kompatibles Modell zu wählen, das vor Ort bereitgestellt wird. Allerdings bedeutet kostengünstige Hardware nicht, dass das gesamte System kostenlos ist. Computer, Netzwerkumgebungen, Modellinferenzressourcen und notwendige Konfigurationsarbeiten sind nach wie vor unverzichtbar.
Natürlich weist diese Technologie derzeit einige Einschränkungen auf. Beispielsweise können einige iOS-Sicherheitsschnittstellen, Apple Pay und digitale, urheberrechtlich geschützte Videobildschirme nicht normal gespiegelt werden; Die Bildschirmspiegelung kann auch unterbrochen werden, nachdem das Telefon gesperrt wurde. Die aktuelle Tastatureingabe unterstützt hauptsächlich ASCII-Zeichen und die Koordinatenanpassung horizontaler Bildschirmanwendungen ist noch nicht perfekt. Darüber hinaus kann das visuelle Modell die Tastenposition falsch einschätzen oder die falsche Aktion ausführen, sodass das Projekt Ausführungsprotokolle und Not-Aus-Funktionen bereitstellt, die bei Verwendung immer noch eine manuelle Überwachung erfordern.
Der Wert des ESP32 iPhone Agent besteht nicht nur darin, das iPhone mit einem billigen Entwicklungsboard zu steuern, sondern auch darin, eine allgemeinere Vorstellung von der Implementierung der Mobiltelefonintelligenz zu vermitteln: KI muss sich nicht darauf verlassen, dass jede Anwendung eine separate Schnittstelle öffnet, sondern kann Aufgaben erledigen, indem sie den Bildschirm beobachtet, die Schnittstelle versteht, Aktionen ausführt und die Ergebnisse überprüft. Wenn sich das visuelle Verständnis, die Aktionsplanung und die geräteseitigen Rechenfunktionen in Zukunft weiter verbessern, wird erwartet, dass diese Architektur in Szenarien wie Mobiltelefontests, sich wiederholenden Vorgängen, persönlicher Automatisierung und barrierefreier Unterstützung eingesetzt wird. Von einem absolut zuverlässigen, universellen Handy-Assistenten ist es noch ein gutes Stück entfernt, aber es hat den Menschen bereits gezeigt, dass die KI von „sagen, was zu tun ist“ zu „es für Sie tun“ übergegangen ist und sich zu einer Ingenieurspraxis entwickelt, die Sie selbst aufbauen und verifizieren können.
Projektadresse:https://github.com/onehumanbeing/esp32-iphone-agent