同じiPhoneのアプリがAIに画面の判断を任せ、ESP32-S3がUSBでタップ・スワイプを送る自動化ツール

目標 → 画面 → 入力 → 再確認

ESP32 iPhone Agentは画像を読めるモデルに次の操作を問い合わせ、実際のiPhoneへタップ・スワイプを送るプロジェクトです。現在のmainでは、エージェントは同じiPhoneのアプリで動きます。

1. iPhoneが基板のWi-Fiホットスポットへ接続し、AirPlayで画面を送ります。
2. 基板が映像をBluetooth LEで同じiPhoneアプリへ返します。
3. アプリが映像を画像へ復号し、モバイル通信でモデルAPIへ送って次の操作を受け取ります。
4. アプリのBLE命令を、基板がUSBマウス・キーボード入力へ変えてiPhoneを操作します。
5. 変わった画面を読み直して続け、実行記録をiPhoneに残します。

基板がAIモデルを実行するわけではありません。アプリが、選んだクラウドまたは自分のサーバーのモデルAPIを呼び出します。

初回と実行時の準備

• 初回導入: Mac・Xcodeでアプリをビルドし、ESP32-S3へファームウェアを書き込みます。無料Apple IDは7日ごとの再署名が必要です。ワンタップでホットスポットへ接続する有料機能がない場合は、手動でつなぎます。
• 使う機器: iOS 18以降のiPhoneと、ネイティブUSB・PSRAM対応のESP32-S3が必要です。公式の試験基板は8MB PSRAMの標準XIAO ESP32S3です。LightningのiPhoneにはカメラアダプターが必要です。
• 実行中: Wi-Fiはインターネットのない基板ホットスポットに使うため、モバイル通信から到達できるモデルAPIが必要です。別の制御用コンピューターは動かさなくてよくなります。
• iPhoneの設定: 基板のペアリング、ホットスポットと画面ミラーリング、AssistiveTouch、ポインター調整を進めます。

任せる前に確認

横画面と非ASCII入力は未対応で、日本語・韓国語は入力できません。ロックするとミラーリングが止まり、Apple Payや一部のDRM画面も表示されない場合があります。画像はモデルAPIへ送られるため、データの扱いと利用費用を確認します。

アプリの完了表示や画面の変化だけで、目標の達成は証明できません。アラームなら時刻・曜日・保存状態を直接確認します。必要ならDynamic Islandやアプリで停止できます。

旧版とは構成が変わっています

Mac/LinuxのUxPlay・Pythonサーバーを使う方式はv0.1.0/legacyに残っています。新しい構成の必須準備へ旧Pythonサーバーを混ぜないようにします。READMEのアラーム写真もv0.1.0の資料と明記されています。

韓国語動画と新旧構成の比較 · 公式文書

2026年10月15日、main e035e424f492のUnreleased版。実機の接続、モデル実行、成功率の測定は行っていません。