PRO+ 公開サンプル · ログイン不要で全文をご覧いただけます。

PRO

インストール前の試食 · ログイン不要

onehumanbeing/esp32-iphone-agent AI・デバイス自動化

AIがiPhoneを操作するしくみ

「アラームを設定して」と目標を伝えると、同じiPhoneのアプリが画面対応モデルに次の操作を問い合わせ、小さな基板が実際の入力を送ります。新しい構成を動画で見て、準備と未対応のことを確認します。

61秒の動画説明図3枚選び方
動画で先に見る ↓すぐに始める ↓

01 · 動画でひと目に

AIがiPhoneを操作するしくみ

Google Flowの韓国語ナレーション・韓国語字幕による解説動画です。2026年10月15日ごろのmain（e035e424）の構成をギット飯が図にしました。実機の操作録画ではありません。下の案内と画面の説明は、その後のmain（68751e4）に基づきます。

02 · 元リポジトリが公開した画面

現行アプリの実際の画面2枚と、以前のv0.1.0の画面

元のREADMEに載っている現行版（main）の公式スクリーンショットを、ギット飯が2枚に分けました。READMEの説明では、各画像の左は実際のiPhoneを撮った写真、右は基板のAirPlayミラーリングを経てエージェントが見ている画面です。静止画面なので、作業一つを最初から最後まで実行した録画ではありません。3枚目はREADMEの冒頭にまだ載っている以前のv0.1.0の写真のため、旧版と明記して分けました。

左は布の上に置かれたiPhoneを撮った写真、右は同じアプリの最初の画面の画像（READMEは基板のミラーを経てエージェントが見る画面と説明）。Board・Mirroring・Mouseの表示はオレンジ、Pointer・Modelは緑のチェック、下にStartとConnect the board（ESP32 iPhone Agentの元READMEの画像）
アプリの最初の画面: 実際のiPhone（左）とエージェントが見る画面（右）READMEの説明では、左は実際のスマートフォン、右は基板のAirPlayミラーを経てエージェントが見ている画面です。ギット飯が画像を見て確認したこと: 上の状態表示5つ（Board・Mirroring・Mouse・Pointer・Model）のうち緑のチェックはPointerとModelだけで、Board・Mirroring・Mouseはチェックのないオレンジ色です。「Plug me into the USB-C port to wake me up.」の文とStartの下の「Connect the board」も見えます。作業の入力欄（What should I do on this iPhone?）、保存された作業「Daily 7 AM alarm」「Draw a smiley」、左下の灰色の丸も見えます。ただしこの場面はBoard・Mirroringが未接続と表示されているため、右が実際に基板のミラーを経た画面かどうかは画像だけでは確かめられません。いちばん下の「Freeform」の表示は元の画像にあったものです。

画像: onehumanbeing/esp32-iphone-agentのdocs/images/app-screens.pngとexample-alarm.png（mainのコミット68751e4）、MITライセンス、Copyright (c) 2026 Henry Yuan。ギット飯がapp-screens.png（1983×900）の4つの区画を2枚に切り分け（横0〜962px、983〜1939px）WebPに変換し、example-alarm.pngは切り取らずにWebPに変換しただけです。それ以外は変えていません。ギット飯が撮影した画面ではなく、ギット飯はファームウェアの書き込みやアプリのビルド・実行をしていません。

03 · すぐに始める

部品の準備 → 基板にファームウェア → アプリのビルド → アプリ内の設定

机の上のiPhoneに「Wi-Fiの設定画面を開いて」と任せてみるとします。App Storeから入れるアプリではないので、Macで基板にファームウェアを一度書き込み、アプリを自分でビルドしてiPhoneにインストールする必要があります。そのあと基板をiPhoneに挿し、アプリが案内する設定の4つの手順を終えると、最初の作業を任せられます。Macはこの最初の準備にだけ必要で（無料のApple IDなら7日ごとにMacで署名し直します）、実行するときはiPhoneと基板だけで動きます。下の順に進めてください。ただし先に「始める前に必ず知っておくこと」を読んでください。

mainのコミット68751e4（2026-10-18 UTC）の文書に基づく · 2026-10-19確認 · ギット飯は文書とコードを読んだだけで、基板へのファームウェアの書き込みやアプリのビルド・実行はしていません。この「コンピューター不要」の版にはまだ正式リリースがありません。CHANGELOGには「Unreleased (main)」とだけ書かれ、GitHubの正式リリースv0.1.0は以前のコンピューター方式です。変化が速く、現行版が最初に載った10月15日（UTC）のあと、18日までにmainへコミットが25件追加されました。そのためこのページは一つのコミットに固定して読んでおり、いまのmainはこの案内と異なる場合があります。インストールはREADMEの手順だけに従ってください。READMEは、issueやコメントに投稿されたコマンド（例:「クイックインストール」の1行コマンド）は決して実行しないよう、それはメンテナーによるものではないと警告しています。

順番に進めましょう

① 部品とコードの準備

最初に始めるとき（READMEの準備物の表のとおり）

git clone https://github.com/onehumanbeing/esp32-iphone-agent.git cd esp32-iphone-agent git checkout 68751e4d89abf64af338de39e5452da30d8f2173

① ESP32-S3基板: 元リポジトリが試したのはSeeed Studio XIAO ESP32S3の標準版（PSRAM 8MB、SenseでもPlusでもない）で、価格は約7ドルです。USB-C端子にネイティブUSBがつながり、PSRAMを持つESP32-S3なら動くはずだと書かれています。② iOS 18以降で、モバイルデータ通信を使えるiPhone: Wi-Fiは基板のホットスポットが使います。USB-CのiPhoneはそのまま挿し、LightningのiPhoneにはLightning - USBカメラアダプタが必要です。基板の電源はiPhoneから供給されます。③ 画像を受け付けるOpenAI互換のチャットAPI: クラウドのAPIでも自分で運用するサーバーでもかまいません。④ XcodeのあるMac: 基板へのファームウェアの書き込みとアプリの最初のビルドにだけ必要で（無料のApple IDなら7日ごとにMacで署名し直します）、実行するときは不要です。

ギット飯の補足: READMEのインストールのコマンドはリポジトリのフォルダー内で実行するもの（hardware/flash.sh、ios/…）ですが、現行版のコードを取得する行はありません（git cloneは旧版の案内にだけあります）。上の3行は、このページと同じコミットにそろえるためにギット飯が書いたものです。flash.shはフォルダーのパスに空白があると止まるため、空白のないフォルダーで取得してください。

② 基板にファームウェアを書き込む（Macに挿して）

基板を初めて準備するとき、または旧版のファームウェアが入った基板を現行版に切り替えるとき

CIが使うコマンド · ESP32 core 3.3.12のインストール（READMEは「3.3.x」とだけ書いています）

arduino-cli core update-index --additional-urls https://espressif.github.io/arduino-esp32/package_esp32_index.json arduino-cli core install esp32:esp32@3.3.12 --additional-urls https://espressif.github.io/arduino-esp32/package_esp32_index.json

READMEの原文 · NimBLE-Arduino 2.5.1のインストール

arduino-cli lib install "NimBLE-Arduino@2.5.1"

ギット飯の補足 · 基板のポートを確認（macOS）

ls /dev/cu.usbmodem*

READMEの原文 · ビルドして書き込む（[serial port]の部分に確認したポートを入れます）

hardware/flash.sh # optional: [serial port] [--debug]

READMEは、arduino-cli（インストール方法は公式ドキュメント）、ESP32 core 3.3.x、NimBLE-Arduino 2.5.xをインストールしてから、NimBLEのインストールの行とflash.shの行を実行するよう案内しています。coreをインストールする正確なコマンドはREADMEにないため、元リポジトリのCI（.github/workflows/ci.yml）が使っている2行をそのまま載せました。flash.shはファームウェアをビルドして基板に書き込みます。すでにファームウェアが動いている基板は1200baudの信号でブートローダーのモードに切り替えてから書き込み、空の基板にはそのまま書き込みます。原文は必ずflash.shでビルドするよう求めています。hardware/hid_bridge/nimble_cfg.hのBLEのバッファーサイズを適用するためで、通常のIDEでのビルドは失敗すると書かれています。

ポートは必ず自分で指定してください。ギット飯がflash.shを読んだところ、ポートを指定しないと/dev/cu.usbmodem*か/dev/ttyACM*のうち最初に見つけた機器にリセットの信号を送って書き込みます。ポートを指定しても、リセット後には再び最初に見つけたポートへ書き込む作りなので、ほかの基板やUSBシリアル機器は先に外しておいてください。--sta・--build-only・--ap-tuneは試験用のオプションなので、最初は使いません。

③ アプリをビルドしてiPhoneにインストール（Xcode）

基板の準備が終わったら、iPhoneをMacにつないで

READMEの原文 · 設定ファイルをコピー（DEVELOPMENT_TEAMとIA_BUNDLE_IDを入れる）

cp ios/Config/Local.xcconfig.example ios/Config/Local.xcconfig

READMEの原文 · Xcodeで開く（IPhoneAgentのスキームを自分のiPhoneで実行）

open ios/IPhoneAgent.xcodeproj

コピーしたLocal.xcconfigに、自分のAppleの開発チームID（DEVELOPMENT_TEAM）と自分のバンドルID（IA_BUNDLE_ID）を入れ、XcodeでIPhoneAgentのスキームを自分のiPhoneで実行します。無料のApple IDでも署名できますが、7日ごとに署名し直す必要があります。ホットスポットへのワンタップ接続にはHotspot Configurationの機能、つまり有料の開発者アカウントが必要で、ない場合はアプリがホットスポットのパスワードを表示するので、自分で入力して接続します。プロジェクトはios/project.ymlからXcodeGenで作られたものなので、作り直すときだけcd ios && xcodegenを使います。

READMEには公開のApp Store・TestFlightのインストール経路がなく、MacとXcodeで自分でビルドします。例の設定ファイルには、ホットスポットへのワンタップ接続・Live Activityのグループ・即時通知にIA_ENTITLEMENTS・IA_WIDGET_ENTITLEMENTSが必要で（そのうちHotspot Configurationは有料アカウント）、空にするとこれらの機能なしでビルドできると書かれています。

基板をiPhoneに挿したあと（アプリ内で一度だけ）

  1. 1. Plug Me In: 基板とBluetoothで接続

    基板をiPhoneに挿してESP32 Agentアプリを開くと、設定が4つの手順を案内し、手順ごとに自分で確認します。最初の手順で基板をBluetoothでペアリングします。アプリはバックグラウンドでもBluetoothで基板とつながる作りになっています。

  2. 2. Let Me See the Screen: ホットスポットと画面ミラーリング

    基板のWi-Fiホットスポット（名前はESP32Agent-XXXX）に接続してから、コントロールセンター → 画面ミラーリング → ESP32 Agentを選びます。一覧にESP32 Agentが見えれば、基板のAirPlay受信が動いています。ここからiPhoneのWi-Fiはインターネットのない基板のホットスポットになり、モデルにはモバイル通信で接続します。

  3. 3. Let Me Use the Pointer: AssistiveTouchを有効にする

    AssistiveTouchを有効にすると、アプリが自分でポインターを合わせます（上の「実際の画面」のCalibrating pointer... 7/8の場面）。基板がUSBマウスとして画面上のポインターを動かすので、クリックがタップに、ドラッグがスワイプになります。合わせている間は画面から手を離します。

  4. 4. Give Me a Brain: モデルの選択と画像の確認

    モデルのアドレス（endpoint）とキーを入れます。キーはiPhoneのキーチェーンに保存されます。続けて、そのアドレスのモデル一覧から画像を扱えるモデルを自分で選ぶか、モデルIDを入力します。アプリにはOpenAI、Google Gemini、Qwen · China、Qwen · International、DeepSeek、OpenRouter、Others（自分で入力）のプリセットがあります。ギット飯がコードを読んだところ、接続の確認では画像を1枚送り、モデルが「red」の一語で答えたときだけ通します。この確認に失敗してもキーやネットワークの問題とは限らないとコードに書かれているので、もう一度試すか、別のビジョンモデルを選びます。

  5. 最初の作業を任せる

    目標を入力してStartを押します。READMEの例は「Open Settings and go to Wi-Fi」です。Startを押すとアプリが自分でホーム画面へ退いて作業し、Dynamic Islandにいま行っていることを表示します。止めるときはDynamic Islandから止めるか、アプリに戻ります。ギット飯の補足: 完了の表示だけを信じず、Wi-Fiの設定画面が実際に開いたかを自分で確かめてください。

    Open Settings and go to Wi-Fi

  6. うまく動いているかの確認

    元の文書に基づくと、次のように見えれば大丈夫です: iPhoneのWi-Fiの一覧にESP32Agent-XXXXのホットスポットが見え、画面ミラーリングの一覧にESP32 Agentが表示されます。設定の4つの手順がそれぞれ通り、モデルの接続で画像の確認が通ります。最初の作業はWi-Fiの設定画面で終わります。実行の記録はRunsタブに残り、手順ごとに見直せます。

以前のv0.1.0（コンピューター方式）を調べるなら

旧版は、iPhoneの横にMacかLinuxのコンピューターを置いてUxPlayとPythonサーバーを動かす方式です。原文のdocs/legacy.mdは、下の1行でlegacyブランチを取得し（またはv0.1.0のタグに切り替え）、そのREADMEに従うよう案内しています。

docs/legacy.mdの原文 · 旧版を取得

git clone -b legacy https://github.com/onehumanbeing/esp32-iphone-agent # or: git checkout v0.1.0

legacyブランチの先頭はいまv0.1.1のタグ（任意のCLI・MCP接続を追加、リリースページなし）で、GitHubの正式リリースはv0.1.0です。旧版と現行版のファームウェアは互換性がないので、使うブランチに合ったファームウェアを書き込んでください。

始める前に必ず知っておくこと（基板・iPhone・データ）

  • flash.shはポートを指定しないと、最初に見つけたUSBシリアル機器（/dev/cu.usbmodem*・/dev/ttyACM*）にリセットの信号を送ってファームウェアを書き込みます。ギット飯がスクリプトを読んだところ、ポートを指定してもリセット後には再び最初に見つけたポートへ書き込む作りです。書き込む前にほかの開発用基板やUSBシリアル機器は外し、ポートを自分で指定してください。
  • ビルドの設定は、XIAO ESP32S3の標準版に合わせた8MBフラッシュ・OPI PSRAMに固定されています。別のESP32-S3基板なら、ネイティブUSB（USB-C）とPSRAM、フラッシュの容量が合うかを先に確認してください。原文はそうした基板も「動くはず」とだけ書いています。
  • 旧版（v0.1.0・legacy）と現行版のファームウェアは互換性がありません。ファームウェアを誤って書き込んだときに元に戻す方法は、元の文書にありません。
  • 実行するにはAssistiveTouchを有効にしておく必要があり、アプリはバックグラウンドでもBluetoothで基板とつながります（Bluetoothの常時使用の許可）。ギット飯の補足: 試し終えたら基板を外し、普段使わないならAssistiveTouchもオフにしておきましょう。
  • エージェントが動いている間、iPhoneのWi-Fiはインターネットのない基板のホットスポットにつながります。モデルにはモバイルデータ通信で接続するので、通信料と電波を確認してください。自分で運用するモデルのサーバーも、モバイル通信から届く必要があります。
  • アプリは手順ごとに、iPhoneの画面のスクリーンショットと作業内容のテキストを自分で設定したモデルのアドレスへ送り、送り先のプライバシーポリシーが適用されます（元のプライバシー文書）。プリセットには中国本土のアドレス（Qwen · China、dashscope.aliyuncs.com）もあり、OpenRouterでは無料モデルのどれかに自動でつなぐopenrouter/freeも選べます。openrouter/freeはリクエストごとにOpenRouterがモデルを選ぶため、画面がどの会社のモデルに送られるかは事前に決まりません。ギット飯の補足: どの会社のどのモデルに画面が送られるかを確認してからキーを入れ、銀行・メッセージ・決済のような機密性の高い画面では試さないでください。
  • XcodeのDebugビルドは、iphoneagent://run?task=…のようなアドレスで作業を始める開発用のコマンドを受け付けます。元のコードのコメントには、リリースビルドならどんなWebページでもこのアドレスを開けてしまうため、Debugビルドにだけ入れたと書かれています。ギット飯の補足: Xcodeから普通に実行すると、たいていDebugビルドです。そのiPhoneでは知らないリンクを開かず、試すときだけ基板を挿しておいてください。
  • モデルのキーはアプリの設定で入力し、キーチェーンに置いてください。Local.xcconfigのIA_PRESET_KEYにキーを入れるとビルドの中にキーが入り、例のファイルもキーを決してコミットしないよう書いています。ギット飯の補足: このページはIA_PRESET_KEYを空のままにすることをおすすめします。
  • ギット飯の補足（原文になく、確かではありません）: Xcodeから直接インストールしたアプリを初めて起動するには、iPhoneでデベロッパモードを有効にし、無料のApple IDなら設定でデベロッパAppを信頼する必要がある可能性が高いです。
  • キーボードの入力はASCIIだけで（日本語・韓国語の入力は不可）、横画面のアプリにはまだ対応していません。パスコード入力・Apple Pay・DRMの動画の画面はミラーリングされないためエージェントには見えず、iPhoneがロックされるとミラーリングが止まります。
  • 原文は、自分が持っている機器と使う権限のあるアカウントだけを自動化し、アプリの利用規約を守るよう書いています。エージェントは自分の手のように動くので、見守り、停止ボタンを手の届くところに置いてください。

AIアプリに準備を任せるなら

下の指示文をClaude CodeやCodexに貼り付けると、コミットを固定したREADMEどおりにファームウェアの書き込みとアプリのビルドを一緒に進め、ダウンロード・インストール・ポートの選択・設定ファイルの編集の前には先に確認します。キーの入力、iPhoneの設定、作業の開始は自分で行います。指示文はギット飯が公式文書をもとに書いたものです。

AIアプリに貼り付ける準備の指示文

README: このREADMEのインストール手順だけに従う ↗README: 準備物 ↗README: 基板にファームウェアを書き込む ↗CI: ESP32 coreのインストールのコマンド ↗flash.sh: ポートの選択・8MB/OPIの設定 ↗arduino-cliの公式ドキュメント ↗README: アプリのインストール ↗Local.xcconfigの例: チーム・バンドルID・キー ↗README: アプリ内の設定4手順・最初の作業 ↗基板のツールの文書: flash.shでのビルド・ホットスポットの名前 ↗アプリのコード: モデルのプリセット ↗アプリのコード: 画像の確認 ↗アプリのコード: openrouter/freeの自動選択 ↗プライバシー文書: 画面の送り先 ↗アプリのコード: DebugビルドのURLコマンド ↗アプリの設定: Bluetoothのバックグラウンド ↗README: 制限・責任ある利用 ↗README: 公式の画面の説明 ↗CHANGELOG: Unreleased (main) ↗docs/legacy.md: 旧版の取得 ↗以前のv0.1.0のREADME: 始め方 ↗以前のv0.1.0のリリースページ ↗ライセンス: MIT、AirPlay部分はGPL-3.0 ↗

仕組みの説明図3枚を開く

画面・命令の経路を読み、初回導入と実行中の準備を分けて見ます。以下は公式ソースをもとにしたギット飯の説明図です。

01 / 同じiPhoneへ戻る画面

アプリが見て判断し、基板が押す

iPhoneからWi-Fi AirPlayで基板へ送りBLEで同じアプリへ返した映像と、アプリのBLE命令を基板がUSB HID入力へ変える流れ
ギット飯の説明図 · 公式ソースに基づく根拠のソース ↗関連ドキュメント ↗図を大きく見る ↗
簡単にいうと
基板がAirPlayの映像をBLEで同じiPhoneアプリへ渡します。アプリが画面画像をモデルAPIへ送り、操作を選びます。
自分の条件では
画面を受ける場所、判断する役割、入力する役割を分けて読むとき。
知っておくこと
BLEで戻るのはH.264の映像データです。復号とJPEG変換はアプリが行い、iPhoneへの入力はBLE HIDではなくUSB HIDです。

mainはまだ正式リリースのない、CHANGELOGのUnreleased版です。上の「実際の画面」に載せた現行アプリの写真は元リポジトリが公開した静止画面で、作業全体を実行した録画ではありません。旧v0.1.0の公式アラーム写真は旧版と明記し、最新版の実行結果としては使っていません。

根拠: Henry Yuanおよびesp32-iphone-agent貢献者の公式ソース。説明図・モーション: ギット飯。音声: Google Flow。コードのライセンス: MIT、AirPlay部分とそれをリンクするファームウェアはGPL-3.0。確認: 2026年10月19日。 ライセンスの区分を見る ↗

04 · 選び方

自分の条件なら、どちらを選ぶ？

自分の状況に合わせて選ぶ

3つの質問で結論まで

答えを選ぶと、下の比較と判断の根拠をもとにギット飯がまとめた結論がすぐに表示されます。

任せたい作業は？
最初にビルドするMacとXcodeはありますか？
iPhoneのモバイル通信で画像対応モデルのAPIに接続できますか？

3つ選ぶと結論が表示されます。

結論は、下の比較と「条件が変わったら」の判断、元の分析の推薦・保留の条件をそのまま反映したものです。 原文: 旧版から変わった点 ↗

ひと目で比較

いまのmain（68751e4）と以前のv0.1.0を比べました（docs/legacy.mdに基づく）。

基準現在のmain以前のv0.1.0
エージェントの実行場所iPhoneのアプリがモデルを呼び出すMac・LinuxのPythonサーバー
画面と命令の伝達基板がAirPlayを受信 · BLEコンピューターがAirPlayを受信 · Wi-Fi
コンピューターが必要な時点最初のビルド・導入のときだけ作業中ずっと
モデルへの接続経路モバイル通信（Wi-Fiは基板のホットスポット）コンピューターから接続

こんなときは 現在のmain最初にMac・Xcodeを用意でき、実行中は別の制御用コンピューターなしで試したい場合。

こんなときは 以前のv0.1.0旧Python・UxPlay構成を調べる、または旧版を再現したい場合に、そのタグと文書を合わせて確認します。

基準ごとの詳しい説明と出典
エージェントの実行場所
現在のmain
操作対象のiPhone内のアプリがモデルAPIを呼び出します。
以前のv0.1.0
Mac・LinuxのPythonサーバーがモデルを呼び出します。

新しい構成で旧Pythonサーバーを必須と考えないようにします。

1 ↗2 ↗

画面と命令の伝達
現在のmain
基板がAirPlayを受け、アプリと基板がBLEで映像・命令を交換します。
以前のv0.1.0
コンピューターがAirPlayを受け、Wi-Fiで基板へ命令を送ります。

新しい構成の基板には、ネイティブUSBに加えPSRAMも必要です。

1 ↗2 ↗

コンピューターが必要な時点
現在のmain
最初にMac・Xcodeでビルド・導入します。実行中の別の制御用コンピューターは不要です。
以前のv0.1.0
作業中はMacまたはLinuxのサーバーが動いている必要があります。

「コンピューターなしで実行」と「初回導入も不要」は別です。

1 ↗2 ↗

モデルへの接続経路
現在のmain
Wi-Fiは基板のホットスポットに使い、モデルAPIへはモバイル通信で接続します。
以前のv0.1.0
コンピューターから選んだモデルAPIへ接続します。

iPhoneのモバイルデータ通信とAPIへの接続を確認します。

1 ↗2 ↗

導入前に確認する2つ

部品を買う前に確認しておくと、無駄足を減らせます。チェックはこの画面でのみ表示されます。

  • 合わないときは 実装と作者の説明を確認した段階で、機器ごとの成功率は検証していません。

  • 合わないときは 画面の送信が許される、自分の機器の小さな作業から選びます。

ギット飯が想定した例と根拠

iPhoneでAIが画面を見て操作する過程を試したい。

  • 自分が管理するiPhoneで操作を見守り、結果を自分で確認する状況を想定します。

2026年10月19日確認、mainのコミット68751e4（2026年10月18日UTC）に固定。この版には正式リリースがなく、CHANGELOGには「Unreleased (main)」とだけ書かれ、現行版が最初に載った10月15日（UTC）のあと、18日までにmainへコミットが25件追加されるほど速く変わっています。公式文書・コードに基づくギット飯の解説であり、iPhone・ESP32の接続や成功率の試験は行っていません。元リポジトリが公開した現行アプリの静止画面（公式スクリーンショット）は載せましたが、作業全体を実行した録画ではありません。旧v0.1.0の写真は旧版と明記し、最新版の実行証拠には使っていません。

使いどころがわかる解説

自分のiPhoneで試すなら

iPhoneでAIが画面を見て操作する過程を試したい。

01 · 役割を分ける

任せる部分と、自分で担う部分

ESP32 iPhone Agent に任せる

  • 画面の伝達・復号、モデル呼び出し、基板入力、段階別の実行記録

自分たちで準備・運用する

  • アプリのビルドと署名、基板・ネットワーク設定、モデル費用とデータ、停止と結果確認

「実行中はコンピューター不要」を試す前に、初回ビルドとモバイル通信・モデル接続を確認しましょう。

公式資料 1 ↗公式資料 2 ↗公式資料 3 ↗
さらに詳しく：原作の読み方と確認事項

動画の流れを「自分のiPhoneで始められるか」につなげます。現在のmainは旧コンピューター方式から構成が変わり、CHANGELOGではまだUnreleased段階です。

02 · 読むだけで終わらせない

一つの作業で接続・入力・結果をそれぞれ確かめる

以下は自分の条件に照らして確認するための手順です。ギット飯による実行結果ではありません。

  1. アラームの時刻や曜日など、結果を目で確認できる小さな目標を選びます。

    残すものどの設定になれば成功かを先に決めます。

  2. 基板のホットスポットとミラーリングを接続し、AssistiveTouchとポインター調整を確認します。

    残すもの基板・アプリ・画面の接続がすべて準備できたか確認します。

  3. 実行を開始して実際のiPhone画面を見ます。必要ならDynamic Islandまたはアプリから止めます。

    残すもの完了の表示とは別に、時刻・曜日・保存状態を直接確認します。

次へ進める条件

画面とポインターが合い、停止でき、最後の結果も確認できたら、少しずつ範囲を広げます。

立ち止まる条件

接続やポインターが不安定なら、まず設定を確認します。未対応の入力や画面は別の方法で扱います。

判断の根拠と確認項目を詳しく読む

向いている場面

  • iPhoneアプリのビルドと基板設定を準備し、画面に基づくAI操作を試したい開発者。

別の選択肢も比べたい場面

  • App Storeから入れてすぐ使いたい場合や、日本語・韓国語入力と横画面が必須なら見送ります。最初のビルド用Mac、モバイルデータ通信、モデルAPIを用意できない場合も向きません。

試す前に確認すること

  • 最初のビルド用MacとXcode、PSRAM搭載基板を用意できますか？
  • モバイル通信でモデルAPIへ接続し、結果を自分で確認できますか？

選んだ理由：画面の受信、AIへの問い合わせ、実機への入力を分けて見られます。以前のコンピューター方式から何が変わったかを理解し、自分の環境で試せるか考えます。

出典と確認範囲

公式資料とコードをもとに、ギット飯が説明図と動画を制作しました。実機を操作した録画や、新しく動作・導入効果を測定した記録ではありません。

作者
Henry Yuan and esp32-iphone-agent contributors
確認日
2026-10-19
ライセンス
MIT + GPL-3.0 ↗
GitHub ↗公式ドキュメント ↗参照した版 · 68751e4 ↗

ギット飯は GitHub のオープンソース情報を日本語でまとめてお届けするサービスです。掲載しているリポジトリ情報・AI 要約は原著作者の公開資料にもとづくもので、各著作物の権利は原著作者に帰属します。