スクリーンショットと目標テキストから画面操作を自動化する AI エージェントで、大型言語モデルの 155 倍安価です。
中辛 の解説
typesafe-computer-use は、Mac のマウスとキーボードを操作してあなたの目標を達成する AI エージェントです。使用フローは以下の通りです。（1）スクリーン上の画面を OCR とアクセシビリティツリーで読み込み、（2）コードが事実（日付、フォーカス状態、URL など）を計算して状態を構築し、（3）分類モデルが次のアクション種別と対象を決定します。（4）アクションが実行されて次の画面をキャプチャし、（5）分類器が停止するまで繰り返します。最後に書き込みモデルが結果を答えるか、ユーザーへの質問を返します。macOS 14 以上、Python 3.12 以上、uv の環境で即座に動作し、インストール直後は TYPESAFE_API_KEY（必須）と ANTHROPIC_API_KEY（テキスト入力時に利用）を .env に設定するだけです。Windows 10・11 は実験的に対応しています。
こんなリポジトリです
こんなときに便利です
- Web サイトをナビゲートしてタイケットを購入する流れを自動化する場合
- 複数の画面ステップを伴う業務タスクを自動実行して効率化する場合
- API や大型モデル連携なしにローカルで画面操作エージェントを動かす場合
主な機能
ほかとの違い
大型言語モデルで画面のすべてを推論させるのではなく、OCR とアクセシビリティツリーから得た事実を確定的に計算してから小型分類モデルに判定させることで、同等の精度を 155 倍安価で 3.7 倍高速に実現しています。
このリポジトリの作り方
はじめてですか？ むずかしくありません — 上から順にたどれば、自分の環境で動かして味見できます。
準備するもの
- macOS 14 以上または Windows 10/11（実験的）
- Python 3.12 以上
- uv パッケージマネージャー
- TypeSafe API キー
すぐに始める
- リポジトリをクローンして移動します。
git clone https://github.com/awlevin/typesafe-computer-use
cd typesafe-computer-use
- Python パッケージをインストールします。
uv sync
- 環境設定ファイルをコピーして API キーを設定します。
cp .env.example .env
-
.env ファイルを編集して TYPESAFE_API_KEY と ANTHROPIC_API_KEY を入力します。
-
ターミナルで System Settings > Privacy & Security から Screen Recording と Accessibility の権限を Grant します。
-
ドライラン（実行なし）で動作確認します。
uv run clicker "open the Playground"
- 実際に操作を実行する場合は --act フラグを追加します。
uv run clicker "open the Playground" --act
ギット飯トライで味見
入れるのが面倒で少し不安だったなら — 安全スキャンからインストールまで、ターミナル一行で終わります。
ターミナルに貼り付ければ、ギット飯の安全スキャン → 隔離フォルダへ clone → インストール → 実行方法の案内まで自動です。はじめてでも大丈夫 — この一行だけです。
npx gitbap-try awlevin/typesafe-computer-use
Node.js さえあれば、インストールなしで動きます · ギット飯トライとは？ →
スター推移 · 7日
確認日時
使いやすさ · まねしやすいか
- ゆるいライセンス
- テストあり
- サンプル集
- 最近の更新
- AGENTS.md
- llms.txt
- テンプレート
最近の更新あり · 2026 年に作成
「AI エージェント」 こういうリポジトリを毎週受け取りませんか？
毎週月曜の朝、選んだ一膳だけ。広告なし · いつでも解除。
自分のリポジトリですか？ README にギット飯バッジを貼る
[](https://www.gitbap.com/r/awlevin/typesafe-computer-use)Claude からそのまま使う — ギット飯のつなぎ方
ギット飯を Claude につなぐと、こうしたリポジトリを Claude・Cursor・Codex から直接さがして試せます。
Claude の設定 → コネクタにこのアドレスを貼り付け。
https://www.gitbap.com/api/mcpプラグインを入れると /gitbap-trending·/gitbap-try のスラッシュコマンドで、その場でリポジトリを試せます。Claude Code で下の 2 行を順に実行してください。
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI が README をもとに要約しました · 原文を見る