個人のGPUで321Bパラメータの大規模言語モデルを実行するローカル推論エンジン。
中辛 の解説
321Bパラメータのモデルを個人のGPUで実行し、クラウドに頼らないAI推論環境を実現します。VRAM・RAM・SSDを自動検出し、階層的に配置することでGPUメモリより大きなモデルを効率的に動かせます。
インストールは./setup.shで自動化されており、ダウンロード（モデルサイズ 96.5～156.3 GB）と 20～40 分のビルドの後、http://127.0.0.1:8080 でブラウザチャット・OpenAI互換API・画像認識などが利用可能になります。複数の会話リクエストを並列処理でき、APIキーで複数ユーザーのアクセスにも対応できます。
実測速度は 4x RTX 4090 で毎秒118トークン、RTX PRO 6000 で81トークン、RTX 5090 単体で 30 トークン以上です。Linux（CUDA 12.x）または Windows（実験的）、32GB以上のRAM、高速NVMe SSDが必須です。
こんなリポジトリです
こんなときに便利です
- プライバシー重視のユーザーがクラウド送信を避けて、個人のGPU上で321Bパラメータの大規模言語モデルを完全ローカル実行する。
- 開発者がOpenAI互換APIを活用して複数のAIエージェント（コード生成・文書処理など）をローカルで並列実行し、レーテンシーを最小化する。
- 複数GPUをまとめてAPIサーバーとして公開し、チーム内のユーザーから安全にアクセス可能なプライベート推論インフラを構築する。
主な機能
ほかとの違い
Mixture of Experts型モデル専用に設計されたメモリ階層管理により、個人用GPUで321Bパラメータの超大規模モデルを効率的に実行します。
このリポジトリの作り方
はじめてですか？ むずかしくありません — 上から順にたどれば、自分の環境で動かして味見できます。
準備するもの
- NVIDIA GPU（V100以降、計算能力7.0以上）、または AMD GPU（RX 7900、Radeon AI PRO、Strix Halo、Gorgon Halo など、実験的サポート）
- システムRAM 32GB以上
- 高速NVMe SSD で100～160GB以上の空き容量
- Linux（x86-64）と CUDA 12.x以上、または Windows 10/11（実験的サポート）
- g++、Python 3.10以上
すぐに始める
- リポジトリをクローンしてディレクトリに移動します。
git clone https://github.com/mw00/project-maya.git && cd project-maya
- セットアップスクリプトを実行します。
./setup.sh
-
セットアップウィザードで表示される質問に答えます。Enterキーで推奨値が選択できます。
-
ダウンロードとビルドが完了するまで待ちます（20～40 分 + モデルダウンロード時間）。スクリプトが自動的にモデルを起動します。
-
ブラウザで http://127.0.0.1:8080 を開きます。
Windows 代替: ステップ2で./setup.shの代わりにSTART-MAYA.batを実行してください。詳細は docs/WINDOWS.md を参照してください。
AMD GPU: docs/AMD_MAYA.md の指示に従ってセットアップしてください。
ギット飯トライで味見
入れるのが面倒で少し不安だったなら — 安全スキャンからインストールまで、ターミナル一行で終わります。
ターミナルに貼り付ければ、ギット飯の安全スキャン → 隔離フォルダへ clone → インストール → 実行方法の案内まで自動です。はじめてでも大丈夫 — この一行だけです。
npx gitbap-try mw00/project-maya
Node.js さえあれば、インストールなしで動きます · ギット飯トライとは？ →
スター推移 · 7日
確認日時
使いやすさ · まねしやすいか
- ゆるいライセンス
- テストあり
- サンプル集
- 最近の更新
- AGENTS.md
- llms.txt
- テンプレート
最近の更新あり · 2026 年に作成
「LLM ツール・RAG」 こういうリポジトリを毎週受け取りませんか？
毎週月曜の朝、選んだ一膳だけ。広告なし · いつでも解除。
自分のリポジトリですか？ README にギット飯バッジを貼る
[](https://www.gitbap.com/r/mw00/project-maya)Claude からそのまま使う — ギット飯のつなぎ方
ギット飯を Claude につなぐと、こうしたリポジトリを Claude・Cursor・Codex から直接さがして試せます。
Claude の設定 → コネクタにこのアドレスを貼り付け。
https://www.gitbap.com/api/mcpプラグインを入れると /gitbap-trending·/gitbap-try のスラッシュコマンドで、その場でリポジトリを試せます。Claude Code で下の 2 行を順に実行してください。
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI が README をもとに要約しました · 原文を見る