Apple Siliconで大規模言語モデルをストリーミング実行するSwiftバイナリ
中辛 の解説
スタック: Swift・MLX・Metal・Apple Silicon。難易度: 中程度。すぐに使える: はい。デモ: slotstream run --prompt "why is the sky blue?" で即座にテスト可能、またはサーバーモード slotstream serve でローカルAPI提供。48GB MacBook Proで約12トークン/秒の温度解読、エンジン起動は約2秒、ピークメモリ32GB。
こんなリポジトリです
こんなときに便利です
- 48GBメモリのMacBook Proで125BパラメータモデルをM5 Proと同等速度(約12トークン/秒)で実行したい場合
- OpenAI SDK互換のローカルLLMサーバーを構築し、既存のツールやクライアントを変更せずに利用したい場合
- 専門家層をSSDからストリーミング読み込みすることで、メモリ不足時のスワップを回避し、スムーズな生成を実現したい場合
主な機能
ほかとの違い
混合専門家モデルの専門家層をSSDからストリーミングする仕組みをApple Siliconの統一メモリ前提で実装し、llama.cppなど複数モデル対応ツールと異なりQwen3.8-Flash-Next特化の高速化を実現しています。
このリポジトリの作り方
はじめてですか？ むずかしくありません — 上から順にたどれば、自分の環境で動かして味見できます。
準備するもの
- Apple Silicon搭載Mac
- macOS 14以上
- 約110GBのディスク空き領域(最低512GB SSD推奨)
すぐに始める
- インストールスクリプトを実行する
curl -fsSL https://raw.githubusercontent.com/carloslfu/slotstream/main/install.sh | sh
- マシンの対応状況を確認する
slotstream doctor
- 重み(105GB)をダウンロードする
slotstream pull
- 即座にテスト実行する
slotstream run --prompt "why is the sky blue?"
- サーバーモードを起動する
slotstream serve
- 別ターミナルでAPIリクエストを送信する
curl localhost:11434/api/chat -d '{
"model": "qwen3.8-flash-next:4bit",
"messages": [{"role": "user", "content": "hello"}]
}'
ギット飯トライで味見
入れるのが面倒で少し不安だったなら — 安全スキャンからインストールまで、ターミナル一行で終わります。
ターミナルに貼り付ければ、ギット飯の安全スキャン → 隔離フォルダへ clone → インストール → 実行方法の案内まで自動です。はじめてでも大丈夫 — この一行だけです。
npx gitbap-try carloslfu/slotstream
Node.js さえあれば、インストールなしで動きます · ギット飯トライとは？ →
スター推移 · 7日
確認日時
使いやすさ · まねしやすいか
- ゆるいライセンス
- テストあり
- サンプル集
- 最近の更新
- AGENTS.md
- llms.txt
- テンプレート
最近の更新あり · 2026 年に作成
「LLM ツール・RAG」 こういうリポジトリを毎週受け取りませんか？
毎週月曜の朝、選んだ一膳だけ。広告なし · いつでも解除。
自分のリポジトリですか？ README にギット飯バッジを貼る
[](https://www.gitbap.com/r/carloslfu/slotstream)Claude からそのまま使う — ギット飯のつなぎ方
ギット飯を Claude につなぐと、こうしたリポジトリを Claude・Cursor・Codex から直接さがして試せます。
Claude の設定 → コネクタにこのアドレスを貼り付け。
https://www.gitbap.com/api/mcpプラグインを入れると /gitbap-trending·/gitbap-try のスラッシュコマンドで、その場でリポジトリを試せます。Claude Code で下の 2 行を順に実行してください。
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI が README をもとに要約しました · 原文を見る