開源推論引擎 Strata 釋出 支援消費級電腦運行千億參數 MoE 模型
發布時間:
開發者 Niko1221 於 GitHub 以 MIT 授權釋出開源本機推論引擎專案 Strata,至 9 月底已更新至 v0.1.20 版,累計獲得約 1.4 萬顆星標。該專案主打將參數量約 1,250 億、具備 24,576 個專家的 Qwen3.8-Flash-Next 混合專家(MoE)模型拆分至消費級硬體運行,讓一般個人電腦也能在本機執行對話、程式撰寫與影像辨識等任務。
github:
https://github.com/Niko1221/Strata/blob/main/README.zh-CN.md
在運作架構上,Strata 設計為每個 token 僅啟動約 10 個專家。在 12GB 顯示記憶體環境下,常用專家由 GPU 快取,容量約每 GB 顯存容納 700 個;其餘專家則釘選於系統記憶體,並透過 CPU 的 AVX-512 或 AVX2 指令集進行運算,SSD 則存放 28.8GB 的 n-gram 表供檢索。推論時採用 MTP 層預先起草最多 3 個 token,交由主模型一次核對,每輪平均產出 2.4 至 3.2 個 token;長上下文支援最多 8,192 token 分段處理,KV 快取預設保留最常讀取的 64K,其餘資料流經系統記憶體。

硬體需求方面,顯卡支援 NVIDIA RTX 20 至 50 系列、部分 AMD RX 6000、7000、9000 系列及 Radeon AI PRO R9700,顯存門檻為 12GB 起;系統記憶體建議 32GB 起,完整選項建議 64GB,最大量化版本則需 96GB 以上,磁碟需約 80GB SSD 空間。作業系統相容 Windows 10、11 與 Linux,但 AMD Windows 版本目前尚未支援看圖功能。軟體端預設監聽本機 8080 埠,相容 OpenAI 與 Anthropic API 格式,可供 Claude Code 經 /v1/messages 以及 Codex 經 /v1/responses 串接呼叫。模型版本方面,削減一半專家的 Coder 量化版對應 32GB 記憶體,IQ2_XS 需 48GB,IQ3_S 則建議 64GB 以上。

針對執行效能,專案作者公布自測數據指出,在 RTX 5070(12GB)搭配 Ryzen 5 7600 及 64GB 記憶體環境下,Q2_0 生成速度約 94 token/s、提示處理約 2,650 token/s,Coder 版生成約 55 token/s;AMD RX 9070 XT(16GB)配 Ryzen 9 3900X 及 47GB 記憶體,Q2_0 生成速度約 60 token/s。作者預估 24GB RTX 3090 生成速度約每秒 100 至 140 token,並稱程式碼重複上下文可使改寫程式速度再提升 6% 至 11%。作者另引述 ISTA-DASLab 評測主張,Coder 版在 SWE-bench Verified 保留完整模型約 91% 能力、LiveCodeBench 保留約 99%,但非程式任務與包含中日韓文字的表現相對較弱;上述測試數據目前皆屬作者自測或引述主張,非第三方獨立複測。
讓你的AI幫你裝
如果有使用 Claude Code、Cursor、Codex、GitHub Copilot 等 AI agent 工具,可以直接給下面的指令就可自動安裝:
Set up Strata on this PC for me: https://github.com/Niko1221/Strata - follow docs/AI_SETUP.md in that repository.它會檢查你的顯示卡、記憶體和硬碟,選擇合適的模型。然後安裝並啟動它,再告訴你如何連接你的應用程式。 AI工具也可以透過Strata的MCP伺服器來安裝、停止Strata。


