開源推論引擎 Strata 釋出 支援消費級電腦運行千億參數 MoE 模型



開發者 Niko1221 於 GitHub 以 MIT 授權釋出開源本機推論引擎專案 Strata,至 9 月底已更新至 v0.1.20 版,累計獲得約 1.4 萬顆星標。該專案主打將參數量約 1,250 億、具備 24,576 個專家的 Qwen3.8-Flash-Next 混合專家(MoE)模型拆分至消費級硬體運行,讓一般個人電腦也能在本機執行對話、程式撰寫與影像辨識等任務。

github:
https://github.com/Niko1221/Strata/blob/main/README.zh-CN.md

在運作架構上,Strata 設計為每個 token 僅啟動約 10 個專家。在 12GB 顯示記憶體環境下,常用專家由 GPU 快取,容量約每 GB 顯存容納 700 個;其餘專家則釘選於系統記憶體,並透過 CPU 的 AVX-512 或 AVX2 指令集進行運算,SSD 則存放 28.8GB 的 n-gram 表供檢索。推論時採用 MTP 層預先起草最多 3 個 token,交由主模型一次核對,每輪平均產出 2.4 至 3.2 個 token;長上下文支援最多 8,192 token 分段處理,KV 快取預設保留最常讀取的 64K,其餘資料流經系統記憶體。


硬體需求方面,顯卡支援 NVIDIA RTX 20 至 50 系列、部分 AMD RX 6000、7000、9000 系列及 Radeon AI PRO R9700,顯存門檻為 12GB 起;系統記憶體建議 32GB 起,完整選項建議 64GB,最大量化版本則需 96GB 以上,磁碟需約 80GB SSD 空間。作業系統相容 Windows 10、11 與 Linux,但 AMD Windows 版本目前尚未支援看圖功能。軟體端預設監聽本機 8080 埠,相容 OpenAI 與 Anthropic API 格式,可供 Claude Code 經 /v1/messages 以及 Codex 經 /v1/responses 串接呼叫。模型版本方面,削減一半專家的 Coder 量化版對應 32GB 記憶體,IQ2_XS 需 48GB,IQ3_S 則建議 64GB 以上。


針對執行效能,專案作者公布自測數據指出,在 RTX 5070(12GB)搭配 Ryzen 5 7600 及 64GB 記憶體環境下,Q2_0 生成速度約 94 token/s、提示處理約 2,650 token/s,Coder 版生成約 55 token/s;AMD RX 9070 XT(16GB)配 Ryzen 9 3900X 及 47GB 記憶體,Q2_0 生成速度約 60 token/s。作者預估 24GB RTX 3090 生成速度約每秒 100 至 140 token,並稱程式碼重複上下文可使改寫程式速度再提升 6% 至 11%。作者另引述 ISTA-DASLab 評測主張,Coder 版在 SWE-bench Verified 保留完整模型約 91% 能力、LiveCodeBench 保留約 99%,但非程式任務與包含中日韓文字的表現相對較弱;上述測試數據目前皆屬作者自測或引述主張,非第三方獨立複測。

讓你的AI幫你裝
如果有使用 Claude Code、Cursor、Codex、GitHub Copilot 等 AI agent 工具,可以直接給下面的指令就可自動安裝:

Set up Strata on this PC for me: https://github.com/Niko1221/Strata - follow docs/AI_SETUP.md in that repository.

它會檢查你的顯示卡、記憶體和硬碟,選擇合適的模型。然後安裝並啟動它,再告訴你如何連接你的應用程式。 AI工具也可以透過Strata的MCP伺服器來安裝、停止Strata。


相關文章:

⊙ [「擇法善思林之蘭室藏津」的緣起]
⊙ 棒球迷福利來了!參加台中線上許願有機會收集大聯盟球星李灝宇簽名球
⊙ 獨家》洋洋連線!「台北大洋流」港湖車掃16:30開始 李洋將驚喜現身
⊙ 現身高雄「南北隆洋」應援大會 劉世芳:讓高雄的「風」吹到台北
⊙ 【第二十二屆林榮三文學獎頒獎典禮】散文獎決審阿盛:你以為散文很簡單,其實不好寫
⊙ 桌球》郭冠宏日本T聯賽首秀開紅盤!力克43歲名將郝帥助琉球隊奪勝
⊙ 【第二十二屆林榮三文學獎】新詩獎三獎葉恩旭:帶著記憶駛過迫近的風景
⊙ 火力全開批這柯 陳其邁:有人還沒當選就急著蓋辦公室?
⊙ 細數蘇巧慧政績 卓榮泰突拿「模仿」飆金句:蔣萬安總幹事是沈伯洋
⊙ 國王的新衣?江啟臣推藍線車廂造勢 網瘋問「我到底看了什麼」
⊙ 中職》觀眾驚呼!桃園交流賽導入新制度 樂天打者不知所措
⊙ 現在就差你那1票!徐國勇催票:11/28讓我大喊「好佳哉」
⊙ 【第二十二屆林榮三文學獎頒獎典禮】新詩獎決審洪淑苓:寫詩是與自己對話,為生活留下一絲光亮
⊙ 亞冠賽》首戰對日本扛先發重任? 林子崴霸氣喊話!
⊙ 沈伯洋港湖車掃人潮擠爆大湖公園 小水滴訂製小風車、飄帶發放
⊙ 49歲陳珮騏「已停經半年」親揭身體異狀 喊話:老天爺跟我開玩笑
⊙ [擇法善思林之蘭室藏津]