Slotstream：以 SSD 串流讓 48GB Mac 嘗試 104GB Qwen 模型
Slotstream：以 SSD 串流讓 48GB Mac 嘗試 104GB Qwen 模型
事件事實
開源專案 Slotstream 以 MLX 與 Swift 建立 Mac 原生推理工具，目標是在記憶體放不下完整權重時，從 SSD 串流 Qwen3.8-Flash-Next 的專家層。專案 README 稱該 4-bit MoE 模型約 104GB、主模型 125B 引數；在一部 48GB M5 Pro 上，暖機生成約 12 token/秒、峰值記憶體約 32GB。16GB、24GB 和 32GB 機器的速度數字則是根據曲線估算，不是逐臺實測。工具提供 Ollama 和 OpenAI 相容 API，也會在下載前檢查磁碟空間與記憶體計畫。
研究判讀
Hacker News 外部整理與專案作者的公開說明互相印證了「專家解除安裝 + SSD 串流」的工作方式，但沒有獨立實驗室對速度、輸出品質或長時間穩定性做完整重現。這項工作的價值在於把模型可否執行的瓶頸從 RAM 容量轉移到 SSD 頻寬、快取命中率和功耗；它不是讓 16GB Mac 變成高吞吐量伺服器。作者也明確標示只有 48GB 那一列是真機測量，其他數字應視為規劃參考。
對本地 AI 使用者的影響
若要試用，先預留至少約 110GB 磁碟並接受長提示的首 token 延遲，再用自己的程式碼、上下文長度和溫度設定測量。SSD 串流會增加讀取量與耗電，長時間 agent 迴圈未必比小型模型或雲端 API 划算。企業應把模型權重、快取和請求內容視為敏感資料，限制本機服務的網路暴露，並比較 omlx、llama.cpp 等替代方案後再決定是否採用。