Cerebras 發表 CS-4：把超大模型推理的瓶頸放在互連而非單顆晶片
Cerebras 發表 CS-4：把超大模型推理的瓶頸放在互連而非單顆晶片
Cerebras 於 8 月 18 日發表 CS-4 推理係統。公司表示，這套機架級係統由三片 Wafer Scale Engine 3 Turbo 組成，目標是服務超過 10 兆參數的模型；在其所述配置下，輸出速度可超過每秒 1,000 個 token。Cerebras 同時稱，CS-4 的晶圓間延遲最低可達 2 微秒，並提供 RoCE v2 與 Direct Wafer Links 兩種擴展方式。
這項發表的重點不只在單一規格數字，而在於它針對大模型推理的係統設計。模型跨越多個加速器時，層與層之間要頻繁交換資料；即使單卡算力很高，互連延遲和頻寬仍可能拉長使用者等待第一個 token 與完整回覆的時間。Cerebras 的晶圓級架構試圖以大面積的單一運算元件，以及更短的晶圓間鏈路，減少這類協調成本。這與以大量 GPU 透過網路互連的常見路線不同，但也讓部署、採購與軟體相容性成為評估重點。
公司宣稱的「最高 30 倍」GPU 優勢與逾 1,000 token/s 等數據，應視為特定模型、提示、批次與係統配置下的供應商主張，而非所有工作負載的通用結論。Cerebras 在公告中也註明，比較結果可能隨模型與設定改變。值得參考的是，VentureBeat 先前報導 Cerebras 執行 Kimi K2.6 時，引用 Artificial Analysis 對接近 1,000 token/s 的量測；這能為其高速推理方向提供外部脈絡，但並不是對 CS-4 全部宣稱的獨立驗證。
對需要低延遲互動的程式代理、即時搜尋、客服與推理型工作流而言，若能穩定縮短每次模型呼叫時間，便可能降低長鏈任務的累積等待。不過團隊在評估時仍應以自身模型、上下文長度、併發量、成本與可用區域進行實測，並將供應商基準與可重現的第三方測試分開看待。