語音代理延遲不能只看 TTFT：首句時間才接近使用者感受
語音代理延遲不能只看 TTFT：首句時間才接近使用者感受
事件事實
MarkTechPost 的 2026 年 8 月基準整理語音與即時代理的推理 API，將 TTFT（time to first token）放在核心位置，同時提醒它不等於使用者聽到聲音的時間。文章引用 Artificial Analysis 的 10K 輸入 token、72 小時中位數資料，列出 Baseten gpt-oss-120b 約 0.23 秒、Cerebras gpt-oss-120b 約 0.49 秒等數字，也分開討論 STT、LLM、TTS 和 speech-to-speech。
研究判讀
獨立的 llmlatency.dev 測量指出，TTFT 仍會混入網路與服務端排隊，且模型大小、地區和請求負載會改變排名；Finn 的實際電話測試則把 VAD、STT 收尾、TTS 首位元組、抖動緩衝及插話恢復納入，顯示端到端 P50 可超過一秒，P90／P99 更高。對語音代理來說，第一個 token 到達不代表第一個完整句子已可播放，TTFS（time to first sentence）和可打斷性更貼近體驗。
影響與限制
選擇供應商前應固定地區、輸入長度、推理模式和網路路徑，分別記錄 TTFT、TTFB、首音訊時間、P95／P99 及 barge-in recovery。供應商宣稱的模型推理毫秒數不應與實際 mouth-to-ear 延遲直接比較。這些公開基準由不同作者和方法組成，適合作為候選清單與測試設計參考，不是可永久沿用的排行榜。