Storyteller 以 CTC Viterbi 改善有聲書逐詞同步
Storyteller 以 CTC Viterbi 改善有聲書逐詞同步
事件事實
Storyteller 開發者 smoores 分享了重新實作強制對齊演演算法的過程。系統先用 Whisper 類語音轉錄取得逐幀輸出，再以模糊搜尋定位章節和句子，最後用 CTC Viterbi 動態規劃找出文字在音訊中的起止時間，並寫入 EPUB Media Overlay。新流程可支援更細的單字級高亮，讓電子書文字隨旁白逐步同步。
研究判讀
官方檔案和 GitLab merge request 顯示，逐詞標記不只是把句子切得更細：它需要在不破壞原有 HTML 標籤、連結和樣式的前提下，為文字包裝識別節點。CTC 對齊依賴每 20 毫秒音訊幀及模型的 token 機率，Viterbi 以動態規劃降低窮舉成本。這是把語音模型、字串匹配和 EPUB 標準串起來的工程改進，而非單一模型分數的宣傳。
影響與限制
閱讀障礙者、語言學習者和自託管閱讀服務可從更細緻的同步得到好處，但錯誤轉錄、旁白與書本文字不一致，仍會造成漏配或時間偏移。Storyteller 檔案也提醒，過多的 word-level Media Overlay 可能令部分閱讀器解析緩慢甚至崩潰。部署前應用實際書籍和裝置測試，保留句子級模式作為退路。