在 CPU 上執行串流語音轉文字：將 NVIDIA Nemotron 整合至桌面應用程式

串流語音轉文字不必等待錄音結束，而是在你說話時同步轉錄。從版本1.7.6開始，OpenWhispr完全在裝置端完成這項工作：NVIDIA Nemotron 串流模型（600M參數、INT8量化）透過本機sherpa-onnx WebSocket伺服器在CPU上執行；部分結果抵達時聽寫預覽會即時更新，停止時則立即將串流文字提交為正式轉錄。 不需 GPU、不需 Python 環境，音訊也不會離開裝置。

本文記錄具體工程實作：舊版即時預覽為何遲緩、快取感知串流究竟是什麼、整套管線如何放入Electron應用程式、版本鎖定錯誤為何造成全面誤解碼，以及我們如何從每次重新解碼整段錄音，改為直接提交串流。模型之間的比較請參閱 Parakeet vs Whisper vs Nemotron。

最後更新於2026年7月18日。實作細節對應 OpenWhispr 1.7.6 發布的串流轉錄功能；文中內容都可在開放原始碼儲存庫中查核。

• Nemotron 的 cache-aware FastConformer 只處理新增音訊，並重複使用快取的編碼器內容， 執行時可將區塊大小設定為80ms到1.12s。 Nemotron Streaming EN 模型卡 · NVIDIA 對快取感知串流的說明
• 英語模型以1.12s區塊串流執行時，平均WER為6.93%； 多語言3.5模型支援40種語言與地區組合，並可自動偵測。 Nemotron 3.5 ASR 模型卡
• 所有推論都透過 sherpa-onnx 完成；它是不依賴 Python 的原生 ONNX 執行環境， 我們使用其online（串流）WebSocket伺服器，並鎖定和打包版本1.13.4。 GitHub 上的 sherpa-onnx
• INT8 ONNX模型在磁碟上分別占632MB（英語）和650MB（多語言）， 只需下載一次，之後保存在本機快取中。 OpenWhispr 模型登錄檔（開放原始碼） · OpenWhispr 模型頁面

OpenWhispr一直都有轉錄預覽：聽寫時用一個小視窗顯示模型聽到的內容。1.7.6之前，我們採用讓批次模型看起來即時的唯一辦法：緩衝約1.5秒麥克風音訊、完整轉錄該區塊、附加文字，然後重複。

這種方式有三個結構性問題。第一是延遲：緩衝區填滿前文字無法出現，因此預覽總會落後1.5秒加上推論時間。第二是邊界：跨越兩個區塊的單字會被切斷，而區塊各自轉錄，雙方都無法修正。第三是上下文：第五塊不知道第四塊說了什麼，模型每1.5秒都要重新判斷同一類歧義。

縮短區塊會顯得更快，卻因上下文減少、邊界增加而大幅降低準確率。重疊區塊能修復邊界，卻要重複轉錄同一段音訊。真正需要的是為轉錄音訊串流而訓練的模型，這就是Nemotron。

快取感知串流模型會在區塊之間保留內部狀態。 下一段音訊抵達時，編碼器不會重讀先前全部語音，只處理新影格，並查詢已計算上下文的快取。它和讓聊天機器人更快的KV快取原理相同，只是套用在語音編碼器上。

這種設計帶來兩個結果。計算量不再隨錄音長度成長：無論錄到10秒或10分鐘，每塊成本都一樣，因此純CPU串流處理成為可能。上下文也會延續：模型利用先前全部語音解決歧義，後續音訊提供新證據時會修正較早的詞。文字在你說完後稍微「穩定」一下，不是故障，而是模型用更充分的依據修正判斷。

延遲預算可以調整。Nemotron提供80ms（最快，每步上下文最少）到1.12s（準確率最高，在leaderboard資料集上平均6.93% WER，與最佳批次模型相差約一個百分點）的區塊。訓練採用NVIDIA cache-aware FastConformer和transducer解碼器；其 工程文章 深入說明了相關原理。

管線刻意保持簡單。AudioWorklet以16kHz擷取麥克風PCM，將影格轉換為float32傳輸格式，再透過WebSocket推送至sherpa-onnx online伺服器。OpenWhispr在本機啟動這個原生二進位，並透過127.0.0.1通訊，每次錄音維持一條長連線。伺服器以INT8權重執行Nemotron並傳回JSON部分結果；預覽視窗會原地取代全文，而不是不斷附加。

為何採用獨立伺服器程序，而不是在程序內推論？為了隔離。原生推論執行環境可能當機；ONNX核心一次錯誤的記憶體配置不該拖垮整個桌面應用程式。輔助程序當機只需重新連線，不會丟失聽寫。它也讓原生程式碼完全離開Electron主程序：應用程式負責通訊協定，輔助程序負責運算。

同一模式也用於我們的 本機說話者分離 ——一套sherpa-onnx工具鏈，多種工作，全都在裝置端完成。

執行環境版本比預想更重要。 Nemotron需要sherpa-onnx 1.13.4或更新版本才能準確解碼。在為Parakeet打包的舊版執行環境上，它不會明顯報錯，而是直接產生錯誤轉錄。修正很普通：升級並重新鎖定各平台二進位。普遍教訓是，對模型執行環境而言，「能執行」與「結果正確」是兩項測試，只有後者算數。

串流會失敗，所以舊路徑必須保留。 連接埠可能被占用、模型檔案可能遺失，伺服器也可能在錄音中結束。若長連線無法啟動，預覽會自動退回緩衝區塊路徑——較慢，但不會空白。offline模型（Parakeet、Whisper）原本就保留分塊預覽；登錄檔中的每個模型宣告執行環境為online或offline，應用程式據此選擇。

部分結果需要不同的呈現方式。 分塊路徑附加文字，串流假設卻會自行修正，因此UI在每個部分結果抵達時取代整段預覽。若把會改變的假設不斷附加，就會產生斷續的重複文字——這是我們很早修復的真實UX問題。

第一版只把串流結果當成預覽：停止聽寫後，應用程式會從頭重新解碼完整錄音，並貼上那份結果。這樣很穩妥，因為最終處理能看到完整上下文；但每次聽寫都要付出兩次解碼的成本，而且你已看著文字穩定下來，仍得等待幾乎總是相同的第二意見。

因此我們在同一版本中把串流設為真實來源。無論預覽視窗是否開啟，聽寫都會走長連線；停止時，應用程式清空模型尾端，直接提交串流文字，不再進行第二次解碼。結束延遲只剩一次尾端清空，每次聽寫的CPU成本約減半。

安全網沒有消失，而是成為備援機制。停止清空會感知截斷，只要結果仍在抵達便延長期限。若連線中斷或結果被截斷，應用程式會捨棄串流，改用傳統的「先錄音、後轉錄」方式處理完整錄音。只有同時快速且正確時才會走快速路徑。

• 模型： Nemotron Speech Streaming EN 0.6B（632MB）和Nemotron 3.5 ASR Streaming 0.6B（650MB、15種可轉錄語言、自動偵測）——INT8 ONNX，只下載一次並在本機快取。
• 執行環境： sherpa-onnx 1.13.4，自包含的原生二進位。不需Python、PyTorch或CUDA。
• 硬體： 現代筆電CPU可即時處理；Apple Silicon和較新的x86都能輕鬆跟上說話速度。
• 體感： 部分文字落後語音遠不到1秒；停止時一次尾端清空即可提交轉錄，不需再次解碼。

這條路徑完全不接觸網際網路。應用程式透過127.0.0.1與伺服器通訊（Windows上另以限定範圍的防火牆規則阻止網路存取該連接埠），模型檔案位於本機快取，音訊從不離開裝置。這與 我們的本機轉錄架構其餘部分採用相同的隱私標準。

• 串流處理以少量準確率換取即時性。 在相同基準上，串流約為~6.9%，NVIDIA最佳英語批次模型為5.91%。現在正式轉錄來自串流，因此這確實是一項取捨。若只在意最終結果，offline Parakeet仍是準確率較高的選擇。
• 語言涵蓋範圍小於Whisper。 多語言模型有15種可直接轉錄語言，Whisper則有99種。華語和泰語串流目前尚未提供。
• 部分文字會改變。 假設會隨上下文修正。我們認為看著它逐漸穩定是一項優點；若覺得分心，可關閉預覽，聽寫仍和以前完全相同。
• 磁碟會再占用650MB 如果已安裝offline模型，這就是為不同工作最佳化第二套引擎的代價。

這些模型都可在「設定」的下拉選單中選取；完整的容量與取捨資訊請見 模型頁面。OpenWhispr免費、開放原始碼，並支援macOS、Windows與Linux。