Whisper AI 運作原理：完整指南

Whisper 是 OpenAI 開發的自動語音辨識（ASR）模型。它於 2022 年 9 月發布，是一套通用語音辨識系統，以從網際網路蒐集的 68 萬小時多語言音訊資料訓練而成。Whisper 採用編碼器—解碼器 Transformer 架構，將音訊轉換為對數梅爾頻譜圖，透過神經網路編碼器處理，再以自迴歸方式解碼出文字 token。它支援 99 種語言的轉錄、翻譯成英文、語言辨識，以及時間戳預測——全部整合在單一統一模型中。與大多數商用 ASR 服務不同，Whisper 的權重在 MIT 授權下完全開源，催生出蓬勃發展的移植版本、最佳化方案與應用生態——其中包括 whisper.cpp，這個 C/C++ 實作讓 Whisper 得以實現即時、裝置端的語音辨識。

最後更新：2026 年 2 月 17 日。本文中的量化陳述均經過至少兩個原始來源交叉查證。

• Whisper 發布、訓練規模與授權： OpenAI 於 2022 年 9 月發布 Whisper，以 68 萬小時資料訓練，採用 MIT 授權。 arXiv 論文 · OpenAI Whisper 程式庫
• 任務範圍與語言支援： Whisper 支援轉錄、翻譯成英文、語言辨識，以及橫跨 99 種語言的時間戳 token。 Whisper 模型卡 · Whisper README
• 英文基準背景： 約 3% 的 WER 是在 LibriSpeech test-clean 上針對英文評估的基準數字，並非通用的真實世界錯誤率。 large-v2 模型卡 · 基準細節
• 近期模型更新： large-v3 在多種語言上的錯誤率低於 large-v2，而 turbo 則著重於更低延遲與更小的解碼器運算量。 large-v3 模型卡 · turbo 發布討論
• 與 OpenWhispr 的關聯： OpenWhispr 透過 whisper.cpp 使用 Whisper，在各桌面平台上提供本機、離線優先的口述聽寫。 whisper.cpp · OpenWhispr

Whisper 由 OpenAI 的 Alec Radford、Jong Wook Kim、Tao Xu、Greg Brockman、Christine McLeavey 與 Ilya Sutskever 在論文 《Robust Speech Recognition via Large-Scale Weak Supervision》中提出。程式碼與模型權重於 2022 年 9 月在 GitHub 上以 MIT 授權發布。

在 Whisper 之前，最先進的語音辨識系統通常以經過篩選、由人工標註的資料集訓練——往往侷限於特定語言、口音或領域。Whisper 打破了這種做法，改以一個龐大、多元的資料集進行訓練：68 萬小時的音訊，搭配從網際網路擷取的逐字稿。關鍵洞見在於，這種「弱監督」方法——使用不完美的、由機器生成或使用者上傳的逐字稿，而非人工標註的資料——能夠造就一個在語言、口音、背景噪音與專業術語上都具有卓越穩健性的模型。

成果是一個能處理多種語音任務的單一模型：轉錄（將語音轉成同一語言的文字）、翻譯（將任何語言的語音轉成英文）、語言辨識，以及帶時間戳的語音活動偵測。這種多任務能力透過一套指定要執行哪項任務的特殊 token，內建於模型架構之中。

Whisper 的開源發布意義重大。它讓高品質的 ASR 得以普及，使開發者、研究人員與企業都能使用一個足以與商用 API 匹敵的模型——不必按分鐘計費、不必把音訊送往雲端，也不必受制於特定廠商。這促成了 whisper.cpp、Faster Whisper 等工具，以及數十款以它們為基礎打造的應用——其中也包括 OpenWhispr。

Whisper 採用編碼器—解碼器 Transformer 架構——這與原始 Transformer（Vaswani 等人，2017）以及許多機器翻譯系統背後的根本設計相同。編碼器處理音訊，解碼器生成文字。以下說明每個階段的運作方式。

原始的 Whisper 模型（從 tiny 到 large-v2）以 68 萬小時的音訊搭配從網際網路蒐集的逐字稿訓練而成。這個資料集並未公開。其關鍵特性在於屬於弱監督——逐字稿標註並未經人工標註者逐一核實，而是來自字幕、隱藏式字幕以及其他與音訊配對的使用者生成文字等來源。

資料組成

根據官方模型卡，這 68 萬小時的訓練集細分如下：

嚴重的英文偏重（占訓練資料 65%）解釋了為何 Whisper 在英文上的表現明顯優於資源較少的語言。至於 2023 年 11 月發布的 large-v3 模型，OpenAI 將訓練集擴充至 100 萬小時的弱標註音訊，外加額外 400 萬小時的偽標註音訊——後者是透過讓 Whisper large-v2 處理未標註資料所生成，屬於一種自我訓練或知識蒸餾。

為何「弱監督」很重要

大多數早期的 ASR 系統以 LibriSpeech（960 小時）或 Common Voice（每種語言數千小時）這類資料集訓練——都是經過細心篩選、人工核實的資料集。Whisper 的做法是以標註品質換取單純的規模：68 萬小時，相對於傳統系統使用的數百到數千小時。論文證明這種取捨是值得的。來自網際網路的資料多元性，賦予 Whisper 對真實世界條件的卓越穩健性：背景噪音、重疊語音、口音、特定領域詞彙，以及那些會難倒以錄音室品質朗讀語音訓練之模型的聲學環境。

然而，弱監督也帶來一個已知限制：幻覺。由於訓練逐字稿並不完美，模型有時會生成聽起來合理、但實際上根本沒人說過的文字——尤其是在靜默或非常安靜的段落。這是這種方法固有的取捨，至今仍是積極改進的領域。

Whisper 提供多種尺寸，參數量從 3,900 萬到 15.5 億不等。較小的模型速度較快但準確度較低；較大的模型準確度較高，但需要更多運算與記憶體。.en 變體是純英文模型，對英文的表現往往較佳，尤其在較小的尺寸上更為明顯。large 模型沒有純英文變體。

速度相對於 large 模型而言。VRAM 需求為透過原始 Python 實作、以 fp16 精度進行 GPU 推論時的數值。whisper.cpp 使用的記憶體大幅減少（例如 large 模型只需約 3.9 GB RAM，而非約 10 GB VRAM）。

turbo 模型（2024 年 10 月發布）是 large-v3 的蒸餾版本，搭配大幅縮小的解碼器。它保留了 large-v3 的大部分準確度，同時執行速度約快 8 倍——使其在重視速度時成為絕佳選擇。請注意，turbo 不支援翻譯任務。

large 模型歷經三次迭代：large-v1（2022 年 9 月）、large-v2（2022 年 12 月）與 large-v3（2023 年 11 月）。每個版本都提升了準確度，large-v3 將梅爾頻率分箱從 80 增至 128，並以大得多的資料集訓練。若想詳細了解各尺寸的差異與如何選擇，請參閱我們的Whisper 模型尺寸指南。

Whisper 的準確度通常以詞錯誤率（WER）衡量——即被錯誤轉錄的字詞百分比（插入、刪除與替換的總和）。WER 越低越好。

英文基準

在 LibriSpeech test-clean——最廣泛使用的英文 ASR 基準，由有聲書中乾淨的朗讀語音組成——上，Whisper large-v2 達到約 3.0% 的 WER^[1][2]。這足以與商用 ASR 系統及專門訓練的模型匹敵，不過在 LibriSpeech 上微調過的特化模型，在該特定基準上可以達到更低的 WER。Whisper 的優勢不在於攻克狹隘的基準，而在於穩健性——在各種真實世界條件下都能維持穩定的優異表現。

large-v3 的改進

根據 OpenAI 的評估，在 Common Voice 15 與 Fleurs 評估資料集上錯誤率低於 60% 的語言中，Whisper large-v3 相較於 large-v2 展現出 10–20% 的錯誤率降幅^[2][3]。這些改進在非英文語言上尤其顯著，擴充後的訓練資料（共 500 萬小時）在那裡帶來最大的差異。

Whisper 的比較定位（2026 年 2 月）

自 Whisper 發布以來，較新的開源 ASR 模型已在乾淨語音基準上超越它。NVIDIA 的 Parakeet TDT（0.6B 參數）在 LibriSpeech test-clean 上達到 1.69% 的 WER，其 Canary 模型則達到 1.6% 的 WER——兩者都明顯低於 Whisper large-v3 的約 2.7%。不過，由於生態成熟、語言涵蓋廣泛，以及像 whisper.cpp 這類最佳化執行環境的存在，Whisper 仍是部署最廣泛的開源 ASR 模型。

註：商用雲端 API（Deepgram Nova-3、Google Chirp、AssemblyAI Universal-2）並未公布 LibriSpeech 的 WER 數字，因此無法在本圖表中直接比較。它們的基準採用專有的真實世界測試集。OpenAI 也於 2025 年 3 月發布了 GPT-4o-transcribe，作為僅供 API 使用的模型（非開源、非以 Whisper 為基礎），據稱錯誤率更低——但它僅限雲端，無法用於本機推論。

Whisper 的強項

• +對口音與方言的穩健性 ——以多元的網際網路音訊訓練，Whisper 在處理區域口音上勝過以朗讀語音訓練的系統。
• +對背景噪音的容忍度 ——即使在有音樂、其他說話者或環境噪音的情況下，模型仍能維持合理的準確度。
• +專業術語 ——得益於訓練資料的廣度，Whisper 在處理特定領域術語（醫療、法律、技術）上勝過許多通用 ASR 系統。
• +多語言能力 ——單一模型即支援 99 種語言，無需逐語言微調。

Whisper 的弱項

• -幻覺 ——最常被提及的問題。在靜默或非常安靜的段落，Whisper 可能生成從未被說出的文字。這是弱監督訓練方法的後果。
• -低資源語言 ——訓練資料稀少的語言（68 萬小時中大部分是英文）錯誤率明顯較高。
• -重複文字生成 ——自迴歸解碼器可能「卡」在迴圈中，反覆產生相同的短語。搭配特定參數的束搜尋可以緩解，但無法完全消除這個問題。
• -預設不支援即時處理 ——Whisper 處理 30 秒區塊，因此存在固有延遲。串流解決方案（如 whisper.cpp 的即時模式）能繞過這點，但會增加複雜度。

原始的 Whisper 實作需要 Python、PyTorch 與一張支援 CUDA 的 GPU 才能有合理效能。這使它在桌面應用、行動裝置與邊緣部署上難以實用。由 Georgi Gerganov 打造的 whisper.cpp 解決了這個問題。

whisper.cpp 是以純 C/C++、零相依套件對 Whisper 推論的完整重新實作。它讀取相同的模型權重，但無需 Python、無需 PyTorch，也無需 GPU 即可執行（不過有 GPU 會大幅受益）。主要特色包括：

• 零執行期記憶體配置 ——所有記憶體都預先配置，使效能可預測，並適合嵌入式系統。
• Apple Silicon 最佳化 ——在搭載 M 系列晶片的 Mac 上，編碼器可透過 Core ML 在 Apple Neural Engine 上執行，相較於純 CPU 執行可帶來超過 3 倍的推論加速。同時也支援 Metal GPU 加速以進行完整的 GPU 推論。
• 量化支援 ——模型可量化為 4-bit、5-bit 或 8-bit 整數精度，在準確度損失極小的情況下大幅降低記憶體用量並提升速度。
• GPU 加速 ——支援 NVIDIA CUDA（透過 cuBLAS）、Vulkan（跨廠商）、OpenVINO（Intel），以及用於 CPU 加速的 OpenBLAS。
• 語音活動偵測（VAD） ——內建 VAD 以跳過靜默片段，同時提升速度與逐字稿品質。

記憶體需求（whisper.cpp）

whisper.cpp 可在 macOS（Intel 與 Apple Silicon）、Linux、Windows、iOS、Android、FreeBSD、Raspberry Pi 上執行，甚至能透過 WebAssembly 在瀏覽器中執行。它在一般消費級硬體上就能達到快於即時的轉錄——包括 Raspberry Pi 4 與 iPhone 13 這類小型裝置。

正是這種可攜性，讓本機、私密的語音辨識變得實用。像 OpenWhispr 這樣的應用，底層便採用 whisper.cpp 來提供完全在使用者裝置上執行的即時按鍵口述聽寫——音訊永遠不會離開這台機器。

Whisper 存在於更廣闊的語音辨識系統版圖之中。以下是它與最常見替代方案的比較。

Whisper 結合了準確度、多語言支援與開源可得性，使其成為各式各樣應用的支柱：

1. [論文] Radford, A., Kim, J. W., Xu, T., Brockman, G., McLeavey, C., & Sutskever, I. (2022). Robust Speech Recognition via Large-Scale Weak Supervision. arXiv:2212.04356. arxiv.org/abs/2212.04356
2. [程式碼] OpenAI Whisper GitHub 程式庫。 github.com/openai/whisper
3. [程式碼] whisper.cpp——Georgi Gerganov 的 C/C++ 移植版。 github.com/ggml-org/whisper.cpp
4. [模型卡] Hugging Face 上的 Whisper large-v2（WER 基準：LibriSpeech test-clean 約 3.0%）。 huggingface.co/openai/whisper-large-v2
5. [模型卡] Hugging Face 上的 Whisper large-v3（相較 v2 錯誤率降低 10–20%）。 huggingface.co/openai/whisper-large-v3
6. [模型卡] Hugging Face 上的 Whisper large-v3-turbo（著重延遲的蒸餾變體）。 huggingface.co/openai/whisper-large-v3-turbo
7. [模型卡] OpenAI Whisper 模型卡（訓練資料組成細項）。 github.com/openai/whisper/blob/main/model-card.md
8. [發布說明] OpenAI large-v3 發布公告與評估說明。 github.com/openai/whisper/discussions/1762
9. [發布說明] OpenAI turbo 發布討論與著重速度的取捨。 github.com/openai/whisper/discussions/2363
10. [程式碼] Faster Whisper——SYSTRAN 基於 CTranslate2 的重新實作。 github.com/SYSTRAN/faster-whisper
11. [產品] OpenWhispr 透過 whisper.cpp 使用 Whisper 來進行本機口述聽寫工作流程。 openwhispr.com