Whisper AIの仕組み: 完全ガイド

Whisperは、OpenAIが開発した自動音声認識(ASR)モデルです。2022年9月に公開され、インターネット上から収集された68万時間に及ぶ多言語音声データで学習された、汎用音声認識システムです。Whisperはエンコーダー・デコーダー型のTransformerアーキテクチャを採用しており、音声を対数メルスペクトログラムに変換し、ニューラルネットワークのエンコーダーで処理した後、テキストトークンを自己回帰的にデコードします。99言語の文字起こし、英語への翻訳、言語識別、タイムスタンプ予測に対応しており、これらすべてを単一の統合モデルで実現します。多くの商用ASRサービスとは異なり、Whisperの重みはMITライセンスの下で完全にオープンソースとして公開されており、移植版・最適化・アプリケーションからなる活発なエコシステムを生み出してきました — その一つが、Whisperをリアルタイムかつオンデバイスの音声認識で実用化するC/C++実装whisper.cppです。

最終更新: 2026年2月17日。本記事の定量的な記述は、少なくとも2つの一次情報源と照合して検証しています。

• Whisperの公開時期・学習規模・ライセンス: OpenAIは2022年9月にWhisperを公開し、68万時間のデータで学習、MITライセンスの下で提供しています。 arXiv論文 · OpenAI Whisperリポジトリ
• 対応タスクと言語サポート: Whisperは99言語にわたり、文字起こし、英語への翻訳、言語識別、タイムスタンプトークンに対応しています。 Whisperモデルカード · Whisper README
• 英語ベンチマークの背景: 約3%のWERは、英語を対象とした評価におけるLibriSpeech test-cleanでのベンチマーク値であり、あらゆる実環境に当てはまる普遍的な数値ではありません。 large-v2モデルカード · ベンチマーク詳細
• 最近のモデル更新: large-v3は多くの言語でlarge-v2より低いエラー率を報告しており、turboはデコーダーの計算量を抑え、低レイテンシに重点を置いています。 large-v3モデルカード · turboリリースの議論
• OpenWhisprとの関連: OpenWhisprは、デスクトップ各プラットフォームでローカル・オフラインファーストのディクテーションを実現するため、whisper.cpp経由でWhisperを利用しています。 whisper.cpp · OpenWhispr

Whisperは、OpenAIのAlec Radford、Jong Wook Kim、Tao Xu、Greg Brockman、Christine McLeavey、Ilya Sutskeverによる論文「Robust Speech Recognition via Large-Scale Weak Supervision」で発表されました。コードとモデルの重みは、2022年9月にMITライセンスの下でGitHub上に公開されました。

Whisper登場以前の最先端の音声認識システムは、通常、人手でラベル付けされた厳選済みのデータセットで学習されており、その対象は多くの場合、特定の言語、アクセント、ドメインに限られていました。Whisperはこのアプローチを打ち破り、インターネットから収集した音声と書き起こしのペアからなる、68万時間に及ぶ膨大かつ多様なデータセットで学習しました。鍵となった着想は、人手でラベル付けされたデータではなく、不完全な機械生成またはユーザー投稿の書き起こしを用いるこの「弱教師あり」アプローチによって、言語・アクセント・背景雑音・専門用語にわたり卓越したロバスト性を持つモデルを生み出せる、というものでした。

その結果生まれたのが、複数の音声処理タスクを単一のモデルで扱えるモデルです。すなわち、文字起こし(同一言語での音声からテキストへの変換)、翻訳(任意の言語の音声から英語テキストへの変換)、言語識別、そしてタイムスタンプ付きの音声区間検出です。このマルチタスク能力は、どのタスクを実行するかを指定する特殊トークンの仕組みを通じて、モデルのアーキテクチャに組み込まれています。

Whisperのオープンソース化は画期的な出来事でした。それは高品質なASRへのアクセスを民主化し、開発者・研究者・企業が、商用APIに匹敵するモデルを — 分単位の課金なしに、音声をクラウドへ送信することなく、ベンダーロックインもなく — 利用できるようにしました。これがwhisper.cpp、Faster Whisper、そしてそれらを基盤とする数十ものアプリケーション — その一つがOpenWhisprです — の開発を加速させました。

Whisperはエンコーダー・デコーダー型のTransformerアーキテクチャを採用しています — これは元祖Transformer(Vaswaniら、2017年)や多くの機械翻訳システムの基盤となっている、根幹的な設計と同じものです。エンコーダーが音声を処理し、デコーダーがテキストを生成します。各段階の仕組みは以下のとおりです。

オリジナルのWhisperモデル(tinyからlarge-v2まで)は、インターネットから収集した音声と書き起こしのペア68万時間で学習されました。このデータセットは一般には公開されていません。その重要な特徴は弱教師ありであるという点です — 書き起こしのラベルは、人間のアノテーターによって手作業で検証されたものではありません。代わりに、字幕、クローズドキャプション、その他の音声に紐づくユーザー生成テキストといった情報源から得られたものです。

データの構成

公式モデルカードによると、68万時間の学習データの内訳は以下のとおりです。

英語への大きな偏り(学習データの65%)は、Whisperが低リソース言語よりも英語で著しく高い性能を発揮する理由を説明しています。2023年11月に公開されたlarge-v3モデルでは、OpenAIは学習データを100万時間の弱ラベル付き音声に拡大し、さらにWhisper large-v2をラベルなしデータに対して実行して生成した400万時間の疑似ラベル付き音声を追加しました — これは一種の自己学習、あるいは知識蒸留にあたります。

「弱教師あり」がなぜ重要か

従来のASRシステムの多くは、LibriSpeech(960時間)やCommon Voice(言語あたり数千時間)のようなデータセット — 入念に厳選され、人手で検証されたデータセット — で学習されていました。Whisperのアプローチは、ラベルの品質を犠牲にして純粋なスケールを取りました。従来のシステムが用いた数百から数千時間に対し、68万時間です。論文は、このトレードオフが価値あるものだったことを実証しました。インターネット由来のデータの多様性が、Whisperに実環境への卓越したロバスト性を与えたのです。すなわち、背景雑音、重なり合う発話、アクセント、ドメイン固有の語彙、そしてスタジオ品質の朗読音声で学習されたモデルでは手こずるような音響環境への対応力です。

ただし、弱教師あり学習は既知の限界も生み出します。それがハルシネーション(幻覚)です。学習に用いた書き起こしが不完全であるため、モデルは実際には発話されていない、もっともらしく聞こえるテキストを生成することがあります — 特に無音区間やごく静かな箇所で顕著です。これはこのアプローチに内在するトレードオフであり、今なお改善が進められている分野です。

Whisperは複数のサイズで提供されており、パラメータ数は3,900万から15億5,000万まで幅があります。小さいモデルは高速ですが精度は劣り、大きいモデルは高精度ですが、より多くの計算資源とメモリを必要とします。.enのバリアントは英語専用モデルで、特に小さいサイズにおいて英語でより高い性能を発揮する傾向があります。large系のモデルには英語専用バリアントは存在しません。

速度はlargeモデルを基準とした相対値です。VRAM要件は、オリジナルのPython実装でfp16精度を用いてGPU推論を行う場合のものです。whisper.cppは大幅に少ないメモリで動作します(例えば、largeモデルは約10 GBのVRAMではなく約3.9 GBのRAMで済みます)。

turboモデル(2024年10月公開)は、デコーダーを大幅に小型化したlarge-v3の蒸留版です。large-v3の精度の大部分を保ちつつ、約8倍高速に動作します — 速度が重要な場面で有力な選択肢となります。なお、turboは翻訳タスクには対応していません。

largeモデルは3度の改訂を経ています。large-v1(2022年9月)、large-v2(2022年12月)、large-v3(2023年11月)です。各バージョンで精度が向上し、large-v3ではメル周波数ビンを128個に(80個から)増やし、はるかに大規模なデータセットで学習しています。各サイズの詳しい内訳や選び方については、Whisperモデルサイズガイドをご覧ください。

Whisperの精度は通常、単語誤り率(WER)を用いて測定されます — これは誤って文字起こしされた単語の割合(挿入・削除・置換の合計)です。WERは低いほど良いとされます。

英語ベンチマーク

最も広く使われている英語ASRベンチマークであり、オーディオブックのクリアな朗読音声で構成されるLibriSpeech test-cleanにおいて、Whisper large-v2はおよそ3.0%のWERを達成しています^[1][2]。これは商用ASRシステムや専用に学習されたモデルに匹敵する数値ですが、LibriSpeechでファインチューニングされた特化モデルは、その特定のベンチマークにおいてはより低いWERを達成できます。Whisperの強みは、狭いベンチマークで勝ることではなく、ロバスト性 — 実環境の幅広い条件で一貫して高い性能を発揮すること — にあります。

large-v3の改善

OpenAIの評価によると、Whisper large-v3は、Common Voice 15およびFleursの評価データセットでエラー率が60%を下回る言語において、large-v2と比較して10〜20%のエラー削減を示しています^[2][3]。改善は特に非英語言語で顕著で、拡張された学習データ(合計500万時間)が最も大きな差をもたらしています。

Whisperの比較(2026年2月時点)

Whisperの公開以降、新しいオープンソースASRモデルがクリーンな音声のベンチマークでWhisperを上回ってきました。NVIDIAのParakeet TDT(6億パラメータ)はLibriSpeech test-cleanで1.69%のWERを達成し、同社のCanaryモデルは1.6%のWERに達しています — いずれもWhisper large-v3の約2.7%を大きく下回ります。しかしWhisperは、成熟したエコシステム、対応言語の広さ、そしてwhisper.cppのような最適化されたランタイムの存在により、依然として最も広く導入されているオープンソースASRモデルです。

注: 商用クラウドAPI(Deepgram Nova-3、Google Chirp、AssemblyAI Universal-2)はLibriSpeechのWER値を公表していないため、本チャートで直接比較することはできません。これらのベンチマークは独自の実環境テストセットを用いています。OpenAIはまた、2025年3月にGPT-4o-transcribeをAPI専用モデル(オープンソースではなく、Whisperベースでもない)として公開しており、エラー率はより低いとされています — ただしこれはクラウド専用であり、ローカル推論には利用できません。

Whisperが優れている点

• +アクセントや方言へのロバスト性 — 多様なインターネット音声で学習されているため、Whisperは朗読音声で学習されたシステムよりも、地域的なアクセントをうまく処理します。
• +背景雑音への耐性 — 音楽、他の話者、周囲の雑音が存在しても、モデルは相応の精度を維持します。
• +専門用語への対応 — 学習データの幅広さにより、Whisperは多くの汎用ASRシステムよりも、ドメイン固有の用語(医療・法律・技術)をうまく処理します。
• +多言語対応 — 単一のモデルで99言語に対応し、言語ごとのファインチューニングは不要です。

Whisperが苦手とする点

• -ハルシネーション(幻覚) — 最も頻繁に指摘される問題です。無音区間やごく静かな箇所で、Whisperは実際には発話されていないテキストを生成することがあります。これは弱教師あり学習というアプローチの帰結です。
• -低リソース言語 — 学習データが少ない言語(68万時間の大部分は英語)では、エラー率が著しく高くなります。
• -テキストの反復生成 — 自己回帰デコーダーはループに「はまり込み」、同じ語句を繰り返し生成することがあります。特定のパラメータを用いたビームサーチでこの問題を軽減できますが、完全になくすことはできません。
• -デフォルトではリアルタイムでない — Whisperは30秒のチャンク単位で処理するため、本質的にレイテンシが生じます。ストリーミングソリューション(whisper.cppのリアルタイムモードなど)はこれを回避しますが、その分複雑さが増します。

オリジナルのWhisper実装は、まともな性能を得るためにPython、PyTorch、そしてCUDA対応GPUを必要とします。このため、デスクトップアプリケーション、モバイルデバイス、エッジ環境への導入には不向きです。Georgi Gerganovが作成したwhisper.cppは、この問題を解決します。

whisper.cppは、Whisper推論を依存関係なしの素のC/C++で完全に再実装したものです。同じモデルの重みを読み込みますが、Pythonも、PyTorchも、GPUも不要で動作します(ただしGPUがあれば多大な恩恵を受けます)。主な特長は以下のとおりです。

• 実行時のメモリ確保がゼロ — すべてのメモリが事前に確保されるため、性能が予測可能になり、組み込みシステムにも適しています。
• Apple Silicon向け最適化 — Mシリーズチップを搭載したMacでは、エンコーダーをCore ML経由でApple Neural Engine上で実行でき、CPUのみの実行と比べて3倍以上高速な推論を実現します。フルGPU推論のためのMetal GPUアクセラレーションにも対応しています。
• 量子化への対応 — モデルを4ビット、5ビット、8ビットの整数精度に量子化でき、精度の低下を最小限に抑えつつ、メモリ使用量を大幅に削減し、速度を向上させます。
• GPUアクセラレーション — NVIDIA CUDA(cuBLAS経由)、Vulkan(ベンダー横断)、OpenVINO(Intel)、そしてCPUアクセラレーション用のOpenBLASに対応しています。
• 音声区間検出(VAD) — 組み込みのVADで無音区間をスキップし、速度と書き起こし品質の両方を改善します。

メモリ要件(whisper.cpp)

whisper.cppは、macOS(IntelおよびApple Silicon)、Linux、Windows、iOS、Android、FreeBSD、Raspberry Pi、さらにはWebAssembly経由でブラウザ上でも動作します。控えめな民生用ハードウェア — Raspberry Pi 4やiPhone 13ほど小型のデバイスを含む — でも、リアルタイムを上回る速度の文字起こしを実現します。

この移植性こそが、ローカルでプライベートな音声認識を実用的なものにしています。OpenWhisprのようなアプリケーションは、内部でwhisper.cppを利用し、ユーザーのデバイス上で完全に動作するリアルタイムのプッシュ・トゥ・トーク式ディクテーションを提供します — 音声がマシンの外に出ることは一切ありません。

Whisperは、より広範な音声認識システムの中に位置づけられます。最も一般的な代替手段との比較は以下のとおりです。

Whisperは、精度、多言語対応、オープンソースでの提供を兼ね備えていることから、幅広いアプリケーションの基盤となってきました。

1. [論文] Radford, A., Kim, J. W., Xu, T., Brockman, G., McLeavey, C., & Sutskever, I. (2022). Robust Speech Recognition via Large-Scale Weak Supervision. arXiv:2212.04356. arxiv.org/abs/2212.04356
2. [コード] OpenAI Whisper GitHubリポジトリ。 github.com/openai/whisper
3. [コード] whisper.cpp — Georgi GerganovによるC/C++移植版。 github.com/ggml-org/whisper.cpp
4. [モデルカード] Hugging Face上のWhisper large-v2(WERベンチマーク: LibriSpeech test-cleanで約3.0%)。 huggingface.co/openai/whisper-large-v2
5. [モデルカード] Hugging Face上のWhisper large-v3(v2比で10〜20%のエラー削減)。 huggingface.co/openai/whisper-large-v3
6. [モデルカード] Hugging Face上のWhisper large-v3-turbo(レイテンシ重視の蒸留バリアント)。 huggingface.co/openai/whisper-large-v3-turbo
7. [モデルカード] OpenAI Whisperモデルカード(学習データ構成の内訳)。 github.com/openai/whisper/blob/main/model-card.md
8. [リリースノート] OpenAI large-v3の発表と評価に関するノート。 github.com/openai/whisper/discussions/1762
9. [リリースノート] OpenAI turboのリリースに関する議論と、速度重視のトレードオフ。 github.com/openai/whisper/discussions/2363
10. [コード] Faster Whisper — SYSTRANによるCTranslate2ベースの再実装。 github.com/SYSTRAN/faster-whisper
11. [プロダクト] OpenWhisprは、ローカルなディクテーションワークフローのためにwhisper.cpp経由でWhisperを利用しています。 openwhispr.com