跳转至

按语言划分的模型推荐:英语和欧洲语言

研究日期:2026-10-22。基于 model-watch.md(此处不再重新论证 parakeet-ultra、Moonshine、Nemotron)。范围:英语、PARAKEET_V3_LANGUAGES 中的 25 种 Parakeet v3 语言,以及 Hex 列出的另外两个欧洲条目(土耳其语 tr、马其顿语 mk,目前归入 Qwen 分支)。

结论

English
├── Recommended: keep Parakeet Unified. It is the only Hex English model that streams,
│   and its offline accuracy is at least on par with ultra (FLEURS en 3.99 vs 4.26)
├── Most accurate: Cohere's lead is real only on LibriSpeech clean (1.27 vs 1.60/1.80/1.91)
│   and the Open ASR leaderboard (6.26 vs 6.51 v3); on FLEURS en it is the worst of the set (5.08)
│   └── Qwen3-ASR 1.7B beats it on both FLEURS en (3.23) and the leaderboard (5.75): evaluate as the replacement
├── parakeet-ultra for English: no. Same size, but offline-only, so it loses the streaming pipeline
└── Canary 1B v2 for English: no. 4.47 FLEURS, 1.14 GB, half the speed, no streaming

European (Parakeet v3 set)
├── Recommended: parakeet-ultra replaces v3 everywhere except Greek (lower WER in all 25, same size and speed)
├── Most accurate: Canary 1B v2 where it beats ultra by more than 1.5 points (12 languages)
├── Greek: Parakeet is broken for it (32 to 35% WER). Use Cohere (8.96) or Whisper turbo (13.26)
└── Turkish and Macedonian: Whisper turbo beats Qwen3-ASR 0.6B by 2.4x and 2x. Switch Recommended

有两个发现比 ultra 替换更重要:

  1. 希腊语被路由到了一个每三个词就错一个的模型。 v3 35.33%,ultra 32.25%,Canary v2 26.02%,Whisper turbo 13.26%,Cohere 8.96%(FLEURS)。
  2. 土耳其语和马其顿语被路由到了 Qwen3-ASR 0.6B,其 WER 分别为 16.74% 和 35.09%,而 Whisper turbo 为 6.97% 和 17.85%。

证据及其局限

几乎所有按语言统计的数字都来自 handy-computer/transcribe.cpp 的 docs/models/*.md 模型卡片,是 Q8_0 GGUF 在 FLEURS 测试集上的 WER,由同一项目用同一流水线测得。这是现有最好的同类可比数据,但:

  • 这不是 HF Open ASR Leaderboard。 多语言赛道(FLEURS、Common Voice、MLS)不在 hf-audio/open-asr-leaderboard-results 中;该数据集只发布 english_short_latest.csv。因此我无法使用排行榜的多语言排名。下面的英语排行榜数字来自该 CSV(经由 model-watch.md)。
  • FLEURS 每种语言约 860 条朗读话语,仅跑一次。 将约 0.7 个绝对百分点(或 10% 相对差异)以下的差距视为打平。
  • Canary 1B v2 是在比 ultra(2026-10-05)更早的提交(2026-05-08)上测得的。 这些跑测结果应当可比,但我没有重新运行。
  • 希腊语和马耳他语的分数很大程度上取决于文本规范化;Whisper 在马耳他语上极高的错误率(70.92%)可能包含文字和分词问题,但这就是 Hex 用户会看到的结果。
  • Moondream 自己的卡片声称 ultra 在 LibriSpeech clean 上为 1.41%(Open ASR normalizer);transcribe.cpp 用 kestrel 测得 1.80%。FLEURS 表来自 transcribe.cpp,并非仅厂商数据。1.41% 是仅厂商数据。
  • Voxtral Mini 3B、Qwen3-ASR 1.7B、Granite 4.1 的数字同样是 transcribe.cpp 的测量结果,而非厂商声称。

运行时约束(transcribe.cpp)

model                    license        GGUF Q8   speed M4 Max Metal*   languages           hints            streams   crate
Parakeet Unified EN      NVIDIA OML     731 MB    188x                  en                  none             yes       0.2.4
Parakeet v3              CC-BY-4.0      740 MB    182x                  25 EU               none             no        0.2.4
parakeet-ultra           CC-BY-4.0      740 MB    207x                  same 25             none             no        0.4.0 (see below)
Canary 1B v2             CC-BY-4.0      1.14 GB   105x                  same 25             --prefix only    no        0.2.4 (arch/canary present)
Canary 1B flash          CC-BY-4.0      -         118x                  en de es fr         prefix           no        0.2.4
Whisper large-v3-turbo   MIT            886 MB    36x                   ~100 (list below)   vocabulary+prompt no       0.2.4 (Hex ships it)
Cohere Transcribe        Apache-2.0     2.41 GB   77x                   14 (8 are EU)       none             no        0.2.4 (Hex ships it)
Qwen3-ASR 1.7B           Apache-2.0     ~2 GB     45x                   30                  context (unverified in Hex)  no  0.2.4 (card exists)
Qwen3-ASR 0.6B           Apache-2.0     850 MB    75x                   30                  none in Hex       no        0.2.4
Voxtral Mini 3B 2507     Apache-2.0     large     13x                   7 EU                 -                no        0.2.4 (arch/voxtral)
Granite Speech 4.1 2B    Apache-2.0     -         76x                   en de es fr pt      keyword biasing (upstream)  no   newer than 0.2.4
Nemotron 3.5 streaming   OpenMDW-1.1    751 MB    144x                  32                  prompt           yes       0.2.4

* jfk 11 s clip, transcribe.cpp cards. Whisper's 36x is the card's number; Hex's catalog says ~19x, so Hex's own measurement is more conservative.

  • parakeet-ultra 需要比 Hex 固定的版本更新的 crate。 该移植在 transcribe.cpp 提交 37273409(2026-10-05)中落地,晚于 v0.3.1(10-04),因此 v0.4.0(10-12)是第一个可能包含它的发布版本;0.2.4 的 parakeet 架构没有语音活动分段。需要升级到 0.4.0+ 才能获得长音频行为,这也是对 GGUF 的安全假设。当前版本为 0.4.1。orukeet(CC-BY-SA-4.0,一个相同方式共享许可证;不推荐)和 parakeet-primeline(德语)也是 parakeet 的微调版本。
  • 提示(Hints)。 在 GGUF 路径中,只有 Whisper 支持词汇和提示偏置,因此它仍然是所有语言在识别提示(Recognition hints)方面的首选。Canary v2 接受转写前缀,这不是词汇偏置。
  • 流式(Streaming)。 没有哪个多语言模型值得流式使用。Nemotron 3.5 支持流式,但远差于 ultra(de 10.33 vs 4.58,fr 10.78 vs 4.66,英语在排行榜上退步至 10.51 vs 6.89)。Voxtral Realtime 为 4.7 GB,实时率 6-7 倍。多语言听写保持非流式。
  • Canary 需要显式指定语言。 Hex 的按语言选择器会提供该参数;不得在 Auto 下提供 Canary。
  • 较新的候选模型没有 GGUF。 Granite Speech 5.0 2B(排行榜第 2 名,5.06)和 TurboCTC 多语言修订版不在 transcribe.cpp 中;Kyutai STT(PyTorch/MLX)和 TheWhisper 没有 GGUF。因此排除。

英语

                       FLEURS en   LS clean   Open ASR English avg (current)
Qwen3-ASR 1.7B           3.23        -          5.75
Voxtral Mini 3B          3.89        -          -
Parakeet Unified EN      3.99        1.60 (Hex) -   (8-set offline 5.91 older board)
Granite 4.1 2B           4.14        -          -
parakeet-ultra           4.26        1.80       -   (older board 5.32 vs v3 6.32, from model-watch)
Whisper turbo            4.38        -          8.39
Canary 1B v2             4.47        1.91       -
Parakeet v3              4.83        1.94       6.51
Cohere Transcribe        5.08        1.27       6.26

当前:推荐 Parakeet Unified,最准确 Cohere,提示 Whisper。 提议:推荐 Unified(保留),最准确 Qwen3-ASR 1.7B(中等置信度),或保留 Cohere,直到在 Hex 自己的英语语料库上运行完毕;提示 Whisper(保留)。最快已经达到 Unified/ultra 的水准;无需单独一行。

  • Unified 与 ultra 对比:ultra 在混合数据上离线时可能略好(较早的八组平均),但 FLEURS en 更偏向 Unified,且只有 Unified 支持流式。Hex 的采集管道围绕流式构建,并带整段音频回退(AGENTS.md),因此将英语切换到仅离线模型会以延迟为代价,却没有实证的精度提升。保留 Unified。仅当英语用户需要其长音频分段时,才将 ultra 作为可选的离线替代方案提供。
  • Canary v2 和 Voxtral 3B 在英语上并未超过 Unified。未列入提议。
  • Qwen3-ASR 1.7B:英语 FLEURS 成绩最佳,也是当前排行榜上 Hex 能够运行的最佳开源模型(Apache-2.0,M4 Max 上 45x)。它需要约 2 GB 下载,且不支持流式,这与 Cohere 已有的取舍相同。置信度为中等:FLEURS 和排行榜数据指向同一方向,但尚未有人在 Hex 的听写音频上运行过它,而 Hex 将 Qwen 标记为不支持识别提示。
  • Cohere 的“最准确”标签基于 LibriSpeech clean(朗读的有声书)以及排行榜上领先 v3 0.25 个百分点的优势;其 FLEURS en 是这里最差的。继续保留该标签的置信度为中低。

各语言表格(FLEURS 测试 WER %,Q8_0)

列:ultra、v3、Canary 1B v2(cv2)、Whisper turbo(wt),以及其余可用模型中最佳的一个。行内最佳以粗体显示。除非另有说明,下方每种语言的当前配置均为“推荐 v3,提示 Whisper turbo”。

lang  ultra   v3     cv2    wt     other             proposed (Recommended / Most accurate / Hints)         conf
bg    11.04  12.81   9.22   13.58  -                 ultra / Canary v2 (-1.8) / Whisper                    medium
cs    11.04  12.31   8.56   11.81  Qwen1.7 22.97     ultra / Canary v2 (-2.5) / Whisper                    medium
da    15.98  18.64  11.34   13.60  -                 ultra / Canary v2 (-4.6) / Whisper                    high
de     4.58   5.24   4.46   4.54   Qwen1.7 4.25      ultra / (tie, none) / Whisper                         medium
el    32.25  35.33  26.02   13.26  Cohere 8.96       Cohere / Whisper / Whisper (hints)                    high
en     see English section above
es     3.06   3.65   3.10   3.12   Qwen1.7 3.31      ultra / (tie, none) / Whisper                         high
et    14.44  17.96  12.72   18.44  -                 ultra / Canary v2 (-1.7) / Whisper                    medium
fi    11.14  13.30   8.86   8.29   -                 Whisper / Canary v2 / Whisper (hints)                 medium
fr     4.66   5.30   5.09   5.51   Voxtral3B 4.51    ultra / (tie, none) / Whisper                         medium
hr    11.30  12.59   8.40   12.54  -                 ultra / Canary v2 (-2.9) / Whisper                    medium
hu    13.09  16.06  13.06   15.07  -                 ultra / (tie, none) / Whisper                         medium
it     2.34   3.02   3.10   2.77   Voxtral3B 2.56    ultra / (none) / Whisper                              high
lt    17.06  22.20  13.45   25.11  -                 ultra / Canary v2 (-3.6) / Whisper                    medium
lv    18.04  23.77  10.41   19.53  -                 Canary v2 / ultra / Whisper                           high
mt    17.01  20.63  19.75   70.92  -                 ultra / (none) / (no hints: Whisper unusable)         medium
nl     6.70   7.66   6.28   5.98   Voxtral3B 6.57    ultra / (tie, none) / Whisper                         medium
pl     6.16   7.37   6.88   5.81   Cohere 6.15       ultra / (tie, none) / Whisper                         medium
pt     4.16   4.96   4.50   4.17   Voxtral3B 3.84    ultra / (tie, none) / Whisper                         medium
ro    10.12  12.62   6.87   10.90  -                 ultra / Canary v2 (-3.3) / Whisper                    high
ru     5.63   6.54   7.83   5.93   Qwen1.7 6.25      ultra / (none) / Whisper                              high
sk     7.83  10.19   6.84   10.21  -                 ultra / Canary v2 (-1.0, borderline) / Whisper        low
sl    18.98  24.30  12.76   20.56  -                 Canary v2 / ultra / Whisper                           high
sv    12.83  15.25   9.74    8.72  -                 Whisper / Canary v2 / Whisper (hints)                 medium
uk     5.71   6.84  10.58    7.31  -                 ultra / (none) / Whisper                              high
tr     -      -      -      6.97   Qwen1.7 9.46      Whisper / (none) / Whisper                            high
mk     -      -      -     17.85   Qwen1.7 18.22     Whisper / (none) / Whisper                            medium

tr 和 mk 当前以 Qwen3-ASR 0.6B 作为推荐项(16.74 和 35.09);Qwen3-ASR 1.7B 在这些语言上几乎与 Whisper 相当,但 Whisper 已经随附提供,而且还支持提示。

阅读表格:

  • ultra 对比 v3。 在全部 25 种语言上均更低,在表现强劲的罗曼语族语言上低 0.5 个百分点,在 lv、sl、lt、bg、da 上低 5 到 6 个百分点。体积、语言和 API 相同,因此这次更换只是目录条目加 crate 版本升级。仅当 crate 版本升级出问题时,才将 v3 保留为回退选项。本次更换置信度为高(每种语言都朝同一方向变化,而且该评测卡是对同一管道的同类运行)。
  • Canary v2 作为“最准确”(CC-BY-4.0,1.14 GB,M4 Max 上 105x,仍然很快):在 bg、cs、da、et、hr、lt、lv、ro、sk、sl 上明显胜出,在 fi 和 sv 上接近 Whisper。在 de、es、fr、it、nl、pl、pt、ru、uk 上并不更好。它增加了显式语言要求,不支持时间戳,也不支持词汇偏置。
  • Whisper turbo 在 fi、nl、pl、sv、tr、mk 上获胜或打平,也是唯一支持识别提示的模型,但它最慢(36x),且在 mt(70.92)、lv、lt、sl、et 上崩溃。对于这些语言,Hex 不应将其作为通用选项宣传;识别提示这一行是一种权衡,而非推荐。
  • Qwen3-ASR 0.6B 在主要语言之外表现较差(cs 44.50、fi 46.49、hu 56.24);不应将其列为任何欧洲语言的推荐项。
  • Cohere 在 Hex 中覆盖 de、es、fr、it、nl、pl、pt、el,但仅在希腊语上胜出。其 FLEURS 成绩(de 5.06、fr 5.23、es 3.97)落后于 ultra。

choices_for_runtime 中要更改的内容

  1. 将 parakeet-ultra 添加到 MODELS,并在 Parakeet 分支中将其设为推荐(需要将 transcribe-cpp 提升到 0.4.0 以上;如果影响构建,还要更新 Nix 的 outputHashes)。让 v3 不出现在选择器中,或仅作为回退。
  2. 将 Canary 1B v2 添加为 bg、cs、da、et、hr、lt、lv、ro、sk、sl(可能还有 fi、sv)的“最准确”选项。绝不要放在“自动”下。
  3. 将 el 从 Parakeet 改路由出去:Cohere 设为推荐(在其分支中、Parakeet 匹配之前添加 el),Whisper 用于提示。
  4. 将 tr 和 mk 路由到 Whisper turbo 并设为推荐,而不是 Qwen 0.6B。
  5. 英语:保持 Unified;在更改“最准确”标签之前,先用 Hex 自己的英语片段将 Qwen3-ASR 1.7B 与 Cohere 进行对比评估。

未测量

  • 没有本地运行:这里的所有内容都没有在 Kit 的硬件上重新运行,Apple Silicon 速度是 transcribe.cpp 模型卡上的 M4 Max 数据。
  • 真实听写(嘈杂、短句、带口音)不是 FLEURS。一个低成本的检查方式是,只针对发生变更的行,按语言使用 benchmark-transcription 语料库。
  • 没有在 0.2.4 上尝试 Parakeet ultra;0.4.0 的要求是根据日期以及 0.2.4 源码中缺少 VAD 代码推断出来的。
  • Qwen3-ASR 1.7B 的 Q8 大小,以及 Canary v2 在 Hex 的语言提示机制下的行为,在添加之前需要检查。

来源

  • transcribe.cpp (MIT) docs/models/:parakeet-ultra、parakeet-tdt-0.6b-v3、parakeet-unified-en-0.6b、canary-1b-v2、canary-1b-flash、whisper-large-v3-turbo、cohere-transcribe-03-2026、qwen3-asr-0.6b、qwen3-asr-1.7b、voxtral-mini-3b-2507、granite-speech-4.1-2b、nemotron-3.5-asr-streaming-0.6b、orukeet、parakeet-primeline;发布版本 v0.2.4 (2026-09-25)、v0.3.1 (10-04)、v0.4.0 (10-12)、v0.4.1 (10-22);提交 37273409 “parakeet ultra” (2026-10-05)。
  • Hex 锁定的 transcribe-cpp-sys 0.2.4 源码(src/arch/)。
  • HF 的 hf-audio/open-asr-leaderboard-results(english_short_latest.csv)以及 huggingface/open_asr_leaderboard 的 README(多语言基准描述)。
  • model-watch.md:用于英语排行榜行,以及 ultra、Unified、Nemotron 和 Moonshine 的分析。

本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 hex19/hex