跳转至

语言推荐：zh、yue、ja、ko、Qwen 语言集与 Auto

研究，2026-10-22。基于 model-watch.md（此处不重复）。范围：LANGUAGES 中 Parakeet v3 未覆盖的每种语言，外加自动检测（Auto-detect）。仅对 src/transcription_models.rs 做只读检查；本文不包含任何已实现内容。

结论

Today                                       Evidence says
├── zh|yue|ja|ko → Qwen3-ASR 0.6B           ├── zh: a tie (all within CI). Keep Qwen 0.6B.
│   Fastest SenseVoice, hints Whisper       ├── yue: Qwen (7.9 / 6.1 CER) wins by 4x over Whisper turbo
│                                           │   (34.6) and SenseVoice (37.4). SenseVoice must stop being "Fastest" here.
│                                           ├── ja: Whisper turbo (4.82) and Fun-ASR-MLT (2.10) beat Qwen 0.6B (8.61)
│                                           └── ko: Whisper turbo (5.24) beats Qwen 0.6B (5.82); Qwen 1.7B best (4.60)
├── other Qwen languages → Qwen 0.6B        ├── Qwen 0.6B loses to Whisper turbo on ar, tr, ms, fil, fa, mk, id
│                                           └── it wins only on hi, th (and ties zh, vi)
└── Auto → Whisper + Qwen both "Recommended"└── Auto → Whisper turbo Recommended; drop SenseVoice as Fastest
    + SenseVoice Fastest

下文提议的每个模型都已在固定版本 transcribe-cpp 0.2.4 中运行（src/arch/ 包含 qwen3_asr、funasr_nano、sensevoice、whisper、cohere）。除了可能需要的阿拉伯语 Cohere GGUF（使用相同的 cohere 架构；请确认它能在 0.2.4 上加载）之外，任何提案都无需升级 crate。

方法与可信度

几乎所有工作都由一个来源完成：transcribe.cpp 中的逐模型文档（docs/models/*.md，handy-computer，MIT）。这些文档使用同一个测试工具在 FLEURS 测试 上为 Hex 将要发布的相同 Q8_0 GGUF 打分。该来源独立于模型厂商，并且模型之间具有同类可比性。其局限包括：

  • FLEURS 为朗读维基百科句子，单次运行，每种语言约 900 条话语。zh 上的 bootstrap 95% CI 约为 ±0.9 个 CER 点，因此约 1.5 点以内的差异属于噪声。它不能说明听写、噪声、口音或语码转换方面的表现。
  • 归一化是测试工具自带的，而非每种语言的最佳方案。粤语和中文文字（繁体 vs 简体）可能会抬高 CER：SenseVoice 在 yue 上 37.4、Whisper turbo 34.6，很可能部分原因是文字不匹配，而不仅仅是识别问题。此处未经验证；在告诉用户“SenseVoice 无法处理粤语”之前请先测试。
  • Fun-ASR-MLT 在 ja 上的 2.10 CER 与所有其他模型（4.8 至 8.6）相比是一个离群值。可能是训练数据与 FLEURS 有重叠；我没有核实。应视为有前景，但置信度为中等。
  • 仅限厂商来源：Qwen3-ASR 技术报告（arXiv 2601.21337）和模型卡（MLS、Common Voice、MLC-SLM、Fleurs、WenetSpeech、内部数据集）。下文仅将其用作交叉验证，并标注为“vendor”。
  • 针对这些 GGUF 的 AISHELL、CSJ、KsponSpeech 和 Common Voice 逐语言数字：未找到任何独立一方提供的数据。HF Open ASR 排行榜结果数据集（hf-audio/open-asr-leaderboard-results，检查于 2026-10-22）只发布了 english_short_latest.csv；没有可引用的公开多语言逐语言结果文件。

候选模型（实际可发布的模型）

全部为 Q8_0，在 M4 Max 上达到 Metal 速度（transcribe.cpp，asr-publication-v2，jfk 11 秒 / dots 35 秒，x 倍实时）。目前只有 Whisper 支持 Hex 的识别提示。

model                      size     speed (jfk/dots)  license         langs   hints in transcribe.cpp        notes
Qwen3-ASR 0.6B (shipped)   850 MB   75x / 64x         Apache-2.0      30 (52) vocabulary + prompt           echoes vocabulary into output often
Qwen3-ASR 1.7B             2.19 GB  45x / 37x         Apache-2.0      30 (52) vocabulary + prompt           Q4_K_M 1.32 GB (+0.2 EN WER); Q5_K_M 1.52 GB
Whisper large-v3-turbo     886 MB   36x / 51x         MIT             100     vocabulary, prompt, prefix    shipped; hint path works
Whisper large-v3           1.67 GB  slower            Apache-2.0      100     same                          better on yue/th than turbo; 2x size
SenseVoice Small (shipped) 253 MB   245x / 289x       FunASR license  5       none                          zh/yue/en/ja/ko only
Fun-ASR-Nano-2512          891 MB   83x / 73x         FunASR license  zh,en,ja vocabulary (hotwords)        Mandarin/Japanese specialist
Fun-ASR-MLT-Nano-2512      891 MB   75x / 65x         FunASR license  31      vocabulary (hotwords)         ITN on by default; LS-clean EN 1.72
Cohere Transcribe (shipped)2.41 GB  76x / 75x         Apache-2.0      14      none                          already in catalog, not offered for non-English
Cohere Transcribe Arabic   2.41 GB  ~Cohere           Apache-2.0      ar, en  none                          FLEURS ar 11.06; upstream repo is gated
Nemotron 3.5 ASR Streaming 751 MB   144x / 138x       OpenMDW-1.1     32      auto-LID tag; streaming       multilingual accuracy is weak (below)

FunASR Model License v1.1 允许使用、复制、修改、分享，但需保留署名和模型名称；它带有禁止贬低的终止条款。该许可是可再分发的，但在再发布两个 FunASR 许可权重之前，有必要进行一番法律审查。SenseVoice 已经采用了这一许可。

transcribe.cpp 中没有以下模型（已在 v0.4.1 检查 docs/models/ 和 src/arch/）：Dolphin、FireRedASR、Paraformer/FunASR 独立版、kotoba-whisper、Belle-whisper、Voxtral 针对这些语言（Voxtral Mini 3B 仅列出 en、fr、de、es、it、pt、nl、hi）。Granite Speech 4.1 2B 覆盖了这些语言中的 ja（CER 6.30，2.56 GB），但不优于 Whisper turbo。breeze-asr-25（台湾华语 Whisper 微调版）在 Whisper 系列列表中，但不在 Hex 的语言集合内。Whisper 微调模型（如 kotoba-whisper）原则上可以通过 Whisper 路径转换，但那里没有以 GGUF 形式发布任何内容，因此在“已发布 GGUF”约束下它们被排除在外。

crate/版本说明：Hex 固定使用 transcribe-cpp 0.2.4（2026-09-25）；0.3.0（2026-10-03）、0.3.1、0.4.0 和 0.4.1（2026-10-22）已经存在。0.4.x 增加了 ecapa_tdnn（语言 ID，VoxLingua107）和 silero_vad 架构。0.2.4 之后没有针对这些语言落地新的 ASR 架构。

证据：FLEURS 测试，Q8_0，transcribe.cpp 测试框架

zh、yue、ja、ko、th 使用 CER；其他语言使用 WER。数值越低越好。加粗表示约 1 GB 以下（默认下载档位）模型中表现最好的。

lang  Qwen0.6  Qwen1.7  Whisper-turbo  Whisper-v3  SenseVoice  FunASR-Nano  FunASR-MLT  Cohere  Nemotron3.5
zh     7.57     7.14      8.50           7.98        10.12       8.59         7.33        11.18   18.87
yue    7.91     6.13     34.62          22.06        37.44       n/a          8.39        n/a     n/a
ja     8.61     5.29      4.82           4.81         7.63       8.50         2.10        5.13    13.52
ko     5.82     4.60      5.24           4.89         8.27       n/a          5.41        6.57     8.89
ar    24.51    14.91     15.48          14.92         n/a        n/a         25.88       13.60    15.93   // Cohere-Arabic 11.06
hi    12.68     7.84     18.85          17.06         n/a        n/a         23.07        n/a      8.61
vi     9.32     6.15      9.48           8.74         n/a        n/a          8.22        7.39    13.96
tr    16.74     9.46      6.97           6.51         n/a        n/a          n/a         n/a     15.40
th     8.81     6.89     13.15           8.78         n/a        n/a          7.28        n/a      n/a
id     8.49     5.37      7.20           6.08         n/a        n/a          7.32        n/a      n/a
ms    17.18    10.42      8.64           7.59         n/a        n/a          9.11        n/a      n/a
fa    50.30    28.29     30.56          30.11         n/a        n/a          n/a         n/a      n/a
fil   35.43    24.29     12.08          11.82         n/a        n/a         14.29        n/a      n/a
mk    35.09    18.22     17.85          15.09         n/a        n/a          n/a         n/a      n/a

对 Qwen 和 Whisper 共有的 30 个 FLEURS 语言进行汇总（使用同一测试框架）：平均 WER/CER：Qwen 0.6B 为 21.4，Qwen 1.7B 为 12.5，Whisper turbo 为 10.6，Whisper v3 为 9.2；中位数分别为 13.3、7.6、8.6、7.8。Qwen 0.6B 是更容易出现离群值的那一个，而 Whisper turbo 是 1 GB 以下综合表现更全面的选择。Qwen 自己的报告（供应商数据）也印证了这一点：在其 30 语言 Fleurs 集合上，Whisper-large-v3 得分 8.16，而 Qwen3-ASR 1.7B 为 12.60、0.6B 为 21.80（“在完整 30 语言设置下性能会下降”）；Qwen 仅在包含主要语言的 12 语言和 20 语言子集上领先。Hex 的 QWEN_LANGUAGES 是完整的 30 语言集合，因此那些困难尾部语言（fa、mk、fil、el、hu、cs、da、fi、ro、sv）正是 0.6B 表现最差的地方。请注意，除 fa、fil、mk 之外，这些尾部语言在 Hex 中均属于 Parakeet v3 语言，因此不会进入 Qwen 分支。

按语言对照表：当前 → 建议

角色说明：Rec = 推荐（Recommended），Fast = 最快（Fastest），Acc = 最准确（Most accurate），Hint = 识别提示（Recognition hints）。“Rec” 速度档位假定采用上表中的模型。置信度反映的是排名，而不是绝对 WER 值。

lang  current                          proposed                                              evidence (FLEURS)                                   conf
zh    Rec Qwen0.6; Fast SenseVoice;     Rec Qwen0.6 (keep); Fast SenseVoice (keep);          Qwen0.6 7.57, MLT 7.33, Qwen1.7 7.14, turbo 8.50,    low
      Hint Whisper turbo                Acc Qwen3-ASR 1.7B (+Fun-ASR-Nano as a Mandarin      SenseVoice 10.12: all inside ±1 CI except SenseVoice.
                                        option, hotwords); Hint Whisper turbo                 Vendor-only AISHELL/WenetSpeech claims; no indep. run.
yue   Rec Qwen0.6; Fast SenseVoice;     Rec Qwen0.6; Fast: none (drop SenseVoice);            Qwen0.6 7.91, Qwen1.7 6.13, MLT 8.39 vs turbo 34.62, high on
      Hint Whisper turbo                Acc Qwen 1.7B; Hint Whisper large-v3 if offered       v3 22.06, SenseVoice 37.44 (script caveat above).   the gap
                                        (turbo is unusable for yue)
ja    Rec Qwen0.6; Fast SenseVoice;     Rec Whisper turbo (or Fun-ASR-MLT, 2.10); Fast       turbo 4.82, v3 4.81, Qwen1.7 5.29, Cohere 5.13,     medium
      Hint Whisper turbo                Qwen0.6/SenseVoice (7.63); Acc Fun-ASR-MLT or         SenseVoice 7.63, Qwen0.6 8.61, FunASR-Nano 8.50,
                                        Qwen 1.7B; Hint Whisper turbo                         MLT 2.10 (outlier, verify). Qwen 0.6B is not the best
                                                                                              choice for ja on this data.
ko    Rec Qwen0.6; Fast SenseVoice;     Rec Whisper turbo or keep Qwen0.6 (statistical        Qwen1.7 4.60, v3 4.89, turbo 5.24, MLT 5.41,        low
      Hint Whisper turbo                near-tie 5.24 vs 5.82); Fast Qwen0.6 (SenseVoice      Qwen0.6 5.82, Cohere 6.57, SenseVoice 8.27.
                                        8.27 is 40% worse); Acc Qwen 1.7B; Hint Whisper
ar    Rec Qwen0.6; Hint Whisper         Rec Whisper turbo; Acc Cohere Arabic 11.06 (or       turbo 15.48, v3 14.92, Qwen1.7 14.91, Cohere 13.60, high that
                                        shipped Cohere 13.60, or Qwen 1.7B); Fast: none      Cohere-Arabic 11.06 vs Qwen0.6 24.51 and MLT 25.88.  Qwen0.6
                                                                                                                                                  is wrong here
hi    Rec Qwen0.6; Hint Whisper         Rec Qwen0.6 (keep, 12.68 vs turbo 18.85); Acc        Qwen1.7 7.84, Nemotron3.5 8.61, Voxtral3B 8.93,      high
                                        Qwen 1.7B; Hint Whisper (turbo is weak, 18.85)        Qwen0.6 12.68, turbo 18.85, MLT 23.07
vi    Rec Qwen0.6; Hint Whisper         Rec Qwen0.6 (keep, ties turbo); Acc Qwen 1.7B or     Qwen1.7 6.15, Cohere 7.39, MLT 8.22, Qwen0.6 9.32,   medium
                                        shipped Cohere (7.39); Hint Whisper                   turbo 9.48
tr    Rec Qwen0.6; Hint Whisper         Rec Whisper turbo; drop Qwen 0.6 (16.74)             turbo 6.97, v3 6.51, Qwen1.7 9.46, Qwen0.6 16.74,    high
                                                                                              Nemotron3.5 15.40
th    Rec Qwen0.6; Hint Whisper         Rec Qwen0.6 (keep); Acc Qwen 1.7B; Hint Whisper      Qwen1.7 6.89, MLT 7.28, Qwen0.6 8.81, v3 8.78,       medium
                                        (turbo CER 13.15 is bad; use large-v3 8.78 if you    turbo 13.15
                                        offer it for Thai hints)
id    Rec Qwen0.6; Hint Whisper         Rec Whisper turbo (also gives hints); Fast Qwen0.6;  Qwen1.7 5.37, v3 6.08, turbo 7.20, MLT 7.32,         low
                                        Acc Qwen 1.7B                                         Qwen0.6 8.49
ms    Rec Qwen0.6; Hint Whisper         Rec Whisper turbo; drop Qwen0.6 as Rec (17.18)       v3 7.59, turbo 8.64, MLT 9.11, Qwen1.7 10.42,        medium
                                                                                              Qwen0.6 17.18. Qwen's own report: id/ms confusion
fa    Rec Qwen0.6; Hint Whisper         Rec Whisper turbo or Qwen 1.7B (both poor); flag    Qwen1.7 28.29, v3 30.11, turbo 30.56, Qwen0.6 50.30  high on
                                        as low accuracy in the UI                                                                                  "0.6 is bad"
fil   Rec Qwen0.6; Hint Whisper         Rec Whisper turbo                                    turbo 12.08, v3 11.82, MLT 14.29, Qwen1.7 24.29,     high
                                                                                              Qwen0.6 35.43
mk    Rec Qwen0.6; Hint Whisper         Rec Whisper turbo; Acc Whisper large-v3 (15.09)     v3 15.09, turbo 17.85, Qwen1.7 18.22, Qwen0.6 35.09  high

如果你想要最小改动，这里是一组连贯的小改动集：(1) 在通用的 QWEN_LANGUAGES 分支中，将 Whisper turbo 设为 ar、tr、ms、fil、fa、mk、id 的 Recommended，并仅对 hi、th、vi 保留 Qwen 0.6B 为 Recommended；(2) 对于 ja 使用 Whisper turbo；(3) 对 yue 移除 SenseVoice 作为 Fastest（同时考虑 ja/ko）；(4) 在提供 Qwen 的所有地方，将 Qwen3-ASR 1.7B 添加为 Most accurate。

choices_for_runtime 中的回退分支 _ => Whisper 在 UI 中不可达：LANGUAGES 中的每个代码都被 Auto、Parakeet v3 或 Qwen 集合覆盖。它只是一个守卫。

识别提示

Hex 目前仅为 Whisper 启用提示（hints）（supports_recognition_hints: true）。transcribe.cpp 还记录了 Qwen3-ASR 0.6B 和 1.7B 的 --vocabulary/--prompt（“系统消息”；0.6B “比 1.7B 更频繁地将字典回显到输出中”）以及 Fun-ASR-Nano 和 MLT 的 --vocabulary 热词。对于这些语言中重度依赖提示的用户，有两个选项：

  • 将 Whisper turbo 保留为 Hints 条目（目前可用），但要明白它对 yue（34.6）、th（13.2）、hi（18.9）较弱。Whisper large-v3（1.67 GB）可以解决 yue（22.1）和 th（8.8），但在其他语言上并无提升。
  • 带 vocabulary 的 Qwen 1.7B：在 ar、hi、vi、th、id、ja、ko、yue 上准确度优于 Whisper turbo，在 zh 上持平。这需要 Qwen 模型启用 supports_recognition_hints: true，并确认 Hex 将其提示字符串映射到词汇表。此处未做测试；未经回显行为测试，请勿在 0.6B 上启用。

自动检测

目前 AUTO_LANGUAGE 列出了 Whisper（Recommended）、SenseVoice（Fastest）和 Qwen 0.6B（同为 Recommended）。

  • 移除 SenseVoice 作为 Fastest。 它只识别五种语言（zh/yue/en/ja/ko）。对任意语音进行自动检测，会把法语或印地语路由到无法转写它们的模型。只有当用户的语言恰好是这五种时，SenseVoice 才适合放在 Auto 中。
  • 将 Whisper turbo 作为唯一的 Recommended。 支持 100 种语言、提示支持，且在上述 14 种仅 Qwen 支持的语言中，FLEURS 上的单语言准确度有 9 种超过 Qwen 0.6B。它的弱点是 yue、th、hi，以及短片段的语言误检测。Qwen 的报告（供应商）给出了 Fleurs 30 种语言上的 LID 准确度：Whisper large-v3 94.6、Qwen 0.6B 97.1、Qwen 1.7B 98.7，且 Qwen 的大部分错误是 ms/id 混淆。这是 Qwen 唯一占优的地方，而且是供应商在其自选语言上报告的。
  • 将 Qwen3-ASR 1.7B 作为 Auto 的 Most accurate（中位数 7.6，turbo 为 8.6，30 种语言）；只有当你接受其尾部语言（整个集合均值 21.4）时，才将 Qwen 0.6B 作为 Fastest。1.7B 模型的代价是 2.19 GB 和 45x。0.4.x 新增的 VoxLingua107 ECAPA 模型可以做一次廉价的语言预扫描，并将每个片段路由到该语言对应的 Recommended 模型；这是一个设计选择，此处未测试。
  • 置信度：中等。我没有找到任何人测量过简短口述语句上的检测质量；FLEURS 的数字是针对已知语言解码的。

什么能提高置信度

  • Hex 自己的 zh/ja/ko/yue 测试夹具，使用繁体/简体评分，覆盖 Qwen 0.6B 与 1.7B、Whisper turbo、Fun-ASR-MLT/Nano，音频为口述录音（短、嘈杂），而非朗读维基百科。
  • 一次粤语运行，按文字规范化后评分，以了解 SenseVoice 的 37.4 和 Whisper turbo 的 34.6 中有多少是繁简体不匹配造成的。
  • 检查 Fun-ASR-MLT 的 ja 2.10 在 Common Voice ja 或 CSJ 上是否依然成立。
  • 在 Auto 集合上对 Whisper turbo 与 Qwen 1.7B 做一次短话语语言识别检查，因为口述片段只有 2-10 秒。
  • 在基础 M 系列芯片（而非 M4 Max）上，测量每个 GGUF 的 Apple Silicon 速度。

来源

  • transcribe.cpp（MIT，handy-computer/transcribe.cpp）docs/models/：qwen3-asr-0.6b.md、qwen3-asr-1.7b.md、whisper-large-v3-turbo.md、whisper-large-v3.md、sensevoice-small.md、fun-asr-nano-2512.md、fun-asr-mlt-nano-2512.md、cohere-transcribe-03-2026.md、cohere-transcribe-arabic-07-2026.md、nemotron-3.5-asr-streaming-0.6b.md、voxtral-mini-3b-2507.md、granite-speech-4.1-2b.md；README.md 模型表；tag v0.2.4、v0.3.0、v0.4.1 的 src/arch/。以上所有 FLEURS 数字均来自这些页面，Q8_0。
  • crates.io 上 transcribe-cpp 的发布日期（0.2.4 2026-09-25、0.4.1 2026-10-22）。
  • Qwen3-ASR 技术报告（arXiv 2601.21337）以及 Qwen/Qwen3-ASR-1.7B 模型卡（供应商）：MLS/Common Voice/MLC-SLM/Fleurs、LID 准确度。仅供应商数据。
  • FunASR 模型开源许可证 v1.1（modelscope/FunASR MODEL_LICENSE）。
  • hf-audio/open-asr-leaderboard-results 文件列表（仅英语）。

本页原文 Markdown：在 AtomGit 查看·内容源自开源项目 hex19/hex