7月6日消息，阿里云通义实验室的实时语音识别模型 Fun-ASR-Realtime 完成新一轮升级。官方称，升级后的模型以单一架构覆盖 30 种语言和 16 种方言，针对东亚和东南亚地区进行了重点优化。在官方工业级方言内部评测中，模型以 87.8% 的语义准确率领先同类产品，多地方言接近人工识别水平。同时，该模型引入了上下文语义消歧机制，并将流式识别的首字延迟控制在百毫秒级别。Fun-ASR-Realtime 通过阿里云百炼平台提供 API 服务，已在钉钉 AI 听记、视频会议等场景大规模落地。上述精度数据来自官方内部评测（inhouse），第三方独立基准的覆盖仍有限。
30 种语言覆盖，东亚和东南亚是优化重心
Fun-ASR-Realtime 的语言支持从早期版本的中英双语逐步扩展至当前的 30 种语言。覆盖范围包括东亚和东南亚（中文、日语、韩语、越南语、泰语、印尼语、马来语、菲律宾语）、南亚和中东（印地语、阿拉伯语），以及法语、德语、西班牙语、葡萄牙语、俄语等欧洲主流语种。官方将东亚和东南亚列为重点优化方向，这与该地区语种的声调特征和语音多样性直接相关——声调语言的识别难度通常高于非声调语言。
模型支持多语言无缝切换。在同一段语音中交替出现不同语种时，系统可以自动检测并切换识别语言，无需用户预设语种标签。这一能力对跨国会议、跨境客服和多语种直播字幕等场景有直接价值。
16 种方言覆盖，87.8% 语义准确率领先同类
方言识别是这次升级的核心。Fun-ASR-Realtime 覆盖 16 种方言，涵盖中文主要方言体系（吴语、粤语、闽南语、客家话、赣语、湘语、晋语等）及多种地方口音。背后的 Fun-ASR 模型基于数千万小时真实语音数据训练，其中方言训练数据超过 50 万小时。
在官方工业级方言内部评测中，Fun-ASR-Realtime 以 87.8% 的语义准确率大幅领先，官方称多地方言已接近人工识别水平。作为参照，在 FunAudioLLM 此前公开的工业级基准中，Fun-ASR 大模型的方言 WER（词错误率）为 15.21%，而 Whisper-large-v3 为 66.14%，Kimi-Audio 为 71.94%，字节 Seed-ASR 为 29.45%。Fun-ASR 在方言维度的领先幅度明显。
需要说明的是，官方内部评测与公开基准的指标口径不同。"87.8% 语义准确率"是基于语义维度的评测（即识别结果是否传达了正确语义），而公开基准通常使用 WER 或 CER（字错误率），衡量的是逐字匹配的精度。两者不能直接换算。
热词注入与上下文语义消歧
针对方言和专业场景中频繁出现的同音歧义问题，Fun-ASR-Realtime 引入了上下文理解机制。开发者可以在识别过程中动态注入热词与对话上下文，帮助模型在同音词、品牌名、领域术语等容易混淆的词汇上做出正确判断。
这一机制的技术实现基于 RAG（检索增强生成）。热词以 prompt 方式注入解码过程，模型在生成识别结果时会参考注入的上下文信息，而非依赖简单的文本后处理替换。据 Fun-ASR 技术报告（arXiv: 2509.12508），在专业领域测试中，热词注入后关键术语的召回率可从 75% 左右提升至 97% 以上。对于方言中的地名、特色词汇、行业术语，这一功能可以显著减少误识别。
流式与非流式一体化训练，首字延迟百毫秒级别
Fun-ASR-Realtime 在实时性上的设计思路是将流式识别与非流式识别进行一体化训练。传统做法是分别训练两个模型再协同，而一体化训练的目标是让流式模型本身就具备接近离线模型的识别精度，从源头缩小两者的差距。
官方称，模型的首字延迟控制在百毫秒级别。通义百聆此前公布的数据为 160ms。在实际使用中，音频以流的方式通过 WebSocket 协议输入，模型边接收边输出中间结果，每个句子确认后输出最终文本。确认后的文本锁定不变，新文字持续更新，适合实时字幕和语音助手等需要即时反馈的场景。
Fun-ASR-Realtime 支持 PCM、WAV、MP3、Opus 等多种音频格式，采样率不限，音频时长无上限。模型通过阿里云百炼平台的 DashScope SDK（Python、Java）或 WebSocket 直连接入，并支持 Android 和 iOS SDK。
方言实时识别的真正门槛不在平均精度
Fun-ASR-Realtime 选择把方言识别深度作为差异化方向，回应了一个真实的市场缺口。此前大多数云端实时 ASR API 对方言的支持停留在少数高频方言（粤语、四川话），覆盖广度和精度都无法满足政务热线、地方直播、区域客服等刚需场景。Fun-ASR-Realtime 将 16 种方言纳入实时 API 并给出 87.8% 的语义准确率，在产品形态上填补了这一空白。
但方言识别最关键的变量不是平均精度，而是方言之间的不均匀。高频方言（粤语、四川话等）的训练数据充裕，精度可能已经很高；低频方言（赣语、晋语等）的数据积累较薄，精度可能显著低于平均值。"87.8%"作为整体语义准确率具有参考价值，但不同方言的拆分表现直接决定了特定地区场景能否真正落地。此外，该数字来自官方内部评测，测试集的方言分布和难度构成未公开，第三方独立复现将是验证这一数据的下一步。
各方言拆分数据和多语言实时化进展是下一步焦点
Fun-ASR-Realtime 接下来最值得关注的有两件事。一是各方言的独立精度拆分数据。16 种方言中哪些已经达到"接近人工水平"、哪些还有明显差距，这决定了开发者在特定方言场景下能否放心接入。二是 30 种语言在实时流式场景下的实际表现。多语言实时识别对延迟和精度的要求比离线场景更高，声调语言和低资源语种在流式模式下的表现需要单独验证。Fun-ASR 的开源版本 Fun-ASR-Nano（800M 参数、MIT 许可）已通过 FunASR 工具包提供本地部署能力，后续其与云端版在方言精度上的差距也值得开发者在选型时留意。
