Fun-ASR-Realtime

Fun-ASR-Realtime – 阿里千问推出的流式实时语音识别模型

Fun-ASR-Realtime，由阿里千问倾力打造，是一款革新性的流式实时语音识别大模型。它运用WebSocket流式协议，实现了“边说边出字”的即时体验，首字响应快至百毫秒，尾字延迟亦微乎其微。

Fun-ASR-Realtime：您的实时语音识别新选择

Fun-ASR-Realtime，作为阿里千问旗下的一款前沿流式实时语音识别大模型，通过WebSocket流式协议，为您带来“边说边出字”的无缝体验。该模型不仅响应迅速，首字延迟仅需百毫秒，尾字延迟同样极低，更能支持普通话、16种方言以及30种语言的实时识别。此外，它还集成了强大的上下文理解、热词定制、情感识别以及时间戳输出等核心能力。

Fun-ASR-Realtime的亮点功能

• 即时流式识别：借助WebSocket双工通信，实现音频到文本的超低延迟转换，让您在说话的同时就能看到文字。
• 方言与多语种覆盖：支持16种方言（包含粤语、吴语、闽语、客家话等）和30种语言，完美适配出海客服、国际会议等多元化场景。
• 上下文智能纠错：模型能够基于历史对话的上下文和实时热词进行精准自我修正，例如将“叶鹿”根据语境修正为更准确的“夜鹭”。
• 情感洞察：Qwen-ASR模型可识别7类精细化情绪，而Paraformer则提供3类极性情感判断。
• 精准时间戳：Fun-ASR与Paraformer默认输出句级与字级时间戳，极大地便利了字幕对齐和关键词高亮显示。
• 个性化热词增强：通过自定义热词，您可以显著提升品牌名称、人名及专业术语的识别准确度。
• 智能VAD断句：服务端能自动侦测语音的起点与终点，并支持灵活的静音阈值与灵敏度设置。
• 非人声有效过滤：模型能够自动排除非人声干扰，从而提升识别结果的纯净度。

Fun-ASR-Realtime背后的技术引擎

• 大模型流式架构：基于Transformer或Conformer等先进大模型作为核心骨干，辅以流式推理机制，使得音频输入与输出同步进行，无需等待整段音频处理完毕，将首字延迟控制在百毫秒级别。
• 因果注意力与分块处理：推理过程中采用因果注意力掩码，确保每一步预测仅依赖于当前及过往音频帧，避免前瞻性信息干扰；同时，通过固定长度的音频分块输入，巧妙平衡了延迟与准确性。
• 泛Context强化训练：在模型训练阶段，引入历史对话上下文（Historical Context）和实时热词（Hotwords）作为辅助输入，通过“Context-aware Rescoring”机制，使模型能根据语境动态调整识别结果，例如将“叶鹿”根据观鸟的语境纠正为“夜鹭”。
• 多任务联合建模：除了核心的语音识别任务，模型还联合训练情感识别和语音活动检测（VAD）任务，通过共享编码器提取通用声学特征，一次前向传播即可同步输出转写文本、情感标签和断句边界。
• 时间戳对齐机制：基于连接时序分类（CTC）或注意力对齐路径，在解码过程中同步预测每个字/词在音频中的起止时间戳，提供句级和字级两种精度，满足字幕同步和关键词定位的需求。

如何轻松上手Fun-ASR-Realtime

• 获取鉴权信息：请访问阿里云百炼控制台（https://help.aliyun.com/zh/model-studio/real-time-speech-recognition-user-guide）获取API Key，并将其配置为环境变量。
• 安装SDK：通过pip或Maven命令，安装最新版本的DashScope SDK。
• 参数配置：实例化Recognition对象，并设置模型名称为 fun-asr-realtime，同时指定音频格式（如pcm/wav）及采样率。
• 建立连接：利用WebSocket与阿里云的推理服务端建立双工通信通道。
• 发送音频数据：按照预设的帧长，循环读取麦克风或音频文件数据并发送。
• 接收识别结果：在回调函数中处理实时返回的 on_event ，即可获取中间结果和句级最终结果。
• 结束识别任务：音频发送完毕后，调用 stop() 方法或发送 finish-task 指令，即可安全关闭识别会话。

Fun-ASR-Realtime的突出优势

• 低延迟与高精度并存：实现百毫秒级首字延迟，同时保持媲美离线模型的准确率，做到“又快又准”。
• 方言识别行业领先：在16种方言的测试中，有12种的识别表现优于火山和腾讯的同类产品，尤其在吴语系方面达到行业顶尖水平。
• 上下文自纠错能力：具备出色的语境理解能力，能够根据后续信息自动校正先前的识别错误。
• 工业级场景鲁棒性：即使在复杂的背景噪音、远场嘈杂环境以及带有口音的场景下，中英文识别准确率依然领先竞品。
• 生态接入便捷高效：通过阿里云百炼平台提供统一服务，支持多语言SDK和WebSocket直连，并提供成熟的高并发处理方案。

Fun-ASR-Realtime与同类竞品对比

Fun-ASR-Realtime的广泛应用场景

• 直播实时字幕：为长时直播、多人互动场景提供毫秒级延迟的字幕输出，轻松应对频繁的说话人切换和复杂的赛制环境。在影视飓风“重返荒岛”100小时直播中，已成功输出累计132万字的实时字幕。
• 会议实时转写：在远程会议、线下论坛等场合，实现“边说边出字”，并输出带有句级与字级时间戳的结构化文本，方便会后快速回顾关键发言和定位特定时间点。
• 客服通话质检：实时捕捉客服与用户的双向对话内容，同步进行情感状态检测，结合热词定制功能，精准识别品牌名、产品名和投诉关键词，实现通话过程中的实时风险预警。
• 语音输入法：为移动端、车载终端、IoT设备提供低延迟的方言输入能力，支持粤语、吴语、闽语等16种方言的实时转写，显著提升非普通话用户的输入效率和使用体验。