Spark-Audio-1.0-Preview官网 – 科大讯飞推出的语音基座大模型
Spark-Audio-1.0-Preview 是科大讯飞于 2026 年 9 月 16 日发布的语音基座大模型。它并不是一个只做”语音转文字”的单一识别模型,而是把语音理解这件事整体交给一个大模型来完成:模型采用 0.65B 参数规模的 Dense 音频编码器,配合 30B-A3B 的 MoE(混合专家)语言模型,前者负责把原始音频压缩成模型可理解的表示,后者负责在语义层面完成推理与生成。训练数据方面,Spark-Audio-1.0-Preview 使用了 1300 万小时音频以及大量文本数据,并且全部训练过程在纯国产算力集群上完成,涉及华为昇腾 910B、海光 BW1000 等国产芯片。官方介绍页面为 https://iflytekresearch.iflytek.com/experience/spark-audio。
Spark-Audio-1.0-Preview 官方体验页
在输入输出形态上,Spark-Audio-1.0-Preview 支持文本与语音的双模态输入,输出则为文本。这意味着你可以直接把一段音频丢给它,也可以同时附上文字说明,让模型结合两者给出回答。这种设计的好处是:当用户对音频有明确的指向性问题时,不必先转写再提问,模型可以在同一个上下文里同时”听”和”读”,减少两次调用之间的信息割裂。
在语言覆盖上,Spark-Audio-1.0-Preview 支持 99 种语言以及 202 种方言的识别。对于国内这样多方言并存、地方口音差异明显的真实使用环境来说,方言维度上的覆盖程度往往比”普通话识别率再高一个点”更能决定实际体验,这也是官方把 202 种方言作为主要信息披露的原因。
官方材料披露的关键结论还包括:Spark-Audio-1.0-Preview 是业界首个基于全国产算力训练完成的语音基座大模型;在 Fleurs 中文测试集上取得了 SOTA 结果;在高噪声、小音量等复杂声学场景下的语音识别表现领先;同时,模型的文本任务能力(通用知识、数学、代码)相较同规模语言模型没有出现明显降智。API 能力后续将上线讯飞开放平台。
从命名上看,”1.0-Preview”表明这是面向开发者与行业用户开放的预览版本:能力已经齐备、可以上手体验,但接口形态、计费方式与工程化配套仍在完善中。对关注语音技术演进的人来说,这个版本最重要的信号是两个——一是端到端路线在中文与多方言场景上已经跑通,二是国产算力能够支撑这一量级的训练。至于它在具体业务里的性价比,还要等 API 正式上线后才能下结论。
Spark-Audio-1.0-Preview的主要功能
Spark-Audio-1.0-Preview 的能力边界明显宽于传统语音识别服务,它把过去需要多个模型拼起来的任务收拢到了同一个基座里。下面按任务类型逐项说明。
- 语音转写:把音频内容转成文字,支持 99 种语言与 202 种方言,这是模型最基础也最常用的能力。得益于端到端架构,转写结果不再是孤立句子的拼接,而是会结合上下文做整体理解,专业术语与同音字的选择会更贴近语义。
- 多语言翻译:支持语音到语音、语音到文本的跨语言转换,并且在转换过程中保留原始音频中的韵律与语气信息,让翻译结果不只是”意思对”,还尽量贴近说话人的表达方式。这对需要保留情绪与态度的商务沟通、内容本地化场景很有价值。
- 多方言识别:覆盖 202 种方言,对于方言区用户的日常语音交互、地方口音较重的会议录音、基层服务窗口等场景,识别准确率相比只训练普通话的模型有明显优势,也让”说家乡话也能用”成为现实。
- 环境音识别:模型不只听”人说了什么”,还能感知背景音场,判断音频所处环境。这类信息过去在转写环节就被丢掉了,而现在可以作为上下文提供给上层应用,用于判断场景、辅助降噪或触发不同的处理策略。
- 说话人识别:能够区分一段音频中的不同发言者,在多人会议、访谈录音、客服通话、庭审记录等需要按人拆分的场景里非常实用,省去了人工标注发言人的繁琐工作。
- 情感分析:从语音的语调、节奏与声学特征中判断说话人的情绪状态,让语音交互具备”读空气”的能力。可用于客服质检、情绪关怀、用户满意度分析等业务,也可以作为对话系统调整回复语气的依据。
- 复杂音频问答:直接针对音频内容提问,模型基于对语音的端到端理解给出回答,而不是先转成文本再交给另一个语言模型处理。这减少了中间环节的信息损耗,也让语气、环境等非文本信息能够参与回答。
Spark-Audio-1.0-Preview 语音理解能力展示
需要注意的是,这七类能力并不是七个模型,而是同一个基座在不同任务上的表现。这也是”基座大模型”与”单点能力 API”最根本的区别:前者可以被微调、被组合、被嵌入更大的系统,后者只能在既定接口内使用。
Spark-Audio-1.0-Preview的技术架构与训练
理解 Spark-Audio-1.0-Preview,最值得关注的是它放弃了传统语音系统的级联路线。过去的语音理解方案通常是”语音识别(ASR)→ 文本 → 语言模型理解 → 生成回复”这样的多段拼接:每一段都有自己的误差,误差会沿着链路累积,而且语音中被丢掉的语调、情绪、环境信息,在转成文本的那一刻就永久丢失了。更麻烦的是,级联方案里每一段都要单独部署、单独维护、单独优化,工程复杂度和延迟都会随之上升。Spark-Audio-1.0-Preview 采用端到端的直觉理解架构,让音频表示直接进入大模型参与推理,从根上减少了中间环节的信息损耗与误差累积。
具体来看,模型由两部分构成。第一部分是 0.65B 的 Dense 音频编码器,负责把连续音频信号编码为模型可用的表示,参数量相对较小但专攻声学建模;第二部分是 30B-A3B 的 MoE 语言模型,负责语义推理与文本生成,其中 A3B 意味着每次推理只激活约 3B 参数,在保持大模型能力的同时显著控制了推理开销。这种”小而专的编码器 + 大而稀疏的语言模型”组合,是当前多模态大模型里比较主流也相对务实的做法。
训练数据的构成同样值得琢磨。1300 万小时音频要真正转化为能力,前提是数据里覆盖了足够多样的口音、方言、录音设备、噪声类型与说话风格;如果只是把单一来源的干净录音堆到千万小时,模型在实验室指标上会很好看,但一进真实环境就露怯。官方特别强调高噪声、小音量场景的领先,某种程度上正说明训练数据的分布是朝真实场景靠的,而不是朝测试集靠的。对语音模型来说,数据构成往往比数据总量更能决定落地效果。
双模态直接输入的设计,让文本提示和音频可以在同一上下文里被一起处理。举个实际例子:你可以上传一段会议录音,同时输入”请只总结第三位发言者关于预算的结论”,模型需要同时完成说话人区分、语义定位与摘要生成,这类复合任务在级联方案里往往要拆成三次调用才能勉强完成。
训练层面,1300 万小时音频加上大量文本数据构成了语料基础。1300 万小时是什么概念?相当于连续录制超过一千年的音频,其规模足以覆盖各种口音、噪声环境、录音设备与说话风格。而更关键的是,全部训练运行在纯国产算力集群之上,包括华为昇腾 910B、海光 BW1000 等国产芯片。这让 Spark-Audio-1.0-Preview 成为业界首个基于全国产算力训练完成的语音基座大模型——在当前环境下,这条信息的技术与产业意义不亚于模型指标本身,它验证的是国产芯片支撑超大规模训练的完整工程能力,包括集群互联、混合精度、长时间稳定训练等一整套基础设施。
在效果层面,官方公布的信息包括:Fleurs 中文测试集上取得 SOTA,说明多语言语音识别的基础能力达到了当前公开可比的最优水平;高噪声、小音量等复杂场景下的语音识别表现领先,这对应的是真实使用环境而非实验室安静录音;同时模型的文本任务能力(通用知识、数学、代码)没有出现明显降智,说明融合音频能力并没有牺牲语言模型原有的通用智能——这一点对基座模型尤其重要,很多多模态模型在加入新模态后会出现文本能力的回退。
还有一个容易被忽略的细节:30B-A3B 的 MoE 结构意味着模型总参数约 30B,但单次推理只激活约 3B。对语音场景来说这很重要——语音交互往往要求低延迟,而端到端模型又要一次性处理较长的音频上下文,如果每次推理都跑满 30B,响应时间和成本都很难接受。MoE 的稀疏激活机制让模型在保持容量的同时把实际计算量压了下来,这也是当前大模型在效果与成本之间最常见的折中方式。
此外,Spark-Audio-1.0-Preview 提供可微调的”1+N”基座体系,即以一个通用语音基座为核心,衍生出面向不同行业与场景的多个专用模型。开发者可以在基座之上做二次开发,用行业数据微调得到医疗、司法、金融、座舱等垂直版本,而不必从零训练一个语音模型。这种体系设计决定了它的目标用户更多是企业与开发者,而不是终端消费者。
如何使用Spark-Audio-1.0-Preview
目前 Spark-Audio-1.0-Preview 以官方体验页的形式开放试用,API 能力后续将上线讯飞开放平台。想上手可以按下面的步骤来。
- 进入官方体验页:打开 https://iflytekresearch.iflytek.com/experience/spark-audio,这是讯飞研究院提供的在线体验入口,无需申请即可查看模型介绍并进行试用。
- 准备音频素材:可以直接上传本地音频文件,也可以在页面内现场录制一段语音。如果想测试复杂场景能力,建议准备一段带背景噪声、音量偏低或带地方口音的录音,更能看出模型与常规转写工具的差距。
- 选择任务类型:根据想要验证的能力选择对应任务,例如语音转写、多语言翻译、方言识别、环境音识别、说话人识别、情感分析或音频问答。建议一次只验证一项,便于对照评估。
- 补充文本提示(可选):模型支持文本与语音的双模态输入,你可以同时输入一段文字说明,让模型在理解音频时有更明确的指向,例如限定输出格式、指定关注的发言人或指定翻译目标语言。
- 查看并评估结果:模型以文本形式输出结果,可以对照原始音频检查转写准确率、方言识别效果、说话人拆分是否合理、情感判断是否贴合。建议用自己的真实业务录音测试,公开样例往往偏理想。
- 关注 API 上线:如果你是企业的技术团队或开发者,需要把能力集成进自有系统,可以留意讯飞开放平台后续上线的 Spark-Audio-1.0-Preview API,届时才具备工程化接入条件。
- 基于”1+N”基座微调:针对垂直行业场景,可在通用语音基座之上进行微调,用自有行业语料衍生出贴合业务的专用模型。这一步通常需要一定的算力与数据准备,适合有明确场景和规模需求的团队。
需要说明的是,作为 Preview 版本,当前体验页更偏向能力展示与效果验证,不建议直接用于生产环境的稳定性评估。正式接入前最好等 API 上线后按官方计费与并发规则做一轮压测。
Spark-Audio-1.0-Preview的使用场景
Spark-Audio-1.0-Preview 的能力组合决定了它适合那些”不仅要听懂,还要理解语境”的场景,尤其是传统转写工具力所不及的部分。
- 智能客服与通话质检:说话人识别可以拆分坐席与客户,情感分析能标记情绪波动节点,配合转写结果自动生成工单摘要与风险提示,把原本依赖人工抽检的质检工作变成全量自动化,显著降低人力成本。
- 智慧座舱语音交互:车内天生是高噪声环境,胎噪、风噪、音乐声叠加,模型在高噪声、小音量场景下的识别优势可以直接转化为交互成功率;环境音识别还能辅助判断车内状态,例如是否有儿童哭闹、是否需要调低音量。
- 跨语言会议与同传辅助:99 种语言覆盖加上保留韵律语气的翻译能力,适合跨国会议、涉外商务沟通、国际学术交流中的实时字幕与纪要生成,也能用于在线教育课程的本地化字幕生产。
- 高效会务转写:多人会议中按说话人拆分发言,再结合上下文生成结构化会议纪要与待办事项,避免会后再花数小时整理录音,也让缺席者能快速拿到可执行的结论。
- 医疗电子病历:医生口述病历属于专业词汇密集、环境复杂、时间紧张的典型场景,方言与专业术语的识别能力加上上下文理解,可以显著降低录入负担,减少因转写错误导致的病历质量问题。
- 音频内容检索与问答:面对播客、访谈、课程录音、内部培训音频等长内容,直接向模型提问即可定位信息,比”先转全文再做检索”更省事,也能避免转写错误在检索环节被放大。
从落地路径看,这些场景大致分两类。第一类是”能力调用”,即只需要模型给出一个结果,比如把一段通话转成工单摘要,这类需求等 API 上线后直接集成即可;第二类是”能力内化”,即业务有自己的专业词表、行业表达习惯和特定噪声环境,需要在基座之上做微调,这类需求才真正用得上”1+N”体系。团队在做技术选型时,建议先用体验页判断第一类需求能不能被满足,再决定是否有必要投入微调成本。
如果你的需求只是把录音转成文字稿、或者给视频配字幕,那么更轻量的专用工具可能更经济,例如 通义听悟-语音转文字 与 字幕精灵;而 Spark-Audio-1.0-Preview 的定位是”基座”,价值在于被集成、被微调、被二次开发,而不是直接替代这些面向终端用户的成品应用。
Spark-Audio-1.0-Preview同类工具对比
把 Spark-Audio-1.0-Preview 和常见的语音类方案放在一起看,差异主要体现在架构路线与交付形态上,而不是单一指标的强弱。
| 对比维度 | Spark-Audio-1.0-Preview | 传统级联语音方案 |
|---|---|---|
| 技术路线 | 端到端语音理解,音频表示直接进入大模型 | ASR 转写后交由语言模型处理的多段拼接 |
| 模型结构 | 0.65B Dense 音频编码器 + 30B-A3B MoE 语言模型 | ASR 模型 + 语言模型 |
| 信息保留 | 保留语调、情绪、环境音等非文本信息 | 转写环节即丢失语音副语言信息 |
| 语言与方言 | 支持 99 种语言、202 种方言 | 通常按语种单独训练与部署 |
| 训练算力 | 华为昇腾 910B、海光 BW1000 等纯国产算力集群 | 依赖通用 GPU 集群,路线各异 |
| 二次开发 | 提供可微调的”1+N”基座体系 | 多为固定能力接口,定制空间有限 |
| 交付形态 | 官方体验页试用,API 后续上线讯飞开放平台 | 以成熟 API / SDK 形式直接商用 |
还有一点值得提醒:端到端方案并不是在所有维度上都优于级联方案。级联方案的优势在于每一段都能单独替换和调优,比如 ASR 用 A 家、语言模型用 B 家,出了问题容易定位;而端到端模型一旦效果不达预期,调整手段主要是微调数据或换更大的基座,排查链路更长。因此如果你的场景非常垂直、且已有成熟的 ASR 服务在运行,贸然切换到端到端基座未必划算;反之,如果你的业务本来就依赖语气、情绪、说话人这类信息,端到端的收益会非常明显。
在讯飞自身的产品矩阵里,不同工具面向的层次也不一样。科大讯飞 官方站点汇总了完整的语音与人工智能产品线,是了解全貌的起点;讯飞星火4.0 API 面向通用文本大模型的调用需求;讯飞Maas官网 与 讯飞星辰MaaS 提供模型即服务的落地通道,是企业接入讯飞模型能力的主要入口。
如果你的需求在声音生成侧而非理解侧,可以看 讯飞智作配音、文本转语音 (TTS) 与 Voicv语音克隆;语音输入侧则有成熟的 讯飞输入法。另外 讯飞loomy 也是讯飞系值得关注的产品之一。选择时的判断标准很简单:要”理解语音”选 Spark-Audio 这类基座,要”生成语音”选配音与 TTS 类工具,要”日常打字输入”选输入法。
Spark-Audio-1.0-Preview的常见问题解答
- Spark-Audio-1.0-Preview 现在可以接入 API 吗?怎么体验?
- 目前官方以体验页的形式开放试用,访问 https://iflytekresearch.iflytek.com/experience/spark-audio 即可上传或录制音频,测试转写、翻译、方言识别、情感分析等各项能力。API 能力后续会上线讯飞开放平台,需要系统集成的开发者可以关注平台的上线通知,正式接入前建议先做一轮业务录音的效果验证。
- Spark-Audio-1.0-Preview 支持哪些语言和方言?翻译效果如何?
- 官方公布的数据是支持 99 种语言以及 202 种方言的识别。翻译方面支持语音到语音、语音到文本的跨语言转换,并且在转换过程中会尽量保留原始音频中的韵律与语气,这一点对需要传达态度与情绪的沟通场景比较重要。实际效果建议用自己的目标语种样本实测。
- 为什么说它是”基于全国产算力训练”的?这有什么意义?
- Spark-Audio-1.0-Preview 的全部训练过程运行在纯国产算力集群之上,使用了华为昇腾 910B、海光 BW1000 等国产芯片,是业界首个基于全国产算力训练完成的语音基座大模型。其意义不只是芯片选型本身,而是验证了国产算力能够支撑千亿级参数规模、千万小时级数据量的完整训练流程,包括集群调度、长时间稳定训练与精度保障。
把视角再拉远一点,语音基座大模型的出现,会逐步改变语音类产品的分工方式。过去做一款语音应用,团队需要自己拼 ASR、拼情绪识别、拼说话人日志,能力边界由拼装能力决定;往后更可能变成”选一个合适的基座,用行业数据微调,把精力放在产品与交互上”。这条路径在文本大模型领域已经发生过一次,语音领域大概率会重演,只是节奏会慢一些,因为语音数据的获取与标注成本远高于文本。
综合来看,Spark-Audio-1.0-Preview 更适合被理解成一块”底座”:它把语音理解这件事从多段拼接收敛成一次推理,并且证明了这条路线可以在国产算力上跑通。对大多数终端用户来说,短期内真正会接触到它的方式,是各类接入了该模型的产品变得更聪明——听得懂方言、分得清说话人、察觉得到情绪,而用户未必知道背后换了新的模型。
Spark-Audio-1.0-Preview官网网址
Spark-Audio-1.0-Preview 的官方体验与介绍页面为 https://iflytekresearch.iflytek.com/experience/spark-audio,模型的架构说明、能力演示、效果样例与最新动态都以该页面为准。企业用户如需了解后续 API 的接入方式,可持续关注讯飞开放平台的官方公告。
OpenI AI时代点评
语音大模型这一轮竞争的真正分水岭,不在于转写准确率又提高了零点几个百分点,而在于”语音到底有没有被真正理解”。级联方案把音频压缩成文本后再交给语言模型,本质上默认了”文字能完全代表语音”,但语调、犹豫、情绪、环境噪声这些信息,恰恰是人与人交流中最重要的部分。同样一句”好的”,用不同语气说出来可能是认同、敷衍或不满,转成文字后这层信息就彻底消失了。Spark-Audio-1.0-Preview 选择端到端路线,让音频表示直接参与大模型推理,这一步走对了方向,也让说话人识别、情感分析、环境音识别这些能力成为同一个模型的自然产物,而不是外挂的模块。
另一层意义在算力侧。1300 万小时音频的训练量放在纯国产算力集群上完成,本身就是一次工程能力的验证:它证明了昇腾 910B、海光 BW1000 这类国产芯片能够支撑起大模型级别的完整训练流程。对国内 AI 产业链来说,这条结论的影响范围会超出语音领域本身——它回答的是”没有外部高端算力,我们能不能自己把大模型训出来”这个更根本的问题。从这个角度看,Spark-Audio-1.0-Preview 的示范价值不只在模型指标上。
Fleurs 中文测试集 SOTA、复杂声学场景领先、文本任务未明显降智,这三点合在一起说明模型没有为了”听得懂”而牺牲”想得明白”。尤其是第三点,很多多模态模型在融合新模态后会出现文本能力回退,Spark-Audio-1.0-Preview 通过 MoE 结构与训练配比把这层风险压住了,这对后续做微调的开发者是个好消息:基座本身的语言能力是完整的,垂直微调时不必担心”加了行业数据就忘了常识”。
当然,Preview 版本意味着它还在早期:API 尚未上线,开发者暂时只能通过体验页评估效果,真正的大规模落地还要等讯飞开放平台开放接口之后;”1+N”基座体系的实际微调门槛、微调成本与效果增益,也需要更多公开案例来验证。选型时建议分清层次——如果你的目标是把语音能力嵌进自有产品,可以关注 Spark-Audio-1.0-Preview 与 讯飞Maas官网、讯飞星辰MaaS 的后续衔接;如果只是要一份转写稿或字幕,通义听悟-语音转文字、字幕精灵 这类成熟工具更省事;需要配音与声音生成的,则可以看 讯飞智作配音。想亲自判断效果,直接去 https://iflytekresearch.iflytek.com/experience/spark-audio 传一段带噪声的录音,比看任何评测数字都直观。


