IndexTTS-2.5

IndexTTS-2.5 – Bilibili 开源的工业级零样本语音克隆模型

IndexTTS-2.5：Bilibili 匠心打造的工业级零样本语音克隆新标杆

IndexTTS-2.5，由 Bilibili 倾力打造并开源，是一款性的工业级零样本语音克隆模型。该模型凭借其仅 0.8B 的精巧参数量，却能实现惊人的多语种跨语种迁移能力，轻松驾驭中文、英语、日语、西班牙语及语五大语种。这款模型不仅在技术上实现了突破，更在推理效率上实现了质的飞跃，速度提升高达 2.28 倍，同时支持 0.5x 至 2.0x 的语速灵活调整，并能对发音、情感等细节进行深度精细化控制。目前，其完整的代码、模型权重及技术论文均已公开发布，并遵循 Bilibili Model License 协议。

IndexTTS-2.5：不止于克隆，更是语音的无限可能

IndexTTS-2.5 凭借其前沿技术，为语音合成领域带来了诸多创新功能：

• 零样本语音克隆，一瞬之间：只需一段 3 至 10 秒的参考音频，IndexTTS-2.5 即可精准捕捉并复刻任何说话者的独特音色。无需针对目标说话人进行任何额外的训练，真正实现“听声辨人”，所见即所得。
• 五语互通，语言：模型强大的跨语种能力，使其能够无缝支持中文、英语、日语、西班牙语和语。这意味着，您可以轻松实现一种语言的音色迁移到另一种语言的语音合成中。
• 情感表达，随心所欲：IndexTTS-2.5 提供了多维度、精细化的情感控制方案。您可以选择通过的“情感参考音频”来传递情绪，也可以利用“八维情感向量”精确设定情感强度，甚至开启“文本驱动的情感自动推断”功能。此外，通过 emo_alpha 参数，用户还可以对情感的浓淡程度进行细致的微调。
• 音色与情感，奏鸣：模型实现了音色提示音频与情感提示音频的彻底解耦。用户能够分别掌控“谁在说话”和“说话的方式”，甚至可以将两者组合，创造出前所未有的个性化语音体验。
• 语速，节奏由你：通过 duration_factor 参数，您可以将合成语速在 0.5 倍到 2.0 倍之间进行无级调节，无论是需要快节奏的叙述，还是舒缓的表达，都能轻松满足。
• 发音精准，字字珠玑：IndexTTS-2.5 支持中文拼音、英语 CMU 音素以及日语假名三种粒度的发音控制，能够有效解决多音字、异读词以及语境依赖发音等难题，确保每一句话都发音准确、自然流畅。

IndexTTS-2.5：技术革新，驱动效率与品质双重飞跃

IndexTTS-2.5 之所以能取得如此卓越的性能，离不开其背后精妙的技术架构：

• 三阶段生成流水线，步步为营：模型采用了“文本 → 语义 Token → 梅尔谱 → 波形”的三阶段生成流程。首先，基于 Transformer 的文本到语义（T2S）语言模型生成语义 Token；接着，通过非自回归的语义到梅尔谱（S2M）流匹配模块生成梅尔频谱图；最后，借助神经声码器将其还原为最终的音频波形。
• 语义编解码器，轻盈高效：通过将语义 Token 的帧率从 50Hz 压缩至 25Hz，序列长度得以直接减半。这一优化显著降低了 T2S 模块在训练和推理时的计算量与内存占用，是实现推理加速的关键技术之一。
• Zipformer 架构升级，长程建模新纪元：S2M 模块的骨干网络由 U-DiT 升级为更高效的 Zipformer 架构。Zipformer 以更少的参数量实现了更强大的长程依赖建模能力，不仅提升了梅尔谱生成的速率和稳定性，同时完美保留了合成音质。
• 跨语言建模策略，沟通无障碍：针对多语言场景下字符重叠导致的混淆问题，团队创新性地提出了三种策略：边界感知对齐（在文本前后插入语言标记如 <ZH>）、Token 级拼接（为每个输入 Token 融合语言专属嵌入）、以及指令引导生成（在文本前添加自然语言指令前缀如“请用英文朗读”）。
• GRPO 强化学习，精益求精：在 T2S 模块的后训练阶段，引入了 GRPO（Group Relative Policy Optimization）算法。通过冻结 ASR 模型的词错误率（WER）作为奖励信号，每次生成四个候选样本，并优化高奖励样本的相对似然，从而持续提升发音的准确度和语音的自然度。

关注微信公众号，回复“开源”，即可加入AI开源项目交流群，与众多技术爱好者一同探索前沿科技。

IndexTTS-2.5：轻松上手，即刻体验语音合成的魅力

使用 IndexTTS-2.5，您只需遵循以下简单步骤：

• 环境准备，万事俱备：首先，请确保您的系统已安装 Git 和 uv 包管理器。然后，通过 git clone https://github.com/index-tts/index-tts.git 命令将官方代码仓库克隆到本地。
• 依赖安装，一键完成：进入项目目录后，执行 uv sync --all-extras 命令，即可自动创建虚拟环境并安装所有必需的 Python 依赖。
• 模型下载，触手可及：您可以使用 huggingface-cli 或 modelscope 工具，从官方仓库 IndexTeam/IndexTTS-2.5 下载模型权重，并将其保存至本地 checkpoints 目录。
• 启动 Web 界面，可视化操作：执行 uv run webui.py 命令，即可启动 Gradio 交互界面。在浏览器中访问 http://127.0.0.1:7860，即可进行直观、便捷的可视化语音合成操作。
• Python 脚本集成，灵活调用：在您的 Python 脚本中，从 indextts.infer_v2_5 导入 IndexTTS2 类。通过传入配置文件路径和模型目录，完成模型的实例化。
• 基础语音克隆，简单快捷：调用实例的 infer 方法，传入参考音频路径、目标文本和语言代码，即可快速生成并保存具有克隆音色的语音文件。
• 情感控制，细腻入微：在 infer 方法中，您可以额外传入 emo_audio_prompt 参数指定情感参考音频，或使用 emo_vector 传入八维情感向量，以精确控制合成语音的情绪表现。
• 语速调节，尽在掌握：在进行推理时，设置 duration_factor 参数为 0.5 到 2.0 之间的任意数值，即可按比例加快或减慢合成语音的语速。
• 发音干预，精确控制：在输入文本中插入 <行|XING2>、<minute|M IH1 . N AH0 T> 或 <上手|じょうず> 等标注，即可实现对多音字或异读词发音的精确控制。

IndexTTS-2.5：核心优势，引领语音合成新潮流

• 小参数，大能量：模型参数量仅 0.8B，通过语义编解码器压缩和 Zipformer 架构的升级，实现了高达 2.28 倍的推理加速。在 BF16 精度下，实时率（RTF）低至 0.20，完美平衡了轻量化与高性能的需求。
• 五语跨语种，全球通行：支持中文、英语、日语、西班牙语和语五种语言。这意味着，您可以使用任意一种语言的参考音频来克隆另一种语言的语音，并且即使没有目标语言的情感训练数据，也能实现情感的跨语种迁移。
• 精细化控制，多维可塑：模型支持 0.5x 至 2.0x 的无级语速调节、八维情感向量控制、文本驱动的情感推断，以及拼音、CMU 音素和日语假名三种粒度的发音干预。这些功能能够满足内容创作在语音合成方面的精细化调节需求。
• 音感，彻底分离：音色提示音频和情感提示音频可以完全指定，甚至可以来自不同的语言。这使得用户在保留目标说话人音色的同时，能够灵活地注入所需的情感风格。
• 语支持，填补空白：在众多主流开源 TTS 模型中，IndexTTS-2.5 是少数能够完整支持语语音克隆与跨语种迁移的模型之一，为该语种在开源语音合成领域填补了重要的空白。

IndexTTS-2.5：项目链接，探索更多可能

• GitHub 仓库：https://github.com/index-tts/index-tts
• arXiv 技术论文：https://arxiv.org/pdf/2601.03888

IndexTTS-2.5 与同类竞品深度对比

IndexTTS-2.5：赋能多元化应用场景

• AI 配音与有声内容创作：内容创作者能够仅凭一段参考音频，快速生成多语种、多情感风格的有声书、广播剧和播客内容，省去重复录制的繁琐。
• 跨语言视频本地化：影视与短视频团队可以利用中文参考音频，直接生成英语、日语、西班牙语或语的配音，在保留原演员音色的同时，大幅降低海外发行成本。
• 游戏与虚拟角色语音：游戏开发者可以为 NPC 或虚拟偶像克隆特定音色，并利用情感向量实时切换情绪表达，实现动态剧情语音和直播互动。
• 实时语音交互与数字人：得益于 0.20 的超低实时率，IndexTTS-2.5 可轻松部署于智能客服、数字人直播与实时翻译场景，提供低延迟、个性化的语音回复。
• 教育与语言学习新体验：教育机构可以利用发音控制功能，生成标准的拼音、CMU 音素或日语假名示范音频，并克隆教师音色制作多语种同步课程。