VideoChat – 开源的实时数字人对话系统，首包延迟低至3秒

VideoChat是一个开源的实时数字人对话系统，允许用户通过语音与数字人进行即时交互。该系统支持用户自定义数字人的外观和声音，无需任何训练即可实现音色克隆，首包延迟可低至3秒，适合直播、新闻播报、聊天助手等多种实时语音交互场景。VideoChat支持GLM-4-Voice，并提供两种生成方式：ASR-LLM-TTS-THG和MLLM-THG。该系统基于Gradio框架构建，支持流式视频输出，便于快速部署和开发。

VideoChat是什么

VideoChat是一款开源的实时数字人对话系统，能够支持用户通过语音与数字人进行即时的对话互动。用户可以根据自身需求自定义数字人的形象和音色，且无需进行训练即可实现音色的克隆，首包延迟可低至3秒，广泛应用于直播、新闻播报和聊天助手等各种实时语音交互场景。该系统兼容GLM-4-Voice，提供ASR-LLM-TTS-THG和MLLM-THG两种生成模式。VideoChat使用Gradio框架构建交互式应用，支持流式视频输出，确保了交互的流畅性。

VideoChat的主要功能

• 实时语音交互：用户可以通过语音与数字人进行即时对话。
• 形象和音色自定义：用户能够根据需要选择或设计数字人的外观和声音，实现个性化的互动体验。
• 语音输入和文本转换：将用户的语音输入转化为文本，并基于大语言模型生成相应的回复。
• 唇形同步：数字人在发声时，嘴唇动作与声音同步，增强真实感。
• 流式视频输出：基于Gradio框架，支持流式视频输出，提升交互的流畅度。

VideoChat的技术原理

• 语音识别（ASR）：借助FunASR等工具将用户的语音输入转换为文本。
• 大语言模型（LLM）：运用通义千问等模型根据输入文本生成相应的回复。
• 文本转语音（TTS）：使用GPT-SoVITS等工具将文本回复转换为语音。
• 说话人生成（THG）：通过MuseTalk等方案生成与语音同步的数字人视频。
• 流式输出并行流水线：基于并行处理技术，边进行推理边播放，提升响应速度。
• Gradio框架：采用Gradio 5实现流式视频输出，便于部署和构建交互式应用。

VideoChat的项目地址

• GitHub仓库：https://github.com/Henry-23/VideoChat
• 在线体验Demo：https://www.modelscope.cn/studios/AI-ModelScope/video_chat

VideoChat的应用场景

• 客户服务：作为虚拟客服，提供全天候咨询服务，解答用户疑问，降低企业人力成本。
• 在线教育：作为虚拟教师，提供语言学习和课程讲解等服务，提升学习的互动性与趣味性。
• 新闻播报：在新闻行业中，利用数字人形式播报新闻，提高效率和吸引力。
• 直播行业：作为虚拟主播进行产品介绍和直播带货，增强直播的互动性和观众体验。
• 娱乐互动：在游戏和虚拟演唱会等娱乐领域，提供更加丰富的互动体验。

常见问题

• VideoChat是否免费使用？：是的，VideoChat是一个开源项目，用户可以免费使用。
• 如何自定义数字人的形象和声音？：用户可以通过系统提供的选项或上传自己的素材进行定制。
• VideoChat适合哪些行业？：适用于客户服务、在线教育、新闻播报、直播等多个行业。
• 如何获取技术支持？：用户可以访问GitHub仓库获取相关文档和支持。