InstructAV2AV

InstructAV2AV官网

InstructAV2AV 是北京智源人工智能研究院与北京大合开源的音视频联合编辑模型。它把一句自然语言指令同时作用于视频画面与对应声音，在端到端生成过程中完成编辑，省去手工打掩码和多步拼接的麻烦。无论是修改台词、替换人物，还是增删画面中的对象，模型都能保留背景与环境声不变，让声音和画面在时间轴上保持同步。这一能力建立在双流交互架构之上：视频与音频分支先各自建模，再通过跨模态注意力交换特征，使视觉与声音相互约束。模型还引入源潜变量拼接，把源视频与源音频的潜变量作为结构条件约束整个去噪过程，从而精准保留背景、无关对象与环境声，做到只改动目标、不重绘整个世界。

主要功能

1. 身份保持的语音修改：在保留人物相貌与口型的前提下，只替换其台词内容，新文本对应的声音随画面同步生成，人物身份不受影响；
2. 音视频实例替换：把画面中某个指定人物连同他的声音和台词一并换成另一个角色，实现声画整体迁移，而非只改其中一个维度；
3. 实例插入：向已有画面添加新对象，并自动合成与之匹配、时间对齐的环境音或人声，新元素天然融入原有声场；
4. 实例移除：删除画面里指定对象的同时，抹去它在音轨中对应的声音，背景环境声保持连续不留破绽；
5. 属性组合编辑：人物外观、说话文案、音色三者可各自修改并组合，一次指令就能完成多重调整，无需反复操作。

如何使用InstructAV2AV

项目以开源代码加模型权重的形式提供，本地部署后按以下流程运行：

1. 从 GitHub 克隆 InstructAV2AV 代码仓库到本地；
2. 依据仓库说明创建 Python 环境并安装所需依赖；
3. 从 Hugging Face 下载 InstructAV2AV 模型权重；
4. 准备一段带声音的视频素材作为输入，素材的时长与分辨率需符合仓库给出的要求；
5. 编写一句自然语言编辑指令，清楚描述想要改动的内容，例如替换某个人物或改写某句台词；
6. 运行推理脚本，等待模型生成编辑后的视频与音频；
7. 查看输出结果，确认声画同步与背景保留符合预期，再保存编辑完成的音视频文件。

使用场景

1. 影视后期：后期团队替换演员台词并同步口型，绕开补拍与重录，显著降作成本；
2. 短视频制作：创作者用一句话修改素材里的人物和声音，加快二创、配音与多语言本地化的产出效率；
3. 虚拟人运营：运营团队调整数字人的外观、音色与说话内容，快速产出面向不同平台与受众的版本；
4. 广告创意：广告从业者批量生成不同人物与台词版本的宣传视频，用于素材测试与定向投放；
5. 交互式内容生产：游戏与教育工作者动态生成音画一致的多媒体素材，在需要实时生成与交互式音视频流的场景里，可搭配 SeedRealtime 这类实时方案使用。

价格与版本

InstructAV2AV 目前以学术研究项目的形式开源，代码、模型权重与技术论文均免费向社区开放，项目方未公布任何商业付费版本或订阅价格。个人与机构可在遵循仓库开源许可的前提下免费下载、部署与二次开发；如需商用，建议先查看 GitHub 仓库中的许可条款，以其最新说明为准。训练数据方面，团队通过素材筛选、编辑目标合成与自动评估加人工复核构建了 InsAVE-80K 数据集，用于支撑模型的编辑能力。由于模型以研究开源形式发布，社区也可基于自有数据做进一步微调，适配特定角色或特定风格的编辑需求。

常见问题解答

InstructAV2AV 需要付费吗？

不需要。代码、权重与论文均开源免费，项目方未设置任何商业付费版本，部署与使用不产生费用。

编辑之后声音和画面还能保持同步吗？

能。模型采用双流交互架构，视频与音频分支通过双向跨模态注意力交换特征，使视觉与声音相互约束，编辑后依旧声画同步。

普通电脑能本地运行吗？

可以部署，但需要具备一定算力的 GPU 与对应的 Python 环境。流程是克隆仓库、安装依赖、下载 Hugging Face 权重，再准备带声视频素材并输入指令运行推理。

官网网址

InstructAV2AV 官网入口网址：https://hjzheng.net/projects/InstructAV2AV/

OpenI AI时代点评

InstructAV2AV 把”指令驱动”从单一模态推进到音视频联合编辑，核心亮点在于源潜变量拼接与 SIGA 门控注意力，让模型知道”改哪里、留哪里”，避免牵一发而动全身。对影视后期、短视频和虚拟人这类高频改台词、换角色的场景，它直接命中了真实工作流里的痛点。当前它仍是偏研究性质的开源项目，本地部署对硬件有一定门槛，商用前也需确认许可范围；但它展示的”一句指令同时改画面和声音”思路，很可能成为下一代视频编辑工具的标准能力。更多技术细节与在线演示可访问其项目官网 https://hjzheng.net/projects/InstructAV2AV/。