ToonCrafter

ToonCrafter是一个由腾讯AI实验室、香港中文大学和香港城市大学的研究团队共同开发的开源卡通动画视频中间帧生成工具。它利用创新的生成式插值技术，只需提供两张关键帧，就能自动生成流畅的中间动态帧，打破了传统卡通动画制作中线性的限制。与传统的逐帧绘制方法相比，ToonCrafter显著提高了创作效率，减少了动画师的工作量，缩短了制作周期，同时保留了动画的高质量和创造性。

ToonCrafter是什么

ToonCrafter是一款开源的卡通动画视频插值工具，致力于简化动画制作流程，特别是在生成中间帧方面。通过突破传统动画制作中对线性的假设限制，ToonCrafter运用先进的生成式插值技术，仅需两张关键帧，即可自动生成中间动态帧，从而实现流畅的动画效果。该工具不仅提高了制作效率，还大幅减轻了动画师的负担，缩短了动画制作时间，并保持了丰富的创意和高质量的表现。

主要功能

• 生成式卡通插值：ToonCrafter利用深度学习技术，通过输入的两张关键帧图片，自动推算并生成中间帧，创造出卡通动画的平滑过渡和动态效果。此方法能够有效模拟复杂的模式，包括角色动作和场景变化。
• 细节保持与增强：借助先进的双参考3D解码器技术，ToonCrafter在生成新帧时确保图像细节得以保留，甚至得到增强。这种机制尤其适合卡通动画的需求，避免插值过程中细节模糊和失真。
• 草图指导动画：ToonCrafter配备草图编码器，允许用户通过简单的草图输入，指导动画生成的过程。用户可以指定动画的某些特征，如角色的轨迹或特定风格的突出，从而实现个性化效果。
• 遮挡区域处理：该工具能够智能识别和处理动画中的遮挡情况，并合理推断被遮挡区域的和变化，生成符合视觉逻辑的帧。
• 多应用场景：ToonCrafter适用于多种动画创作场景，不仅可以生成完整的卡通视频，还可以从卡通素描生成动画，或对现有动画进行上色和风格化处理，提供丰富的创作可能性。

产品官网

• 官方项目主页：https://doubiiu.github.io/projects/ToonCrafter/
• GitHub代码库：https://github.com/ToonCrafter/ToonCrafter
• Hugging Face Demo：https://huggingface.co/spaces/Doubiiu/tooncrafter
• arXiv技术论文：https://arxiv.org/abs/2405.17933v1

应用场景

ToonCrafter的应用十分广泛，不仅适合动画制作人和艺术家进行完整的卡通视频制作，还可以用于教育、游戏开发和广告创意等领域。它为动画师提供了一个高效的工具，让他们能够专注于创意和内容的表达，而不是繁琐的制作流程。

常见问题

• ToonCrafter能否处理真实视频？：目前，ToonCrafter主要针对卡通动画的生成，尽管它能够处理视频中的模式，但主要的优化和效果集中在卡通风格的动画上。
• 使用ToonCrafter需要专业知识吗？：虽然ToonCrafter提供了强大的功能，但用户可以通过简单的草图和设置轻松上手，无需高深的专业知识。
• 我可以在本地运行ToonCrafter吗？：是的，用户可以按照提供的步骤在本地部署ToonCrafter，并通过命令行或Gradio UI进行操作。

如何使用和体验ToonCrafter

方法一、在线版Demo体验

1. 访问Hugging Face版的在线Demo，https://huggingface.co/spaces/Doubiiu/tooncrafter
2. 在Input Image添加输入图像
3. 输入提示词并调节Seed值、步长、FPS等
4. 最后点击Generate按钮进行生成视频

方法二、本地代码部署

开发人员可以选择本地部署和运行ToonCrafter，具体步骤如下：

1. 获取代码：访问ToonCrafter的项目页面，或使用Git命令克隆或下载代码到本地。git clone https://github.com/ToonCrafter/ToonCrafter.git
2. 环境准备：通过Anaconda安装所需的Python环境和依赖库

   conda create -n tooncrafter python=3.8.5
   conda activate tooncrafter
   pip install -r requirements.txt

3. 下载预训练模型：下载预先训练好的ToonCrafter_512模型并将其model.ckpt放入checkpoints/tooncrafter_512_interp_v1/model.ckpt。
4. 命令行运行 sh scripts/run.sh
5. 运行本地Gradio版界面：你也可以选择运行本地Gradio UI，运行指令 python gradio_app.py
6. 然后按照上方在线版的操作步骤输入图片并设置参数进行生成即可