ToonComposer

ToonComposer官网

腾讯推出的AI自动上色和生成动画工具，它能将动画制作里“补帧”和“上色”这两个步骤合并成“生成后原画”阶段，让动画制作流程变得更简单。

网站提供：Ai工具箱，Ai开源项目，ToonComposer，Toon。

ToonComposer简介

ToonComposer是腾讯推出的一款动画生成工具，它能将动画制作里“补帧”和“上色”这两个步骤合并成“生成后原画”阶段，让动画制作流程变得更简单。

ToonComposer功能特点

• 多方式输入生成动画：ToonComposer可以用文本、草图或者图片来生成动画。比如输入“猫咪穿着宇航服在月球上追蝴蝶”，就能生成包含多个分镜的动画脚本。

• 自动完善动画细节：根据输入的关键帧草图和彩色参考帧，自动补全中间帧并上色，最终生成连贯的卡通视频。

• 风格转换与自定义：内置20多种常见卡通风格模板，能一键切换，也支持自定义风格。

• 动态编辑分镜：通过拖拽分镜卡片，可以调整顺序、修改动作和镜头参数，实现直观的编辑效果。

• 区域控制功能：可以指定空白区域，让模型根据画面其他部分生成合理内容，减少手动绘制的工作量。

技术优势

• 稀疏草图注入机制：借助位置编码映射和位置感知残差技术，把稀疏关键帧草图精准融入模型，实现对时间的精确控制。

• 空间低秩适配器（SLRA）：调整模型的空间表现来适配卡通风格，同时保留时间上的连贯性，让生成的动作更自然。

• 区域控制能力：能指定空白区域，让模型依据上下文生成合适内容，减少人工绘制量。

ToonComposer使用方法

硬件与系统要求：需要配备NVIDIA GPU（显存不低于16GB）、Python 3.10和PyTorch 2.6.0。

安装步骤

git clone https://github.com/TencentARC/ToonComposer
cd ToonComposer
conda create -n tooncomposer python=3.10 -y
conda activate tooncomposer
pip install -r requirements.txt
pip install flash-attn==2.8.0.post2 --no-build-isolation

启动界面 

运行命令：python app.py –device cuda:0 –resolution 480p ，然后在浏览器打开http://localhost:7860，就能看到Gradio界面。

界面操作

• 文本提示：输入描述动画内容的文字，例如“A girl with long hair waves her hand.” 。

• 彩色参考帧：上传一张尺寸为480×480或者608×608的彩片，一般放在第0帧。

• 关键帧线稿：在时间轴上选好帧号，上传对应的线稿，最少需要1张。

• 区域蒙版（可选）：用黑色笔刷在线稿上涂黑，让模型自动生成该区域的内容。

• 高级设置：可以调整提示词强度（CFG Scale）和线稿控制力（Position – aware Residual Scale）。

• 生成动画：点击“Generate”，等进度条走完，就能播放并下载生成的动画。

优势与效果

• 减少手工劳动：明显降低了动画制作里补帧和上色环节的手工工作量。

• 高质量生成：在多个测试中，ToonComposer在视觉质量、一致性和制作效率方面都比现有方法表现更好。

• 灵活性高：支持在任意时间点插入多张关键帧线稿，能实现更精细的控制。

应用场景

• 动画制作

• 传统卡通：快速生成中间帧和完成上色，减少手工劳动，提高制作效率。

• 在线与直播动画：支持实时生成，适合在线卡通制作和直播动画场景。

• 3D动画：探索在3D动画制作里的应用可能性。

• 教育领域：可以制作生动的教育动画，帮助学生更直观地理解复杂概念。

• 营销与广告：能快速生成动画创意雏形，用于广告制作。

• 游戏开发：可辅助游戏开发，快速生成角色和场景动画，用于原型设计。

Github：https://github.com/TencentARC/ToonComposer

ToonComposer官网入口网址

https://lg-li.github.io/project/tooncomposer/

OpenI小编发现ToonComposer网站非常受用户欢迎，请访问ToonComposer网址入口试用。