OmniSVG

OmniSVG – 复旦联合 StepFun 推出端到端多模态矢量图形生成模型

OmniSVG是复旦大学与StepFun联合推出的全球首个端到端多模态SVG（可缩放矢量图形）生成模型。依托于预训练的视觉语言模型（VLM），OmniSVG通过其独特的SVG标记化技术，将SVG指令与坐标巧妙地转化为离散令牌，从而实现结构逻辑与几何细节的有效分离。这一创新使得OmniSVG能够高效生成从简单图标到复杂动漫角色等多样化的高质量SVG图形。

OmniSVG是什么

OmniSVG是由复旦大学与StepFun合作开发的全球首个端到端多模态SVG生成模型。该模型基于先进的预训练视觉语言模型（VLM），采用创新性的SVG标记化方法，将SVG命令和坐标转化为离散令牌，有效解耦了结构逻辑与几何细节。这使得OmniSVG能够高效地生成各种SVG图形，从简单的图标到复杂的动漫角色，具有广泛的应用潜力。

主要功能

• 多模态生成：OmniSVG是首个能够根据文本描述、图像参考或角色参考生成高质量SVG图形的端到端多模态生成模型，能够创造出丰富多样的图形。
• 高效生成与训练：基于预训练的视觉语言模型Qwen-VL，OmniSVG采用独特的SVG标记化方法，将SVG命令与坐标参数化为离散令牌，训练效率比传统方法提升了超过3倍，支持处理多达30,000个令牌的序列，能够生成细节丰富的复杂SVG图像。
• 数据集与评估：OmniSVG团队推出了MMSVG-2M数据集，涵盖200万个带多模态标注的SVG资源，分为图标、插图和角色三大类别。同时，他们提出了标准化的评估协议MMSVG-Bench，用于测试条件SVG生成任务的性能。
• 可编辑性与实用性：生成的SVG文件具备无限缩放性和完全可编辑性，能够无缝融入Adobe Illustrator等专业设计工具的工作流程中，提升了AI生成图形在图形设计和网页开发领域的实际应用价值。

技术原理

• 基于预训练视觉语言模型（VLM）：OmniSVG构建于预训练的视觉语言模型Qwen-VL之上，深度融合图像与文本信息，为多模态生成奠定了坚实基础。
• SVG标记化方法：OmniSVG创新性地将SVG命令和坐标参数化为离散令牌，以类似自然语言处理的方式处理SVG生成，提升了训练效率，同时保持了生成复杂SVG结构的能力。
• 端到端多模态生成框架：OmniSVG支持多种输入方式（如文本描述、图像参考或角色参考）直接生成SVG图形，这种端到端的生成框架能够创造出色彩丰富、细节生动的矢量图形，克服了传统生成方法的限制。
• 高效训练与长序列处理：OmniSVG的训练速度比传统方法提升了3倍以上，且能够处理长达30,000个令牌的序列，能够生成包含丰富细节的复杂SVG图形。

项目地址

• 项目官网：https://omnisvg.github.io/
• Github仓库：https://github.com/OmniSVG
• HuggingFace模型库：https://huggingface.co/OmniSVG
• arXiv技术论文：https://arxiv.org/pdf/2504.06263

应用场景

• 品牌图标设计：OmniSVG能够根据文本描述迅速生成品牌图标，设计师无需从零开始绘制，显著缩短了手动设计的时间。
• 网页开发：图标是网页开发中不可或缺的元素。OmniSVG可以根据文本描述或图像参考生成可无损缩放的矢量图标，适应从移动设备到4K显示器的各种分辨率。
• 角色与场景设计：在游戏开发中，OmniSVG可用于生成游戏角色、场景等图形素材，为游戏增添独特的艺术风格。
• 动态角色生成：基于角色参考，OmniSVG能够生成保持相同角色特征但姿势或场景不同的矢量图形。
• 快速原型设计：内容创作者可以利用OmniSVG快速生成图标、插图或角形的原型，加速创作流程。

常见问题

• OmniSVG支持哪些输入形式？：OmniSVG支持文本描述、图像参考和角色参考等多种输入形式。
• 生成的SVG文件可以编辑吗？：是的，生成的SVG文件具备完全可编辑性，可以在专业设计工具中进行修改。
• OmniSVG的训练效率如何？：与传统方法相比，OmniSVG的训练效率提高了3倍以上，能够处理长达30,000个令牌的序列。