CogView4

CogView4 – 智谱开源的AI文生图模型，支持生成汉字

CogView4 是智谱科技推出的一款开源文生图模型，拥有 60 亿个参数，具备原生中文输入与中文文字生成的能力。该模型在 DPG-Bench 基准测试中表现优异，综合评分位列第一，成为开源文生图模型领域的最新标杆（SOTA）。

CogView4是什么

CogView4 是智谱科技推出的开源文生图模型，具备 60 亿参数，能够支持原生中文输入及文字生成。作为首个遵循 Apache 2.0 协议的图像生成模型，CogView4 不仅支持任意分辨率的图像生成，还能根据复杂的文本描述生成高质量的图像。

CogView4的主要功能

• 支持中英双语输入：CogView4 是首个支持汉字生成的开源文生图模型，可以根据中文或英文输入生成高质量图像。
• 任意分辨率图像生成：该模型能够生成分辨率范围从 512×512 到 2048×2048 的图像，满足多种创作需求。
• 卓越的语义对齐能力：在 DPG-Bench 基准测试中，CogView4 综合评分名列前茅，显示出其在复杂语义对齐及指令遵循方面的出色表现。
• 中文文字绘画：CogView4 特别优化了汉字生成能力，能够将汉字自然融入图像，适合广告、短视频等创意应用。
• 显存优化与高效推理：通过模型 CPU 卸载和文本编码器量化等技术，CogView4 显著降低了显存使用，提高了推理效率。

CogView4的技术原理

• 架构设计：CogView4 结合了扩散模型与 Transformer 的架构。扩散模型通过逐步去噪生成图像，而 Transformer 则负责处理文本和图像的联合表示。该模型使用了 6B 参数配置，支持任意长度的文本输入与任意分辨率的图像生成。
• 文本编码器与 Tokenizer：CogView4 采用了双语（中英文）的 GLM-4 编码器，能够处理复杂的语义对齐任务。文本通过 Tokenizer 转化为嵌入向量，随后与图像的潜在表示结合。
• 图像编码与解码：图像通过变分自编码器（VAE）编码成潜在空间的表示，随后通过扩散模型逐步去噪生成最终图像，从而高效处理图像生成任务。
• 扩散过程与去噪：扩散模型的核心是通过一系列去噪步骤逐步生成图像。CogView4 利用 FlowMatch Euler Discrete Scheduler 控制去噪过程，用户可以通过调整去噪步数（num_inference_steps）来平衡生成质量与速度。
• 多阶段训练策略：CogView4 采用多阶段训练策略，包括基础分辨率训练、泛分辨率训练、高质量数据微调和人类偏好对齐训练，确保生成图像的高质量与美感。
• 优化与效率：为了提升训练与推理效率，CogView4 采用了显存优化技术，如模型 CPU 卸载和文本编码器量化。该模型支持 Apache 2.0 协议，以便于开源社区的进一步开发。

CogView4的项目地址

• Github 仓库：https://github.com/THUDM/CogView4
• HuggingFace 模型库：https://huggingface.co/THUDM/CogView4-6B

CogView4的官方案例

• 超长故事（四格漫画）：请生成一张包含四个场景的四格漫画图，采用动漫插画风格的连环画。主要角色包括：小明：勇敢的人类男孩，手持宝剑，身穿简易战士服；公主：美丽优雅的人类女性，身着华丽公主服饰，被囚禁在怪兽的巢穴；：威严而仁慈的人类男性，身穿华丽的王者服饰，坐在王国的宝座上；火焰龙：覆盖火焰鳞片的怪兽，口吐火焰，体型庞大；黑暗魔王：巨大怪兽，笼罩在黑暗中，拥有强大的魔法力量。

• CogView4 能将中英文字符自然地融入画面，使海报和文案配图的创作变得更加便捷。

• 擅长理解和遵循中文提示词，例如能够描绘出古诗文中的意境。

CogView4的应用场景

• 广告与创意设计：CogView4 能将中英文字符自然融入图像，生成高质量的海报和文案配图，满足广告及创意设计的需求。
• 教育资源生成：该模型可以为教育领域生成教学插图、科学插图等，帮助学生更好地理解和吸收知识。
• 儿童绘本创作：CogView4 能生成适合儿童绘本的插图，激发儿童的想象力。
• 电商与内容创作：生成高质量的产品图片和广告海报，帮助商家快速创建吸引人的视觉内容。
• 个性化定制：根据用户需求生成定制化的图像内容，提升用户体验。