EvoQuality

AI工具16分钟前更新 AI工具集
0 0 0

EvoQuality – 字节跳动开源的图像质量评估模型

EvoQuality,一项由字节跳动与香港城市大学携手打造的创新性成果,是一款自适应进化的视觉语言模型框架,其核心使命在于实现无需参照的图像质量评估。

EvoQuality究竟是何方神圣?

EvoQuality,正是字节跳动与香港城市大学强强联合推出的自进化视觉语言模型框架,专精于无参考图像质量评估领域。该模型以 Qwen2.5-VL-7B 为基石,彻底摆脱了对人工标注的质量分数或失真标签的依赖。它通过模型自身的成对比较与多数投票机制,自主生成了排序伪标签,并借助 GRPO 强化学习算法,实现了多轮次的迭代式自我完善。

EvoQuality的核心能力概览

  • 单图质量洞察:能够为单一图像提供连续的质量评分,精准应对真实、合成及AI生成失真等多种图像质量问题。
  • 图像对品质鉴别:通过成对图像的比较,判断其相对质量优劣,并能生成富有洞察力的质量描述文本。
  • 动态进化训练:在离线阶段,通过多数投票机制构建高置信度的伪标签;在线阶段,利用 GRPO 优化策略,形成一个自我提升的闭环系统。

EvoQuality背后的技术精髓

  • 离线伪标签的诞生:针对未标注的图像对,模型会进行多次查询,判断“哪张图像的质量更胜一筹”。借助于成对多数投票(Pairwise Majority Voting)方法,建立起相对质量的,从而生成用于训练的伪排名标签,完全替代了繁琐的人工 MOS 标注。随后,通过 Thurstone Case V 心理测量模型,将离散的比较结果转化为连续的质量分数分布,生成可用于优化的保真度奖励信号。
  • 在线策略的演进:GRPO 算法将生成的伪标签转化为奖励信号,用于更新视觉语言模型的策略。通过对同一组样本的相对奖励进行估计,该算法能够有效降低训练所需的内存和计算资源。策略模型能够针对同一批图像对生成多个评估答案,并根据伪标签计算出的奖励进行梯度更新。
  • 迭代进化的驱动力:多轮次的迭代训练形成了一个强大的正反馈循环:模型能力增强 → 生成更高质量的伪标签 → 模型进一步进化。实验数据显示,这种零样本(zero-shot)的 PLCC 指标平均提升了高达 31.8%。

如何驾驭EvoQuality的力量

  • 环境先行:确保您的系统已安装 Python 3.8+,并配置好 PyTorch、Transformers 等必要库,同时具备可用的 GPU 环境。
  • 模型导入:请从 Hugging Face 下载 ByteDance/EvoQuality 的模型权重和处理器文件至本地。
  • 单图质量评估:加载待评估图像,构建诸如“Please rate the quality of this image from 0 to 100.”之类的提示词输入模型。模型将输出连续的质量分数,并辅以结构化的质量缺陷或优势描述文本。
  • 图像对品质比较:准备两张需要对比的图像,输入类似“Which image has better quality? Explain why.”的提示词。模型将进行对比分析并给出解释。
  • 批量化处理:针对图像数据集进行批量推理,并结合多次查询的多数投票机制,生成高置信度的伪标签。
  • 自进化训练(高级应用):利用生成的伪标签,通过 GRPO 算法对模型进行微调,开启新一轮的迭代进化,持续提升评估精度。

EvoQuality的突出亮点

  • 零标注成本的:彻底摆脱了对人工主观评分或失真标签的依赖,仅凭模型自身的成对比较与多数投票即可生成训练所需的信号。
  • 性能超越传统监督模型:在 7 个 IQA 基准测试中,有 5 个的表现超越了当前最先进的监督式 VLM-based IQA 方法,零样本 PLCC 指标平均提升显著。
  • 自进化闭环的强大能力:通过多轮迭代,形成了生成伪标签→训练模型→模型增强→生成更优标签的良性循环,不断突破性能瓶颈。
  • 跨数据集的卓越泛化性:天然支持零样本跨域评估,无需为新数据集重新校准感知尺度或进行重复训练。

EvoQuality的官方入口

  • HuggingFace模型库:https://huggingface.co/ByteDance/EvoQuality
  • arXiv技术论文:https://arxiv.org/pdf/2509.25787

EvoQuality与同类竞品的深度剖析

维度EvoQualityVisualQuality-R1
监督方式完全自监督,无需人工标注依赖人工 MOS 标注作为基准
核心算法GRPO + 成对多数投票伪标签 + 多轮自进化GRPO + Thurstone 模型 + 连续保真度奖励
奖励来源模型自主生成的伪排名标签(无外部依赖)基于人工 MOS 计算的连续保真度度量
模型基础Qwen2.5-VL-7BQwen2.5-VL-7B
训练机制离线伪标签生成 → 在线 GRPO 优化 → 迭代闭环进化单轮或有限轮次 RL 训练,依赖固定标注数据集
数据依赖仅需未标注图像,数据获取成本为零需要 KADID-10K、TID2013、KonIQ-10k 等带 MOS 数据集
迭代能力支持多轮自举迭代,模型与标签质量协同提升训练收敛后停止进化,受限于标注数据规模
可解释性输出质量分数及结构化质量描述文本输出质量分数、推理过程(thinking)及质量描述
跨数据集训练天然支持,无需感知尺度重新对齐支持多数据集训练,无需尺度重新对齐

EvoQuality的广泛应用前景

  • AIGC内容质检的利器:能够自动评估文生图、图像超分辨率、老照片修复等 AI 生成内容的感知质量,有效替代人工审核,显著降低内容平台的运营成本。
  • 图像压缩与传输的优化助手:能够实时评估压缩后图像的质量,在带宽与画质之间找到最佳平衡点,适用于视频流媒体、云存储等场景。
  • 手机摄影的智能辅佐:实时分析取景画面的质量,指导用户优化对焦、曝光、构图参数,或自动筛选连拍中的最佳照片。
  • 视频质量评估的新维度:可将单帧评估能力扩展至时序维度,分析动态模糊、帧间一致性、码率波动对观感的影响,用于视频编码与传输质量的监控。
阅读原文
© 版权声明

相关文章

AI聚合视觉工厂

暂无评论

暂无评论...