豆包大模型团队发布全新Detail Image Caption评估基准，提升VLM Caption评测可靠性

AIGC动态欢迎阅读

原标题：豆包大模型团队发布全新Detail Image Caption评估基准，提升VLM Caption评测可靠性
关键字：字节跳动,模型,指标,数据,豆包
文章来源：机器之心
内容字数：0字

内容摘要：

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com当前的视觉语言模型（VLM）主要通过 QA 问答形式进行性能评测，而缺乏对模型基础理解能力的评测，例如 detail image caption 性能的可靠评测手段。
针对这一问题，中科院、北大和字节豆包大模型团队发布了 DetailCaps-4870 数据集，并提出了一种有效的评估指标 CAPTURE，取得了开源评估指标中最高的专家评价一致性，并低成本实现了与 GPT-Eval 可比的效果。论文：https://arxiv.org/abs/2405.19092
数据集：https://huggingface.co/datasets/foundation-multimodal-models/DetailCaps-4870
代码：https://github.c

原文链接：豆包大模型团队发布全新Detail Image Caption评估基准，提升VLM Caption评测可靠性