14 项任务测下来，GPT4V、Gemini等多模态大模型竟都没什么视觉感知能力？

AIGC动态欢迎阅读

原标题：14 项任务测下来，GPT4V、Gemini等多模态大模型竟都没什么视觉感知能力？
关键字：腾讯,解读,视觉,模型,任务
文章来源：机器之心
内容字数：5437字

内容摘要：

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com2023-2024年，以 GPT-4V、Gemini、Claude、LLaVA 为代表的多模态大模型（Multimodal LLMs）已经在文本和图像等多模态内容处理方面表现出了空前的能力，成为技术新浪潮。
然而，对于这些模型的评测多集中于语言上的任务，对于视觉的要求多为简单的物体识别。相对的，计算机视觉最初试图解读图像作为3D场景的投影，而不仅仅处理2D平面“模式”的数组。
为响应这一情况，本文提出了BLINK，这是一个新的测试集，包含了重新构想的传统计算机视觉问题，使我们能够更全面评估多模态大模型的视觉感知能力，带你揭开GPT4V、Gemini等大模型的视觉界限秘密。
作者相信BLINK将激励社区帮助多模态LLMs达到与人类同等级别的视觉感知能力。论文链接

原文链接：14 项任务测下来，GPT4V、Gemini等多模态大模型竟都没什么视觉感知能力？