视觉定位新SOTA！华人团队开源革新框架SegVG，边界框转为分割信号 | ECCV 2024

AIGC动态欢迎阅读

原标题：视觉定位新SOTA！华人团队开源革新框架SegVG，边界框转为分割信号 | ECCV 2024
关键字：视觉,模型,目标,注释,特征
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：LRST
【新智元导读】SegVG是一种新的视觉定位方法，通过将边界框注释转化为像素级分割信号来增强模型的监督信号，同时利用三重对齐模块解决特征域差异问题，提升了定位准确性。实验结果显示，SegVG在多个标准数据集上超越了现有的最佳模型，证明了其在视觉定位任务中的有效性和实用性。视觉定位（Visual Grounding）旨在基于形式的自然语言文本表达定位图像中的目标物体。
随着多模态推理系统的普及，如视觉问答和图像描述，视觉定位的重要性愈加凸显。已有的研究大致可以分为三类：两阶段方法、单阶段方法和基于Transformer的方法。
尽管这些方法取得了良好的效果，但在注释的利用上仍显得不足，尤其是仅将框注释作为回归的真值样本，限制了模型的性能表现。
具体而言，视觉定位面临的挑战在于其稀疏的监督信号，每对文本和图像仅提供一个边界框标签，与目标检测任务（Object Detection）存在显著不同，因此充分利用框注释至关重要，将其视为分割掩膜（即边界框内的像素赋值为1，外部像素赋值为0），可以为视觉定位提供更细粒度的像素级监督。
伊利诺伊理工学院、中佛罗里达大学的研

原文链接：视觉定位新SOTA！华人团队开源革新框架SegVG，边界框转为分割信号 | ECCV 2024