首个通用双向Adapter多模态目标追踪方法BAT，入选AAAI 2024

AIGC动态欢迎阅读

原标题：首个通用双向Adapter多模态目标追踪方法BAT，入选AAAI 2024
关键字：方法,双向,主导,提示,模型
文章来源：机器之心
内容字数：6357字

内容摘要：

机器之心专栏
机器之心编辑部能够有效实现多模态交叉提示跟踪。
目标跟踪是计算机视觉的一项基础视觉任务，由于计算机视觉的快速发展，单模态 (RGB) 目标跟踪近年来取得了重大进展。考虑到单一成像传感器的局限性，我们需要引入多模态图像 (RGB、红外等) 来弥补这一缺陷，以实现复杂环境下全天候目标跟踪。
然而，现有的多模态跟踪任务也面临两个主要问题：
由于多模态目标跟踪的数据标注成本高，大多数现有数据集规模有限，不足以支持构建有效的多模态；
因为不同的成像方式在变化的环境中对物体的敏感度不同，开放世界中主导模态是动态变化的，多模态数据之间的主导相关性并不固定。
在 RGB 序列上进行预训练，然后以完全微调的方式转移到多模态场景的许多多模态跟踪工作存在时间昂贵和效率低下的问题，同时表现出有限的性能。
除了完全微调方法之外，受自然语言处理 (NLP) 领域参数高效微调方法成功的启发，一些最近的方法通过冻结骨干网络参数并附加一组额外可学习的参数，将参数高效 prompt 微调引入到多模态跟踪中。
这些方法通常以一种模态 (通常是 RGB) 为主导模态，另一种模态作为辅助模态。然而，这些方法

原文链接：首个通用双向Adapter多模态目标追踪方法BAT，入选AAAI 2024