「无需配对数据」就能学习！浙大等提出连接多模态对比表征C-MCR｜NeurIPS 2023

AIGC动态欢迎阅读

原标题：「无需配对数据」就能学习！浙大等提出连接多模态对比表征C-MCR｜NeurIPS 2023

关键字：表征,语义,对比,文本,空间

文章来源：新智元

内容字数：6326字

内容摘要：新智元报道编辑：LRS 好困【新智元导读】C-MCR利用现有多模态对比表征间可能存在的重叠模态，来连接不同的对比表征，从而学到更多模态间的对齐关系，实现了在缺乏配对数据的多模态间进行训练。多模态对比表示（multi-modal contrastive representation, MCR）的目标是将不同模态的输入编码到一个语义对齐的共享空间中。随着视觉-语言领域中CLIP模型的巨大成功，更多模态上的对比表征开始涌现出来，并在诸多下游任务上得到了明显的提升，但是这些方法严重依赖于大规模高质量的配对数据。为了解决这个问题，来自浙江大学等机构的研究人员提出了连接多模态对比表示（C-MCR），一种无需配对数据且训练极为高效的多模态对比表征学习方法。论文地址：https://arxiv.org/abs/2305.14381项目主页：https://c-mcr.github.io/C-MCR/模型和…

原文链接：点此阅读原文：「无需配对数据」就能学习！浙大等提出连接多模态对比表征C-MCR｜NeurIPS 2023

联系作者

文章来源：新智元

作者微信：AI_era

作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。