视频场景图生成任务新SOTA！中山大学提出全新时空知识嵌入框架，登顶刊TIP'24

AIGC动态欢迎阅读

原标题：视频场景图生成任务新SOTA！中山大学提出全新时空知识嵌入框架，登顶刊TIP'24
关键字：视觉,关系,知识,表示,时空
文章来源：新智元
内容字数：5320字

内容摘要：

新智元报道编辑：LRS 好困
【新智元导读】STKET框架将先验时空知识纳入多头交叉注意机制中，从而可以学习到更多有代表性的视觉关系表示，在视频图生成基准上大幅领先其他算法。视频场景图生成（VidSGG）旨在识别视觉场景中的对象并推断它们之间的视觉关系。
该任务不仅需要全面了解分散在整个场景中的每个对象，还需要深入研究它们在时序上的运动和交互。
最近，来自中山大学的研究人员在人工智能顶级期刊IEEE T-IP上发表了一篇论文，进行了相关任务的探索并发现：每对物体组合及其它们之间的关系在每个图像内具有空间共现相关性，并且在不同图像之间具有时间一致性/转换相关性。
论文链接：https://arxiv.org/abs/2309.13237
基于这些先验知识，研究人员提出了一种基于时空知识嵌入的Transformer（STKET）将先验时空知识纳入多头交叉注意机制中，从而学习更多有代表性的视觉关系表示。
具体来说，首先以统计方式学习空间共现和时间转换相关性；然后，设计了时空知识嵌入层对视觉表示与知识之间的交互进行充分探索，分别生成空间和时间知识嵌入的视觉关系表示；最后，作者聚合这些特征，以

原文链接：视频场景图生成任务新SOTA！中山大学提出全新时空知识嵌入框架，登顶刊TIP'24

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。