扩散模型也能推荐短视频！港大腾讯提出新范式DiffMM

AIGC动态欢迎阅读

原标题：扩散模型也能推荐短视频！港大腾讯提出新范式DiffMM
关键字：用户,物品,模型,作者,腾讯
文章来源：量子位
内容字数：0字

内容摘要：

DiffMM团队投稿量子位 | 公众号 QbitAI想象一下你在刷短视频，系统想要推荐你可能会喜欢的内容。
但是，如果系统只知道你过去看过什么，而不了解你喜欢视频的哪些方面（比如是画面、文字描述还是背景音乐），那么推荐可能就不会那么精准。
对此，来自港大和腾讯的研究人员推出了全新多模态推荐系统范式——DiffMM。
简单来说，DiffMM创建了一个包含用户和视频信息的图，这个图会考虑视频的各种元素。
然后它通过一种特殊的方法（图扩散）来增强这个图，让模型更好地理解用户和视频之间的关系。
最后，它使用一种叫做对比学习的技术，来确保不同元素（比如视觉和声音）之间的一致性，这样推荐系统就能更好地理解用户的喜好。
为了测试效果，团队在三个公共数据集上进行了大量实验，结果证明DiffMM相比于各种竞争性基线模型均达到SOTA。
目前相关论文已公开，代码也已开源。
模型方法DiffMM的总体框架图如下所示，主要包含三个部分：
多模态图扩散模型，通过生成扩散模型实现多模态信息引导的模态感知用户-物品图生成；
多模态图聚合，通过在生成的模态感知用户-物品图上进行图卷积操作以实现多模态信息聚合；
跨模

原文链接：扩散模型也能推荐短视频！港大腾讯提出新范式DiffMM