AIGC动态欢迎阅读
原标题:首次攻克「图基础模型」三大难题!港大开源OpenGraph:零样本学习适配多种下游任
关键字:节点,数据,模型,表征,拓扑
文章来源:新智元
内容字数:20485字
内容摘要:
新智元报道编辑:LRS
【新智元导读】港大发布通用图基座模型OpenGraph,巧妙从LLM中蒸馏零样本图泛化能力。图学习(Graph Learning)技术能够对复杂的关系数据进行挖掘和学习,在推荐系统、社交网络分析、引用网络和交通网络等多个领域都显示出了巨大的应用价值。
图神经网络(Graph Neural Networks, GNNs)基于迭代的消息传递机制,能够捕捉图结构数据中的复杂高阶关系,在各类图学习应用场景中取得了巨大的成功。
通常,这种端到端的图神经网络需要大量、高质量的标注数据才能获得较好的训练效果。
近年来,一些工作提出图模型的预训练-微调(Pre-training and Fine-tuning)模式,使用各种自监督学习任务在无标注的图数据上首先进行预训练,再在少量标注数据上进行微调,以对抗监督信号不足的问题。这里的自监督学习任务包括对比学习、掩码重建、局部全局互信息最大化等方法。
尽管这种预训练方法取得了一定的成功,但他们的泛化能力较为有限,特别是当预训练和下游任务出现分布偏移(Distribution Shift)时。
例如在推荐系统中,预训练模型使用较早时
原文链接:首次攻克「图基础模型」三大难题!港大开源OpenGraph:零样本学习适配多种下游任
联系作者
文章来源:新智元
作者微信:AI_era
作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...