港大开源图基础大模型OpenGraph: 强泛化能力,前向传播预测全新数据

AIGC动态4个月前发布 量子位
17 0 0

港大开源图基础大模型OpenGraph: 强泛化能力,前向传播预测全新数据

AIGC动态欢迎阅读

原标题:港大开源图基础大模型OpenGraph: 强泛化能力,前向传播预测全新数据
关键字:数据,模型,节点,性能,团队
文章来源:量子位
内容字数:7339字

内容摘要:


OpenGraph 投稿向 凹非寺量子位 | 公众号 QbitAI图学习领域的数据饥荒问题,又有能缓解的新花活了!
OpenGraph,一个基于图的基础模型,专门用于在多种图数据集上进行零样本预测。
背后是港大数据智能实验室的主任Chao Huang团队,他们还针对图模型提出了提示调整技术,以提高模型对新任务的适应性。
目前,这项工作已经挂上了GitHub。
据介绍,这项工作主要深入探讨增强图模型泛化能力的策略(特别是在训练和测试数据存在显著差异时)。
而OpenGraph旨在通过学习通用的图结构模式,并仅通过前向传播进行预测,实现对全新数据的零样本预测。
为了实现目标,团队解决了以下3点挑战:
数据集间的token差异:不同图数据集常有不同的图token集,我们需要模型能够跨数据集进行预测。
节点关系建模:在构建通用图模型时,有效地建模节点关系至关重要,这关系到模型的扩展性和效率。
数据稀缺:面对数据获取的难题,我们通过大型语言模型进行数据增强,以模拟复杂的图结构关系,提升模型训练质量。
通过一系列创新方法,如拓扑感知的图Tokenizer和基于锚点的图Transformer,Ope


原文链接:港大开源图基础大模型OpenGraph: 强泛化能力,前向传播预测全新数据

联系作者

文章来源:量子位
作者微信:QbitAI
作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...