LLM蒸馏到GNN，性能提升6.2%！Emory提出大模型蒸馏到文本图｜CIKM 2024

AIGC动态欢迎阅读

原标题：LLM蒸馏到GNN，性能提升6.2%！Emory提出大模型蒸馏到文本图｜CIKM 2024
关键字：模型,方法,团队,数据,节点
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：LRST
【新智元导读】Emory大学的研究团队提出了一种创新的方法，将大语言模型（LLM）在文本图（Text-Attributed Graph, 缩写为TAG）学习中的强大能力蒸馏到本地模型中，以应对文本图学习中的数据稀缺、隐私保护和成本问题。通过训练一个解释器模型来理解LLM的推理过程，并对学生模型进行对齐优化，在多个数据集上实现了显著的性能提升，平均提高了6.2%。近年来，随着文本属性图（TAG）在社交媒体、电子商务、推荐系统和学术引用网络等领域的广泛应用，研究人员对如何有效地从这些复杂数据结构中学习变得越来越感兴趣。TAG不仅包含了节点之间的结构关系，还包含了节点本身的文本特征，因此如何同时处理这两种信息成为研究中的一个核心问题。
当前，图神经网络（GNN）在TAG学习中得到了广泛的应用，然而其训练过程通常需要大量的人工标注数据，这在实际应用中往往难以获取。
大语言模型（LLM）以其在少样本和零样本学习中的出色表现，为解决数据稀缺问题带来了曙光。然而，LLM的部署和使用成本高昂，且存在隐私数据泄露的风险，这使得LLM在一些实际场景中的应用受到了限制。
为了解决

原文链接：LLM蒸馏到GNN，性能提升6.2%！Emory提出大模型蒸馏到文本图｜CIKM 2024