KG+LM超越传统架构！海德堡提出全新图语言模型GLM | ACL 2024

AIGC动态欢迎阅读

原标题：KG+LM超越传统架构！海德堡提出全新图语言模型GLM | ACL 2024
关键字：节点,模型,语言,关系,文本
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：alan
【新智元导读】近日，来自海德堡大学的研究人员推出了图语言模型 (GLM)，将语言模型的语言能力和知识图谱的结构化知识，统一到了同一种模型之中。语言模型（LM）的成功似乎掩盖了旁人的光辉。
比如知识图谱（knowledge graph，KG），这个整合了实体关系的结构化知识库。
通常来说，语言模型代表了语言能力，而知识图谱蕴含了结构信息。
长期以来，对于KG的利用大致可以分为两类：
第一类是将KG线性化后嵌入LM，这种做法并不能充分利用其结构信息；
第二类是使用图神经网络 (GNN) 来保留图结构，但GNN无法表示文本特征，也无法与LM的预训练特征结合。
——有没有办法结合二者的优点，既保留预训练LM的能力，又充分利用KG来增强模型对于图概念和三元组的理解？
当然有，不然小编就不会写，那就是来自海德堡大学的研究人员推出的图语言模型 (GLM)。
论文地址：https://aclanthology.org/2024.acl-long.245.pdf
GLM集成了两种方法的优势并弥补了它们的缺点。
作者使用预训练LM来初始化GLM的参数，同时又设计新的架构来促进有

原文链接：KG+LM超越传统架构！海德堡提出全新图语言模型GLM | ACL 2024