探索大脑中语言理解机制，香港理工大学从LLM中得到新启发，登Science子刊

AIGC动态欢迎阅读

原标题：探索大脑中语言理解机制，香港理工大学从LLM中得到新启发，登Science子刊
关键字：模型,语言,话语,大脑,人类
文章来源：人工智能学家
内容字数：0字

内容摘要：

将 ScienceAI设为星标
第一时间掌握
新鲜的 AI for Science 资讯编辑 | 萝卜皮
当前的大型语言模型 (LLMs) 依赖单词预测作为其骨干预训练任务。尽管单词预测是语言处理的重要机制，但人类语言理解发生在多个层面，涉及单词和句子的整合以实现对话语的充分理解。
香港理工大学的研究人员通过使用下一句预测（Next Sentence Prediction，NSP）任务对语言理解进行建模，从而研究话语级理解的机制。
该团队表明，NSP 预训练增强了模型与大脑数据的一致性，尤其是在右半球和多需求网络中，突出了非经典语言区域对高级语言理解的贡献。NSP 可以使模型更好地捕捉人类理解性能并更好地编码上下文信息。
另外，在模型中包含不同的学习目标会产生更加类似于人类的表征，并且研究 LLMs 预训练任务的神经认知合理性可以揭示语言神经科学中的突出问题。
该研究以「Predicting the next sentence (not word) in large language models: What model-brain alignment tells us about d

原文链接：探索大脑中语言理解机制，香港理工大学从LLM中得到新启发，登Science子刊