公理训练让LLM学会因果推理：6700万参数模型比肩万亿参数级GPT-4

AIGC动态欢迎阅读

原标题：公理训练让LLM学会因果推理：6700万参数模型比肩万亿参数级GPT-4
关键字：公理,因果,模型,位置,数据
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
编辑：Panda把因果链展示给 LLM，它就能学会公理。AI 已经在帮助数学家和科学家做研究了，比如著名数学家陶哲轩就曾多次分享自己借助 GPT 等 AI 工具研究探索的经历。AI 要在这些领域大战拳脚，强大可靠的因果推理能力是必不可少的。
本文要介绍的这项研究发现：在小图谱的因果传递性公理演示上训练的 Transformer 模型可以泛化用于大图谱的传递性公理。
也就是说，如果让 Transformer 学会执行简单的因果推理，就可能将其用于更为复杂的因果推理。该团队提出的公理训练框架是一种基于被动数据来学习因果推理的新范式，只有演示足够就能用于学习任意公理。
引言
因果推理（causal reasoning）可以定义成一组推理流程并且这组推理流程要符合专门针对因果性的预定义公理或规则。举个例子，d-separation（有向分离）和 do-calculus 规则可被视为公理，而 collider set 或 backdoor set 的规范则可被看作是由公理推导出的规则。
通常来说，因果推理使用的数据对应于一个系统中的变量。通过正则化、模型架构或特定的变量选择，可以归

原文链接：公理训练让LLM学会因果推理：6700万参数模型比肩万亿参数级GPT-4