大模型多跳推理有解啦，北大化繁为简，用30B模型击败百亿模型

AIGC动态欢迎阅读

原标题：大模型多跳推理有解啦，北大化繁为简，用30B模型击败百亿模型

关键字：问题,快手,模型,答案,数据

文章来源：夕小瑶科技说

内容字数：8239字

内容摘要：夕小瑶科技说 原创作者 | 谢年年、python我们日常生活中的许多问题都是复杂的多跳问题。比如“《坚如磐石》中饰演黎志田的演员在《三体》中饰演什么角色？”要回答这个问题，我们得先知道《坚如磐石》中饰演黎志田的演员是谁，还得熟知《三体》的演员表，并将两者的答案对应起来。这对LLM来说是一个非常大的挑战，要求其能够熟练地将复杂的问题分解成多个子问题，每个子问题的答案还不能出错，最后才能正确回答这个复杂的问题。再加上LLM容易产生幻觉并且无法获得最新知识，即使是简单的子问题也很有可能犯错，一步错步步错，离正确答案越来越远。最近，北大团队提出了一种约束问题分解策略，将复杂问题分解转化为“分解-查询”深度优先搜索框架，能够引导大型语言模型在问答任务中有效地利用外部知识，并设置一个可靠的问答库限制幻觉风险。实验表明，D Q用200个训练示例，以30B的小模型击败了570B规模的大模型，并且在67%的…

原文链接：点此阅读原文：大模型多跳推理有解啦，北大化繁为简，用30B模型击败百亿模型

联系作者

文章来源：夕小瑶科技说

作者微信：xixiaoyaoQAQ

作者简介：更快的AI前沿，更深的行业洞见。聚集25万AI应用开发者、算法工程师和研究人员。一线作者均来自清北、国外顶级AI实验室和互联网大厂，兼备媒体sense与技术深度。