当prompt策略遇上分治算法,南加大、微软让大模型炼成「火眼金睛」

当prompt策略遇上分治算法,南加大、微软让大模型炼成「火眼金睛」

AIGC动态欢迎阅读

原标题:当prompt策略遇上分治算法,南加大、微软让大模型炼成「火眼金睛」
关键字:模型,策略,问题,任务,提示
文章来源:机器之心
内容字数:5747字

内容摘要:


机器之心专栏
机器之心编辑部近年来,大语言模型(LLMs)由于其通用的问题处理能力而引起了大量的关注。现有研究表明,适当的提示设计(prompt enginerring),例如思维链(Chain-of-Thoughts),可以解锁 LLM 在不同领域的强大能力。
然而,在处理涉及重复子任务和 / 或含有欺骗性内容的任务(例如算术计算和段落级别长度的虚假新闻检测)时,现有的提示策略要么受限于表达能力不足,要么会受到幻觉引发的中间错误的影响。
为了使 LLM 更好地分辨并尽可能避免这种中间错误,来自南加州大学、微软的研究者提出了一种基于分治算法的提示策略。这种策略利用分治程序来引导 LLM。论文地址:https://arxiv.org/pdf/2402.05359.pdf
具体来讲,我们将一个大任务的解决过程解耦为三个子过程:子问题划分、子问题求解以及子问题合并。理论分析表明,我们的策略可以赋予 LLM 超越固定深度 Transformer 的表达能力。实验表明,我们提出的方法在受到中间错误和欺骗性内容困扰的任务中(例如大整数乘法、幻觉检测和错误信息检测)可以比经典的提示策略获得更好的性能


原文链接:当prompt策略遇上分治算法,南加大、微软让大模型炼成「火眼金睛」

联系作者

文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...