微软发布！提示工程进化为位置工程，有效提升RAG与上下文学习

AIGC动态欢迎阅读

原标题：微软发布！提示工程进化为位置工程，有效提升RAG与上下文学习
关键字：位置,工程,数据,性能,示例
文章来源：夕小瑶科技说
内容字数：7529字

内容摘要：

夕小瑶科技说 原创作者 | 谢年年
别再光顾着优化提示工程啦！微软最近推出位置工程研究思路，只需调整token的索引位置，而不修改文本本身，就能显著提高任务性能。
提示工程通过添加、替换或删除段落和句子改变提示，调整语义信息，激发LLMs的推理能力。比如CoT通过在问题的结尾附加“Let’s think step by step”这几个词，鼓励模型生成推理过程。
而微软这篇工作发现在tokens之间引入占位符token可改变其他token的相对位置。这些占位符token不参与注意力分数的计算，但占据了token索引位置。因此可能优化提示中不同段落之间的注意力权重。
▲提示工程与位置工程的比较。”Para”指的是提
示中的段落，”Sent”指的是句子。通过在两个广泛使用的LLM场景中——检索增强生成（RAG）和上下文学习（ICL）——对位置工程进行了评估。结果表明，位置工程在两种情况下都显著优于基础模型。
又一充分激发LLMs能力的新策略出现啦，说不定也是一个产出论文的好方向！
论文标题:Position Engineering: Boosting Large Language Mode

原文链接：微软发布！提示工程进化为位置工程，有效提升RAG与上下文学习

联系作者

文章来源：夕小瑶科技说
作者微信：xixiaoyaoQAQ
作者简介：专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员，覆盖500多家海内外机构投资人，互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189