小模型增强可超GPT-4？北航 && 人大 | 提出大模型ICL增强范式，模型越小收益越高！

AIGC动态欢迎阅读

原标题：小模型增强可超GPT-4？北航 && 人大 | 提出大模型ICL增强范式，模型越小收益越高！
关键字：模型,样本,方法,示例,问题
文章来源：算法邦
内容字数：5500字

内容摘要：

引言：上下文学习（In-context Learning，ICL）技术是提高模型在自然语言处理任务上表现的高效提示技术，因而众多研究在这个方向上提出各种方法，但大多数都专注于示例样本的选择，排序，质量等，在样例层面提高模型表现很难再有新的突破。另外，「现有的ICL技术在弱模型上的表现存在scaling law（缩放法则）的限制」，即弱模型很难超过强模型的表现，然而弱模型由于参数规模小易于部署易于微调，因此「如何提高小参数规模模型的性能是一个值得探索地问题」。论文地址：
https://arxiv.org/abs/2401.03385
基于上述问题，本文研究「提出了一种全新的ICL，名为SLEICL（Strong LLM Enhanced ICL，大模型增强上下文学习）的方法」，它通过利用强语言模型从示例样本中学习，并提炼出解决特定任务的技巧，从而增强弱语言模型在这些任务中的能力。其中，「强模型合成的技巧被称为Grimoire（魔法书）」。
01SLEICL方法介绍作者从两个方面总结了前人的相关研究：
一方面，关于为什么ICL有效果的理论研究，作者以及部分前人的工作表明，ICL有效果并不

原文链接：小模型增强可超GPT-4？北航 && 人大 | 提出大模型ICL增强范式，模型越小收益越高！