大模型提示学习样本量有玄机，自适应调节方法好

AIGC动态欢迎阅读

原标题：大模型提示学习样本量有玄机，自适应调节方法好
关键字：示例,实例,数量,数据,邻域
文章来源：夕小瑶科技说
内容字数：8226字

内容摘要：

夕小瑶科技说原创作者 | 芒果
引言：探索文本分类中的个性化示例数量在自然语言处理（NLP）领域，预测模型已经从零开始训练演变为使用标记数据对预训练模型进行微调。这种微调的极端形式涉及到上下文学习（In-Context Learning, ICL），其中预训练生成模型的输出（冻结的解码器参数）仅通过输入字符串（称为指令或提示）的变化来控制。ICL的一个重要组成部分是在提示中使用少量标记数据实例作为示例。尽管现有工作在推理过程中对每个数据实例使用固定数量的示例，但本研究提出了一种根据数据动态调整示例数量的新方法。这类似于在k-最近邻（k-NN）分类器中使用可变大小的邻域。该研究提出的自适应ICL（Adaptive ICL, AICL）工作流程中，在特定数据实例上的推理过程中，通过分类器的Softmax后验概率来预测使用多少示例。这个分类器的参数是基于ICL中正确推断每个实例标签所需的最佳示例数量来拟合的，假设与训练实例相似的测试实例应该使用相同（或接近匹配）的少量示例数量。实验表明，AICL方法在多个标准数据集上的文本分类任务中取得了改进。
论文标题：‘One size doesn’t

原文链接：大模型提示学习样本量有玄机，自适应调节方法好