小模型如何进行上下文学习？字节跳动 & 华东师大联合提出自进化文本识别器

AIGC动态欢迎阅读

原标题：小模型如何进行上下文学习？字节跳动 & 华东师大联合提出自进化文本识别器

关键字：上下文,模型,样本,场景,字节跳动

文章来源：机器之心

内容字数：4315字

内容摘要：机器之心专栏机器之心编辑部我们都知道，大语言模型（LLM）能够以一种无需模型微调的方式从少量示例中学习，这种方式被称为「上下文学习」（In-context Learning）。这种上下文学习现象目前只能在大模型上观察到。比如 GPT-4、Llama 等大模型在非常多的领域中都表现出了杰出的性能，但还是有很多场景受限于资源或者实时性要求较高，无法使用大模型。那么，常规大小的模型是否具备这种能力呢？为了探索小模型的上下文学习能力，字节和华东师大的研究团队在场景文本识别任务上进行了研究。目前，在实际应用场景中，场景文本识别面临着多种挑战：不同的场景、文字排版、形变、光照变化、字迹模糊、字体多样性等，因此很难训练一个能应对所有场景的统一的文本识别模型。一个直接的解决办法是收集相应的数据，然后在具体场景下对模型进行微调。但是这一过程需要重新训练模型，计算量很大，而且需要针对不同场景需要保存多个模型权…

原文链接：点此阅读原文：小模型如何进行上下文学习？字节跳动 & 华东师大联合提出自进化文本识别器

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台