今日arXiv最热大模型论文：北大发布,通过上下文提示，让大模型学习一门新的语言

AIGC动态欢迎阅读

原标题：今日arXiv最热大模型论文：北大发布,通过上下文提示，让大模型学习一门新的语言
关键字：语言,壮语,模型,资源,字典
文章来源：夕小瑶科技说
内容字数：8421字

内容摘要：

夕小瑶科技说原创作者 | 松果
引言：探索LLMs学习新语言的可能性在人工智能领域，大语言模型（LLMs）的发展已经取得了显著的进步，它们在处理高资源语言方面表现出色。然而，对于资源较少的语言，尤其是极低资源语言，这些模型的支持却显得力不从心。这些语言往往缺乏足够的训练数据来有效地更新模型参数，从而使得模型难以学习和理解这些语言。这一挑战引发了一个有趣的研究问题：LLMs是否能够仅通过提示（prompting）即时学习一种新的低资源语言？
为了探索这一问题，研究者选择了壮语作为研究对象，这是一种目前没有任何LLM支持的极低资源语言。通过收集壮语的研究套件ZHUANGBENCH，包括字典、平行语料库和机器翻译测试集，研究者引入了DIPMT++框架，旨在通过上下文学习（in-context learning）来适应未见过的语言。仅使用字典和5K平行句子，DIPMT++显著提高了GPT-4在中文到壮语翻译上的表现，从0提升到16 BLEU分，并在壮语到中文翻译上达到了32 BLEU分。此外，研究还展示了该框架在帮助人类翻译完全未见过的语言方面的实际效用，这可能有助于语言多样性的保护。
论文

原文链接：今日arXiv最热大模型论文：北大发布,通过上下文提示，让大模型学习一门新的语言