LLM的「母语」是什么？

AIGC动态欢迎阅读

原标题：LLM的「母语」是什么？
关键字：英语,中文,语言,单词,模型
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：alan
【新智元导读】在以英语为主的语料库上训练的多语言LLM，是否使用英语作为内部语言？对此，来自EPFL的研究人员针对Llama 2家族进行了一系列实验。大语言模型的「母语」是什么？
我们的第一反应很可能是：英语。
但事实果真如此吗？尤其是对于能够听说读写多种语言的LLM来说。
对此，来自EPFL（洛桑联邦理工学院）的研究人员发表了下面这篇工作来一探究竟：
论文地址：https://arxiv.org/pdf/2402.10588
项目地址：https://github.com/epfl-dlab/llm-latent-language
作者以Llama2为对象，向我们展示了具有多语言能力的Transformer，是如何思考问题的。
像「羊驼」这种在英语区下长大的娃，他的「多语言」到底是本质属性，还是仅仅套了个翻译的壳？
这对于人们理解LLM的运行机制至关重要。
要探究大模型的内心世界，虽然听起来有点复杂，但实际上一点也不简单。
研究人员在这里化繁为简，使用特定的提示来保证输出的唯一性，同时把Llama-2-7B的32层输出全部提取出来——一层一层一层的剥开她的

原文链接：LLM的「母语」是什么？