多语言大模型新SOTA！Cohere最新开源Aya-23：支持23种语言，8B/35B可选

AIGC动态欢迎阅读

原标题：多语言大模型新SOTA！Cohere最新开源Aya-23：支持23种语言，8B/35B可选
关键字：模型,语言,数据,任务,英语
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：LRS
【新智元导读】Aya23在模型性能和语言种类覆盖度上达到了平衡，其中最大的35B参数量模型在所有评估任务和涵盖的语言中取得了最好成绩。虽然LLM在过去几年中蓬勃发展，但该领域的大部分工作都是以英语为中心的，也就是说，虽然模型的能力很强，但也仅限于英语、汉语等使用人数多的语言，在处理资源匮乏的语言时往往性能不佳。
想要破局多语言，两个关键在于强大的多语言预训练模型以及足量的、涵盖多种语言的指令训练数据。
为了解决上述问题，最近，加拿大的独角兽AI公司Cohere开源了两种尺寸（8B和35B）的多语言模型Aya23，其中Aya-23-35B在所有评估任务和涵盖的语言中取得了最好成绩。论文链接：
https://cohere.com/research/papers/aya-command-23-8b-and-35b-technical-report-2024-05-23
Aya-23-8B: https://huggingface.co/CohereForAI/aya-23-8B
Aya-23-35B: https://huggingface.co/CohereFo

原文链接：多语言大模型新SOTA！Cohere最新开源Aya-23：支持23种语言，8B/35B可选