微软教小模型推理进阶版：Orca 2性能媲美10倍参数模型，已开源

AIGC动态欢迎阅读

原标题：微软教小模型推理进阶版：Orca 2性能媲美10倍参数模型，已开源

关键字：模型,研究者,任务,能力,策略

文章来源：机器之心

内容字数：7673字

内容摘要：机器之心报道机器之心编辑部站在巨人的肩膀上会让你看的更远，而通过让大规模语言模型来「教」较小规模的语言模型进行推理，也会是事半功倍的效果。如你我所见，像 GPT-4、PaLM 等前沿语言模型已经展现了出色的推理能力，例如回答复杂问题、生成解释，甚至解决需要多步推理的问题，这些能力曾被认为是 AI 无法达到的。这样的能力在较小的语言模型中并不明显，因此现在的挑战就是如何利用对大型语言模型不断增长的知识，进而提升较小模型的能力。之前微软研究院推出了 Orca，它是拥有 130 亿参数的语言模型，通过模仿更强大 LLM 的逐步推理过程，展现了强大的推理能力。现在研究者再接再厉推出了 Orca 2，继续探索如何通过改进训练信号来提升较小语言模型的推理能力。论文地址：https://arxiv.org/pdf/2311.11045.pdfHugging Face 地址 1：https://huggi…

原文链接：点此阅读原文：微软教小模型推理进阶版：Orca 2性能媲美10倍参数模型，已开源

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台