微软发布 Orca 2 LLM，表现优于 10 倍参数模型

AIGC动态欢迎阅读

原标题：微软发布 Orca 2 LLM，表现优于 10 倍参数模型
关键字：解读,模型,提示,老师,基准
文章来源：AI前线
内容字数：2887字

内容摘要：

作者 | Anthony Alford 译者 | 明知山策划 | 丁晓昀
微软发布 Orca 2 LLM，这是 Llama 2 的一个调优版本，性能与包含 10 倍参数的模型相当，甚至更好。Orca 2 使用了一个合成训练数据集和一项称为 Prompt Erasure（提示词擦除）的新技术来实现这一性能。
Orca 2 使用了师生模式的训练方案，其中一个较大、较强的 LLM 作为另一个较小的 LLM（学生）的老师，老师的目标是提升学生的性能，使其与更大模型的性能相媲美。微软的训练技术教会较小的模型多种推理技巧，并教其如何为特定任务选择最有效的技巧。为此，老师被赋予了复杂的提示词来触发某种推理行为。不过，在一种被称为 Prompt Erasure 的方案中，学生只得到任务要求和期望的响应，而不是老师的提示词。在基准测试中，一个拥有 13B 参数的 Orca 2 模型的表现超过了一个 13B 参数的基准 Llama 2 模型，提升了 47.54%。而一个拥有 7B 参数的 Orca 2 模型在推理任务方面与一个拥有 70B 参数的 Llama 2 模型相当，甚至更好。
尽管像 Cha

原文链接：微软发布 Orca 2 LLM，表现优于 10 倍参数模型