爱丁堡大学出新招，大小语言模型配合节约成本！

AIGC动态欢迎阅读

原标题：爱丁堡大学出新招，大小语言模型配合节约成本！
关键字：模型,报告,性能,成本,任务
文章来源：夕小瑶科技说
内容字数：5905字

内容摘要：

夕小瑶科技说 原创作者 | 墨墨在大语言模型的应用中，往往面临着成本和性能权衡的问题。
一方面，大型LLM的参数量极大（如70B），每次调用都可能带来更多的成本，而小型LLM（如7B）的成本则更容易被接受。
另一方面，更大的参数量明显带来了更好的性能。
鱼与熊掌真的不可得兼吗？
爱丁堡大学的研究者带来了全新的大小模型协同方案，不需要额外训练任何辅助模型，即可取得非常优秀的效果！
实验表明，在27个实验设置中，这一方法可以其中25个优于现有主流协同方法。
让我们来看看他们的思路吧~
论文标题Optimising Calls to Large Language Models with Uncertainty Based Two-Tier Selection
论文链接https://arxiv.org/pdf/2405.02134.pdf
现有主流方法介绍首先，研究者介绍了现有大小模型协同方案的两种主流思路。
假设我们有两个LLM，其中大型LLM比小型LLM更昂贵，但性能更好。为了让它们协同工作，方案包括：
（1）路由（Routing）（下图左）：通过用户传入的查询，来选择最合适的LLM（即

原文链接：爱丁堡大学出新招，大小语言模型配合节约成本！

联系作者

文章来源：夕小瑶科技说
作者微信：xixiaoyaoQAQ
作者简介：专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员，覆盖500多家海内外机构投资人，互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189