三个臭皮匠顶个诸葛亮？可能是真的，已证实混合多个小模型性能比肩GPT3.5

AIGC动态欢迎阅读

原标题：三个臭皮匠顶个诸葛亮？可能是真的，已证实混合多个小模型性能比肩GPT3.5
关键字：人工智能,模型,报告,系统,参数
文章来源：机器之心
内容字数：5617字

内容摘要：

机器之心报道
编辑：rome对模型参数量的迷信、执念也许可以放下了，混合多个小模型也是未来构造对话型 AI 的一个光明的方向。
在对话型人工智能（AI）研究中，存在趋势即朝着开发参数更多的模型方向发展，如 ChatGPT 等为代表的模型。尽管这些庞大的模型能够生成越来越好的对话响应，但它们同时也需要大量的计算资源和内存。本文研究探讨的问题是：一组小模型是否能够协同达到与单一大模型相当或更好的性能？
本文介绍了一种创新而简单的方法：混合。
作者展示了如果从一组小规模的对话型人工智能中随机选择回复，生成的对话型人工智能具有很强的性能和吸引力，可以胜过参数数量级大很多的系统。作者观察到混合模型似乎具有 “最优” 的特征，通过在对话历史上进行条件化响应，一个具有特定属性的单一模型能够学习其他系统的能力。可以为用户提供更引人入胜和多样化的回复和使用体验。
作者通过在 CHAI 平台上进行大规模 A/B 测试，证明了混合模型的有效性。在真实用户的测试中，包含三个 6-13B 参数 LLM 的混合模型，胜过了 OpenAI 的 175B + 参数 ChatGPT。并且混合模型的用户留存率显著高于基于

原文链接：三个臭皮匠顶个诸葛亮？可能是真的，已证实混合多个小模型性能比肩GPT3.5