大模型预测问题的计算复杂度，用不同能力的LLMs协作提高推理效率

AIGC动态欢迎阅读

原标题：大模型预测问题的计算复杂度，用不同能力的LLMs协作提高推理效率
关键字：模型,复杂度,报告,问题,复杂性
文章来源：人工智能学家
内容字数：0字

内容摘要：

关键词：大语言模型，深度学习，计算复杂度来源：集智俱乐部
作者：郭瑞东‍‍
大语言模型（LLMs）在人工智能领域取得显著进展，但同时也带来了推理成本方面的挑战。而随着模型变得更加先进，所需的计算资源显著增加，如GPT-4的计算量是GPT-3.5的十倍左右。通常用户会倾向于使用最强大的模型来处理所有任务，而不考虑任务的复杂性。该研究提出一种系统化的方法，微调小型语言模型来评估任务复杂性来自动选择最合适的模型，以减少计算资源的浪费。
https://arxiv.org/pdf/2312.11511表一：不同模型的成本
这项研究中，首先根据编程问题数据库，给出对应的prompt，之后分别使用Lamma7B，GPT3.5和GPT4 尝试回答问题，每个模型运行五次，计算每个模型的给出正常答案的成功率，之后根据不同模型成功率的差异，定义问题的计算复杂性。具体分级方式如图2所示。图1：研究所用的问题复杂度如何计算图2：对问题复杂度分级的决策树，例如Lamma五次都答对或Lamma及GPT3.5答对次数超过7次的是一级。
之后研究者基于GPT3.5微调了一个大模型，用于根据prompt预测问题的复杂度

原文链接：大模型预测问题的计算复杂度，用不同能力的LLMs协作提高推理效率