从模型、数据和框架三个视角出发，这里有份54页的高效大语言模型综述

AIGC动态欢迎阅读

原标题：从模型、数据和框架三个视角出发，这里有份54页的高效大语言模型综述
关键字：高效,模型,提示,研究者,数据
文章来源：机器之心
内容字数：6046字

内容摘要：

机器之心专栏
机器之心编辑部大规模语言模型（LLMs）在很多关键任务中展现出显著的能力，比如自然语言理解、语言生成和复杂推理，并对社会产生深远的影响。然而，这些卓越的能力伴随着对庞大训练资源的需求（如下图左）和较长推理时延（如下图右）。因此，研究者们需要开发出有效的技术手段去解决其效率问题。
同时，我们从图右还可以看出，近来较为火热的高效 LLMs，例如 Mistral-7B，在确保和 LLaMA1-33B 相近的准确度的情况下可以大大减少推理内存和降低推理时延，可见已有部分可行的高效手段被成功应用于 LLMs 的设计和部署中。在本综述中，来自俄亥俄州立大学、帝国理工学院、密歇根州立大学、密西根大学、亚马逊、谷歌、Boson AI、微软亚研院的研究者提供了对高效 LLMs 研究的系统全面调查。他们将现有优化 LLMs 效率的技术分成了三个类别，包括以模型为中心、以数据为中心和以框架为中心，总结并讨论了当下最前沿的相关技术。论文：https://arxiv.org/abs/2312.03863
GitHub: https://github.com/AIoT-MLSys-Lab/Effic

原文链接：从模型、数据和框架三个视角出发，这里有份54页的高效大语言模型综述