用神经架构搜索给LLM瘦身，模型变小，准确度有时反而更高

AIGC动态欢迎阅读

原标题：用神经架构搜索给LLM瘦身，模型变小，准确度有时反而更高
关键字：准确度,网络,大小,架构,模型
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
编辑：Panda用神经架构搜索给 LLM 瘦身，同等准确度可让 LLaMA2-7B 模型大小降 2 倍。大型语言模型（LLM）的一个主要特点是「大」，也因此其训练和部署成本都相当高，如何在保证 LLM 准确度的同时让其变小就成了非常重要且有价值的研究课题。
对此，研究社区已经提出了多种多样的方法，比如剪枝、稀疏化、量化等，它们的效果也各不一样。
近日，Intel Labs 发布了一项研究成果，宣称可使用神经架构搜索（NAS）高效地为 LLM 「瘦身」。他们基于 LLaMA2-7B 模型的实验表明，该技术不仅能降低模型大小，有时甚至还能让模型的准确度获得提升！论文标题：LLaMA-NAS: Efficient Neural Architecture Search for Large Language Models
论文地址：https://arxiv.org/pdf/2405.18377
神经架构搜索（NAS）是一种让算法根据样本集自动设计神经网络架构的技术。之前曾被用来探索各式的新型神经网络架构，甚至可能发现人类从未构建过的网络架构，比如谷歌就曾通过 NAS 发现了一个新

原文链接：用神经架构搜索给LLM瘦身，模型变小，准确度有时反而更高