Intel入局大模型，烧钱搜索130亿种网络结构，让LLaMa2瘦身30%

AIGC动态欢迎阅读

原标题：Intel入局大模型，烧钱搜索130亿种网络结构，让LLaMa2瘦身30%
关键字：子网,网络,模型,大小,精度
文章来源：夕小瑶科技说
内容字数：0字

内容摘要：

夕小瑶科技说 原创作者 | 任同学大语言模型在多个领域大放异彩，但它们的高内存和计算成本限制了广泛使用。神经架构搜索（NAS）能自动找到最优模型架构，减少手动调试，但在大模型上应用NAS仍然面临高成本和庞大搜索空间的挑战。
来自于自英特尔公司的英特尔实验室（Intel Labs）的研究团队提出了一种基于LLaMA2-7B的高效神经架构搜索方法，通过一次性微调和遗传算法搜索来找到更小、更高效的网络架构，而无需从头训练超网络。研究表明，预训练的LLaMA2-7B模型在某些标准基准任务上过于庞大和复杂，该方法减少了1.5倍的模型大小，提高1.3倍的吞吐量，而准确率几乎没有下降。
论文题目：LLaMA-NAS: Efficient Neural Architecture Search for Large Language Models论文链接：http://arxiv.org/abs/2405.18377论文单位：Intel Labs
方法为了优化大语言模型，使其能够在不同硬件平台和性能需求下高效运行，本文提出了基于InstaTune方法的高效神经架构搜索（NAS）策略。
InstaTune是

原文链接：Intel入局大模型，烧钱搜索130亿种网络结构，让LLaMa2瘦身30%

联系作者

文章来源：夕小瑶科技说
作者微信：xixiaoyaoQAQ
作者简介：专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员，覆盖500多家海内外机构投资人，互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189