总结374篇相关工作，陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述

AIGC动态欢迎阅读

原标题：总结374篇相关工作，陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述
关键字：模型,知识,教师,语言,数据
文章来源：机器之心
内容字数：8253字

内容摘要：

机器之心专栏
机器之心编辑部大语言模型（Large Language Models, LLMs）在过去两年内迅速发展，涌现出一些现象级的模型和产品，如 GPT-4、Gemini、Claude 等，但大多数是闭源的。研究界目前能接触到的大部分开源 LLMs 与闭源 LLMs 存在较大差距，因此提升开源 LLMs 及其他小模型的能力以减小其与闭源大模型的差距成为了该领域的研究热点。
LLM 的强大能力，特别是闭源 LLM，使得科研人员和工业界的从业者在训练自己的模型时都会利用到这些大模型的输出和知识。这一过程本质上是知识蒸馏（Knowledge, Distillation, KD）的过程，即从教师模型（如 GPT-4）中蒸馏知识到较小的模型（如 Llama）中，显著提升了小模型的能力。可以看出，大语言模型的知识蒸馏技术无处不在，且对于研究人员来说是一种性价比高、有效的方法，有助于训练和提升自己的模型。
那么，当前的工作如何利用闭源 LLM 进行知识蒸馏和获取数据？如何有效地将这些知识训练到小模型中？小模型能够获取教师模型的哪些强大技能？在具有领域特点的工业界，LLM 的知识蒸馏如何发挥作用

原文链接：总结374篇相关工作，陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述

联系作者

文章来源：机器之心
作者微信：almosthuman2014
作者简介：专业的人工智能媒体和产业服务平台