谷歌开源 AI 微调方法： Distilling Step-by-Step

AIGC动态欢迎阅读

原标题：谷歌开源 AI 微调方法： Distilling Step-by-Step

关键字：模型,数据,性能,参数,规模

文章来源：AI前线

内容字数：3249字

内容摘要：作者 | Anthony Alford 译者 | 王强 策划 | 丁晓昀 华盛顿大学和谷歌研究中心的一个团队最近开源了 Distilling Step-by-Step（逐步蒸馏），一种用于微调规模较小的语言模型的技术。与标准微调相比，逐步蒸馏需要的训练数据更少，并且生成的模型更小，但模型性能却优于参数规模是它 700 倍的小样本提示大型语言模型 （LLM）。虽然 LLM 一般可以在提示较少的情况下在多种任务上有良好的表现，但由于其内存和算力要求过高，模型的托管是比较有挑战的。规模较小的模型在微调后也可以有良好的表现，但这需要工程师手动创建针对具体任务优化的数据集。逐步蒸馏的关键思想是使用 LLM 自动生成一个小型微调数据集，其中的数据有一个输入和一个输出标签，以及选择这个输出标签的“理由”。微调过程会训练这个小模型来预测输出标签并生成对应的理由。在 NLP 基准上评估时，小型微调模型的性能…

原文链接：点此阅读原文：谷歌开源 AI 微调方法： Distilling Step-by-Step

联系作者

文章来源：AI前线

作者微信：ai-front

作者简介：面向AI爱好者、开发者和科学家，提供AI领域技术资讯、一线业界实践案例、搜罗整理业界技术分享干货、AI论文解读。每周一节技术分享公开课，助力你全面拥抱人工智能技术。