微软&清华提出全新预训练范式，指令预训练让8B模型实力暴涨！实力碾压70B模型

AIGC动态欢迎阅读

原标题：微软&清华提出全新预训练范式，指令预训练让8B模型实力暴涨！实力碾压70B模型
关键字：指令,合成器,数据,模型,任务
文章来源：夕小瑶科技说
内容字数：0字

内容摘要：

夕小瑶科技说 原创作者 | 谢年年
现在的大模型训练通常会包括两个阶段：
一是无监督的预训练，即通过因果语言建模预测下一个token生成的概率。该方法无需标注数据，这意味着可以利用大规模的数据学习到语言的通用特征和模式。
二是指令微调，即通过自然语言指令构建的多样任务对预训练模型进行微调，显著增强了任务泛化能力。
最近，微软与清华提出了指令预训练（Instruction Pre-Training）的新方法，该方法在第一阶段引入指令—响应对的数据，采用监督多任务学习来探索预训练语言模型的新途径。
指令预训练使Llama3-8B模型在部分领域上的表现甚至超越了Llama3-70B模型。
论文标题:Instruction Pre-Training: Language Models are Supervised Multitask Learners
论文链接：https://arxiv.org/pdf/2406.14491
github链接：https://github.com/microsoft/LMOps
可能有同学会担心指令—响应对的数据从何而来，人工构建的话耗时耗力，如果是合成数据，其

原文链接：微软&清华提出全新预训练范式，指令预训练让8B模型实力暴涨！实力碾压70B模型

联系作者

文章来源：夕小瑶科技说
作者微信：xixiaoyaoQAQ
作者简介：专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员，覆盖500多家海内外机构投资人，互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189