将混合专家推向极限：只需更新0.32%的参数就能完成模型微调

AIGC动态欢迎阅读

原标题：将混合专家推向极限：只需更新0.32%的参数就能完成模型微调

关键字：参数,模型,高效,专家,方法

文章来源：机器之心

内容字数：7971字

内容摘要：机器之心报道编辑：Panda W微调无需更新全部模型参数，这种方法只需更新不到 1% 的参数。众所周知，大模型的训练成本很高，但其实对预训练后的模型进行微调也需要一定的成本，还好我们已经有了 (IA)³ 或 LORA 等一些参数高效型微调（PEFT）方法。近日，AI 创业公司 Cohere 更进一步，将混合专家方法与 PEFT 组合，实现了极其参数高效的微调 —— 即使是在未曾见过的任务上，这种新…

原文链接：点此阅读原文：将混合专家推向极限：只需更新0.32%的参数就能完成模型微调

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台