finetune后的模型参数，还可以继续怎么玩？

AIGC动态欢迎阅读

原标题：finetune后的模型参数，还可以继续怎么玩？
关键字：侵权,知乎,腾讯,任务,参数
文章来源：智猩猩GenAI
内容字数：0字

内容摘要：

大会预告12月5日-6日，2024中国生成式AI大会（上海站）将举办。上海科大助理教授、博导顾家远，腾讯优图实验室天衍研究中心负责人吴贤，银河通用机器人合伙人张直政，趣丸科技副总裁贾朔，旷视研究院高级研究员李华东已确认参会，将围绕大模型、具身智能、AI视频生成带来分享，欢迎报名。导读作者为qjf42
原文来自知乎，地址：https://zhuanlan.zhihu.com/p/591775846
本文只做学术/技术分享，如有侵权，联系删文。看到了一篇很有意思的paper，文章对预训练和finetune之后的模型参数之差（task vector = 两个weight按位相减）做了分析，发现了一些奇妙的用法：通过对不同下游任务的task vectors进行简单的计算，组合得到的新参数（构成一个线性子空间），可以扩展出更多的使用场景，如：功能抑制（遗忘），多任务学习，迁移学习。
以下，我们记task vector 为
我们可以构造一系列新的参数
01反向即遗忘也就是
显然，这可以让模型的效果变差，有多差呢？
作者用CLIP分别在八个下游任务上finetune，然后反向，并观察在ImageNe

原文链接：finetune后的模型参数，还可以继续怎么玩？

联系作者

文章来源：智猩猩GenAI
作者微信：
作者简介：