微软亚研提出TinyMIM，用知识蒸馏改进小型ViT

AIGC动态欢迎阅读

动态标题：微软亚研提出TinyMIM，用知识蒸馏改进小型ViT

关键字：模型,方法,特征,效果,关系

文章来源：机器之心

内容字数：5432字

内容摘要：机器之心专栏微软亚洲研究院本文提出了 TinyMIM，它是第一个成功地使小模型受益于MIM预训练的模型。一、研究动机掩码建模（MIM, MAE）被证明是非常有效的自监督训练方法。然而，如图 1 所示，MIM 对于更大的模型效果相对更好。当模型很小的时候（比如 ViT-T 5M 参数，这样的模型对于现实世界非常重要），MIM 甚至可能一定程度上降低模型的效果。比如用 MAE 训练的 ViT-L 比普…

原文链接：点此阅读原文：微软亚研提出TinyMIM，用知识蒸馏改进小型ViT

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台