谢赛宁新作：表征学习有多重要？一个操作刷新SOTA，DiT训练速度暴涨18倍

AIGC动态欢迎阅读

原标题：谢赛宁新作：表征学习有多重要？一个操作刷新SOTA，DiT训练速度暴涨18倍
关键字：模型,表征,表示,编码器,视觉
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：乔杨
【新智元导读】在NLP领域，研究者们已经充分认识并认可了表征学习的重要性，那么视觉领域的生成模型呢？最近，谢赛宁团队发表的一篇研究就拿出了非常有力的证据：Representation matters！扩散模型如何突破瓶颈？成本高又难训练的DiT/SiT模型如何提升效率？
对于这个问题，纽约大学谢赛宁团队最近发表的一篇论文找到了一个全新的切入点：提升表征（representation）的质量。
论文的核心或许就可以用一句话概括：「表征很重要！」
用谢赛宁的话来说，即使只是想让生成模型重建出好看的图像，仍然需要先学习强大的表征，然后再去渲染高频的、使图像看起来更美观的细节。
这个观点，Yann LeCun之前也多次强调过。
有网友还在线帮谢赛宁想标题：你这篇论文不如就叫「Representation is all you need」（手动狗头）
由于观点一致，这篇研究也获得了同在纽约大学的Yann LeCun的转发。
当使用自监督学习训练视觉编码器时，我们知道一个事实，使用具有重建损失（reconstruction loss）的解码器的效果远远不如具有特征预测损失（

原文链接：谢赛宁新作：表征学习有多重要？一个操作刷新SOTA，DiT训练速度暴涨18倍

联系作者

文章来源：新智元
作者微信：
作者简介：