Meta新研究挑战CV领域基操:ViT根本不用patch,用像素做token效果更佳

AIGC动态4个月前发布 新智元
9 0 0

Meta新研究挑战CV领域基操:ViT根本不用patch,用像素做token效果更佳

AIGC动态欢迎阅读

原标题:Meta新研究挑战CV领域基操:ViT根本不用patch,用像素做token效果更佳
关键字:模型,局部性,报告,图像,偏差
文章来源:新智元
内容字数:0字

内容摘要:


新智元报道编辑:乔杨
【新智元导读】下一代视觉模型会摒弃patch吗?Meta AI最近发表的一篇论文就质疑了视觉模型中局部关系的必要性。他们提出了PiT架构,让Transformer直接学习单个像素而不是16×16的patch,结果在多个下游任务中取得了全面超越ViT模型的性能。正如token是文本处理的基本单位,patch也被默认是计算机视觉领域处理图像的基本单位。
从CNN诞生,到结合Transformer架构的ViT,虽然模型架构发生了很大的变化,但有一点始终一致——
研究人员们都会把原始图像先进行切割,模型输入以patch作为基本单位。这种预处理方法非常有效,因此有广泛的影响力,几乎主导了整个CV领域。甚至于,Sora等视频生成模型也沿用了这种方法。
Sora技术报告,训练时将视觉数据切割为patch
然而,Meta AI和阿姆斯特丹大学最近联合发表了一篇文章,对这个CV领域的「基操」提出了有理有据的质疑:图像切成patch,真的有必要吗?
https://arxiv.org/abs/2406.09415
首先我们可以做一个思维实验,将图片切成patch,究竟会对模型的哪方


原文链接:Meta新研究挑战CV领域基操:ViT根本不用patch,用像素做token效果更佳

联系作者

文章来源:新智元
作者微信:AI_era
作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...