今日arXiv最热大模型论文：何恺明重提十年之争——模型表现好是源于能力提升还是捕获数据集偏见

AIGC动态欢迎阅读

原标题：今日arXiv最热大模型论文：何恺明重提十年之争——模型表现好是源于能力提升还是捕获数据集偏见
关键字：数据,偏差,模型,任务,神经网络
文章来源：夕小瑶科技说
内容字数：9539字

内容摘要：

夕小瑶科技说原创作者 | 松果2011年,知名学者Antonio Torralba和Alyosha Efros提出了“数据集偏差之战”，他们发现机器学习模型很容易“过拟合”到特定的数据集上，导致在其他数据集上表现不佳。过去十年，随着深度学习的到来，建立多样化、大规模、全面且尽可能无偏的数据集一直是推动这场的引擎。
与此同时，算法的进步，特别是神经网络架构的进步，已经在发现数据中的概念、抽象和模式——包括偏见——方面取得了前所未有的能力。
所以，为了研究此问题，何恺明团队设计了一个虚构的”数据集分类”任务。在本篇论文中，研究者们在十年的战斗之后重新审视了数据集偏差问题。本研究基于一个被称之为数据集分类的虚构任务（例如其中一个研究的典型组合被称为“YCD”，呈现了一个三向数据集分类问题），由构建更少偏见的数据集与开发更强大的模型之间的张力驱动。
令研究者和许多最初读者惊讶的是，现代神经网络在这样的数据集分类任务上可以取得极高的准确率，且这一观察结果非常稳健。进一步的实验表明，通过分类数据集学到的表示携带了一些可转移到图像分类任务的语义信息。
总之，报告显示，现代神经网络惊人地有能

原文链接：今日arXiv最热大模型论文：何恺明重提十年之争——模型表现好是源于能力提升还是捕获数据集偏见