CMU等提出超实用「模型泛化性」指标，分布外准确率提升6% | ICML 2024 Oral

原标题：CMU等提出超实用「模型泛化性」指标，分布外准确率提升6% | ICML 2024 Oral
文章来源：新智元
内容字数：6404字

深度学习模型泛化能力评估新方法：基于最低公共祖先距离 (LCA)

1. 引言：伪相关特征与泛化能力的挑战

现有的深度学习分类模型常常过度依赖训练数据中的伪相关特征，导致在分布外(OOD)数据上泛化能力下降。传统的准确率指标(Accuracy-on-the-Line)难以有效衡量不同类型模型(如视觉模型VM和视觉语言模型VLM)的泛化性能。

2. LCA距离：一种新的泛化性评估指标

卡内基梅隆大学等机构的研究人员提出了一种基于类层次结构中最低公共祖先距离(LCA Distance)的泛化能力评估方法。LCA距离衡量两个类别在语义层次结构(如WordNet)中的距离，较小的LCA距离表示模型预测的类别与真实类别在语义上更接近，即使预测错误，也体现了模型对语义特征的关注，更符合人类先验知识。

3. LCA距离的优势与有效性

LCA距离有效地解决了传统Accuracy-on-the-Line指标的局限性。实验表明，LCA距离与模型在OOD测试集上的性能具有更强的线性相关性，尤其在视觉语言模型(VLM)上表现突出，弥合了VM和VLM在泛化性能评估上的差异。 LCA距离不仅能有效预测模型的泛化性能，还能揭示VLM泛化能力更强的内在原因：VLM学习到的特征分布更符合人类语义定义。

4. 基于LCA距离的软标签训练

研究人员利用LCA距离构建软标签(Soft Labels)，为语义上接近的类别赋予更高的权重，引导模型关注语义一致的特征，减少对伪相关特征的依赖。实验结果表明，基于LCA距离的软标签训练显著提升了模型在OOD测试集上的准确率，最高可达6%，且不会影响在训练数据上的性能。

5. 隐式层次结构的构建与LCA距离的普适性

为了解决并非所有数据集都具有预定义类层次结构的问题，研究人员提出了一种自动构建隐式层次结构的方法，通过特征提取和层次聚类生成类别关系的层次结构，并在此基础上计算LCA距离。实验结果表明，使用隐式层次结构计算的LCA距离在泛化性能预测和提升方面与基于WordNet的层次结构具有类似效果，证明了LCA距离的普适性。

6. 结论与展望

LCA距离作为一种统一的泛化性指标，具有计算高效、不受模型结构和参数影响等优点。基于LCA距离的软标签训练方法以及对VLM泛化能力的解释，为提升深度学习模型的泛化能力提供了新的思路和方法。未来，LCA距离有望应用于更多与语义对齐相关的任务，并进一步推动深度学习模型的鲁棒性和可解释性。

联系作者

文章来源：新智元
作者微信：
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人对人类社会与文明进化的影响，领航中国新智能时代。