ICLR 2024 Oral | 三行代码，即插即用！NUS尤洋团队新作—InfoBatch，无损数据集动态剪枝加速

AIGC动态欢迎阅读

原标题：ICLR 2024 Oral | 三行代码，即插即用！NUS尤洋团队新作—InfoBatch，无损数据集动态剪枝加速
关键字：样本,数据,方法,梯度,开销
文章来源：大数据文摘
内容字数：6415字

内容摘要：

大数据文摘受权转载自将门创投
本文介绍来自NUS尤洋团队的最新科研成果 – InfoBatch。这是首篇关于无损数据剪枝加速的工作，覆盖分类、分割、检测、图片生成、LLM指令微调等任务。作为一个即插即用且与架构无关的框架，在实际应用中，InfoBatch 可以无损地节省 40% 的总开销（时间和计算）。随着深度学习的网络参数量和数据集规模增长，算力需求日益增加，如何节省训练成本正在成为逐渐凸显的需求。现有的数据集压缩方法大多开销较高，且难以在达到无损的情况下获得可观的节省率；加权抽样的相关方法则对于模型和数据集的特点较为敏感且依赖于重复抽样假设，在实际应用中难以和已完成调参的学习率调整策略结合。两种从数据角度出发的方法在实践中很难真正帮助节省计算。
在本篇工作中，研究者从数据迭代这个角度切入进行了研究。长久以来，数据集的迭代方式大都采用随机迭代。对此，作者提出了InfoBatch框架，根据网络对样本的拟合情况进行动态剪枝采样的方法，并利用重缩放（rescaling）来维持剪枝后的梯度更新（Gradient Update）期望，以此在性能无损的情况下提高训练效率，加快训练速度。
Info

原文链接：ICLR 2024 Oral | 三行代码，即插即用！NUS尤洋团队新作—InfoBatch，无损数据集动态剪枝加速