性能无损，模型隐私保护效果提升50%!蚂蚁数科创新跨域微调框架| AAAI 2025 Oral

相比于知识蒸馏技术，还降低了90%的算力消耗

原标题：性能无损，模型隐私保护效果提升50%!蚂蚁数科创新跨域微调框架| AAAI 2025 Oral
文章来源：量子位
内容字数：10406字

蚂蚁数科团队提出ScaleOT：高效轻量的大模型跨域微调框架

蚂蚁数科、浙江大学、利物浦大学和华东师范大合团队在AAAI 2025期间提出了一种创新的跨域微调框架ScaleOT，该框架能够在保证模型性能无损的前提下，将模型隐私保护效果提升50%，同时算力消耗降低90%。此项研究成果已发表为Oral论文，并应用于蚂蚁数科的摩斯大模型隐私保护产品中，成为国内首批通过信通院大模型可信执行环境产品专项测试的产品之一。

1. 跨域微调的挑战与ScaleOT的创新

现有的跨域微调方法存在两大局限性：一是“均匀抽积木”式的处理方式易造成模型关键层缺失，导致性能下降；二是采用知识蒸馏弥补性能损失，计算成本极高。ScaleOT针对这些问题提出了三大创新思路：

1. 智能层评估与动态保留：利用强化学习对大模型进行扫描，自动识别对当前任务最关键的层，动态保留模型“核心层”，有效降低性能损耗。

2. 模型“打码”技术：对保留的模型原始层进行“打码”，防止攻击者通过中间层复原原始模型，显著提升隐私保护强度，同时几乎不损失性能。

3. 隐私强度可调节：框架可根据不同场景需求灵活组装，实现隐私强度可调节。

2. ScaleOT的实现机制

ScaleOT框架包含两个阶段：重要性估计和仿真器生成。第一阶段，采用基于重要性感知型层替换的算法Dynamic LayerReplace，利用强化学习确定每一层的权重，并用轻量级网络（协调器）替换不太重要的层，保持层间语义一致性。第二阶段，根据学习到的重要性得分，将原始模型层及其对应的协调器组合生成仿真器，同时在模型所有者端维持满意性能。此外，ScaleOT还引入了选择性秩压缩（SRC）方法，进一步压缩模型层，提升隐私保护效果。

3. 基于Transformer架构的设计

ScaleOT关注基于Transformer架构的跨域微调。将LLM分解为紧凑型可训练适配器A和其余部分E。对E进行有损压缩得到仿真器E*，通过更新A实现模型微调。通过强化学习估计层的重要性分数，引导A和E的选择，并使用轻量级网络动态替换原始层，提高性能。

4. 实验结果与结论

实验结果表明，ScaleOT在多个模型和数据集上均优于现有方法，在保证模型性能几乎无损的情况下，显著提升了模型隐私保护效果。ScaleOT能够生成不同大小的压缩模型，并通过选择性秩压缩进一步增强隐私保护，同时仅需少量性能损失。这项研究为大模型隐私保护提供了新颖的思路和解决方案，已成功应用于蚂蚁数科的摩斯大模型隐私保护产品。

5. ScaleOT的优势总结

ScaleOT 的主要优势在于其高效性和灵活性：它在保证模型性能的同时，显著提升了隐私保护效果并降低了计算成本，并且能够根据不同场景需求动态调整隐私保护强度，为百亿级参数模型的跨域微调提供了一种高效和轻量化的解决方案。

联系作者

文章来源：量子位
作者微信：
作者简介：追踪人工智能新趋势，关注科技行业新突破