什么是对抗性训练(Adversarial Training)

AI百科3天前更新 AI工具集
415 0 0

对抗性训练(adversarial training)可以先用一句话说完:在训练模型的时候,顺手把“被人恶意改过的样本”也一起喂进去,让模型学会在这些样本上依然答对。它不检测异常、不过滤输入、也不给模型套一层外壳,而是把“输入会被人动过”这个前提直接写进训练目标里。

这个做法之所以重要,是因为深度模型的判断和人的直觉之间有一道缝:一张在人看来毫无变化的照片,只要在像素上加一点几乎察觉不到的扰动,模型就可能以很高的置信度给出错误答案。这类被改过的输入叫对抗样本。它不是某次代码写错的结果,也不是“模型不够大”的症状,而是从模型自身的数学结构里长出来的东西。既然攻击来自梯度,那么防御也只能回到梯度——这就是对抗训练的全部出发点。

下面按“是什么、为什么会被骗、目标函数怎么写、内层攻击怎么选、要花多少算力、代价落在哪里、怎么评估、为什么文本更难、它管不到什么”的顺序拆开讲。文中不引用具体提升数字,因为不同论文的 ε、攻击强度与评估协议并不统一。

对抗性训练到底在训练什么

一句话定义:用自己造的攻击样本来训练

标准的监督训练,是在一批干净样本上算损失、算梯度、更新参数,目标是让平均损失最小。对抗训练在这条流水线中间插了一步:对每一批样本,先用当前模型的梯度反过来生成一批“最能让损失变大”的样本,再用这批样本去更新参数。模型看到的不再是原始分布,而是原始分布被推到了决策边界附近的那一部分。它要学的不是“这张图是猫”,而是“这张图不管被谁在像素上推了一把,仍然是猫”。

三个词要先分清:对抗样本、扰动、扰动预算

对抗样本是 x+δ,其中 δ 是扰动,人的感官几乎分辨不出,但模型会判错。扰动的大小用范数衡量,最常见的是无穷范数,也就是限制每个像素的最大改动量;用 L2 范数则限制整体能量。这个上限写作 ε,叫扰动预算。ε 不是训练超参数,而是威胁模型的声明:它回答的是“我假设攻击者最多能改多少”。同一份权重,在 ε 取不同值时,鲁棒性可以差出一个数量级,所以讨论鲁棒性必须先说 ε。关于它和普通输入的差别,站内《什么是对抗样本(Adversarial Examples)》有更细的展开。

它训练的不是“识别攻击”,而是“在攻击下仍然正确”

这里容易和另一条路线混淆:对抗检测。检测器的思路是再训一个小模型,判断输入是否被改过,被改过就拒答。对抗训练不走这条路,它直接要求主模型在扰动样本上输出正确标签。区别很实际:检测器本身也是一个可微模型,攻击者可以同时优化“骗过检测器”和“骗过分类器”,一旦检测器被绕过,整套防护就失效;而对抗训练把鲁棒性压进了主任务,攻击者想成功,必须让主模型真的判错,没有旁路可走。

它也不是普通意义上的数据增强

翻转、裁剪、颜色抖动这些增强,是人预先设计好的、与标签保持一致的变换,作用是把数据分布铺得更开。对抗扰动不同:它是朝着“让当前模型的损失变大”的方向、用当前参数生成的,是一条移动靶。训练到后期,模型变了,最坏的扰动也跟着变。所以对抗训练不能像数据增强那样“离线生成一次、反复使用”,它必须在线做,这也直接决定了它的成本结构。

微小扰动为什么能骗过模型

线性假说:高维空间里的小改动会累加

Goodfellow、Shlens 和 Szegedy 在 2014 年的论文《Explaining and Harnessing Adversarial Examples》里给了一个很朴素的解释:如果模型的局部行为近似线性,那么输入维度是几十万时,每个维度只改 ε,累积起来的内积变化可以达到 ε 乘以权重绝对值之和,量级远超分类间隔。于是最有效的扰动就是让每个维度都朝梯度符号方向走一步,δ 取 ε·sign(∇x L)。这个解释并不完备,但它点出了一个反直觉的结论:脆弱性不是来自非线性太强,恰恰来自高维下的“太线性”。

决策边界离样本太近

分类器本质上是在输入空间里切一刀。样本离切面越近,被推过去的代价越小。标准训练只要求“分对”,从不要求“离边界远”,于是训练结束后,大量样本就停在离边界很近的位置——在高维空间里,随机取一个点,它大概率也贴近边界。对抗训练做的事情,本质上是把这些点从边界上推开,让切面两侧留出更宽的缓冲区。

梯度就是攻击者的地图

模型要能被训练,就必须可微;可微意味着 ∂L/∂x 是可以算出来的,而这份梯度同时也告诉了攻击者“往哪边推最有效”。白盒攻击直接用它;黑盒攻击则训练一个替代模型,把替代模型的梯度迁移过去,成功率依然可观。这也是为什么“把梯度藏起来”式的防御很难成立:只要模型还需要训练,梯度信息就始终存在。顺带一提,可解释性工具画出的显著性图,用的也是同一份梯度。

这不是实现 bug,也不是“模型不够大”

更大的模型同样有对抗样本,鲁棒性和参数量之间也不是单调关系。更根本的原因在统计学习本身:有限样本上学到的函数,必然要在样本之间做插值,而插值区域的行为没有被数据约束住,那就是攻击者的活动空间。想缩小这个空间,只有两条路——把数据铺得更密,或者在训练时主动去约束这些区域。对抗训练选的是后者。

目标函数是一个 min-max 问题

把式子写出来

对抗训练的标准形式是一个鞍点问题:外层对参数 θ 取最小,内层对扰动 δ 取最大,δ 被约束在 ε 球内。写成一行是 min over θ of E over (x,y) of [ max over ‖δ‖≤ε of L(f_θ(x+δ), y) ]。Madry 等人在 2017 年的《Towards Deep Learning Models Resistant to Adversarial Attacks》里把这件事正式表述成鲁棒优化问题,并论证了“训练一个抗攻击的模型”可以等价为求解这个 min-max。这个式子是理解后面所有工程取舍的钥匙:外层在压最坏情况,内层在找最坏情况。

内层最大化:替攻击者做一次优化

内层是一个带约束的最大化问题。因为网络非凸,精确解求不出来,实践里用梯度上升求一个近似解:从某个起点出发,沿 ∇x L 的方向走若干小步,每步之后把结果投影回 ε 球。它找到的不是理论上的全局最坏点,而是一个“足够坏”的局部极大。这个近似质量,直接决定了外层到底在优化什么东西——如果内层太弱,外层优化的就是一个被低估的上界。

外层最小化:把最坏情况压下去

外层拿内层产出的样本算损失,梯度只回传给 θ,不回传给 δ。注意这个细节:扰动在这一步是常数,被当成一个已经固定下来的“敌人样本”。于是训练目标从“平均损失最小”变成了“最坏情况损失最小”。这也解释了后面所有的代价:平均值意义上的最优,和最坏情况意义上的最优,本来就不是同一个解。

内层为什么不能求精确解

除了非凸之外,还有一个更微妙的原因:即使能解出精确最坏点,训练也未必更好。每次都盯着同一个极值点,模型容易过拟合到这一个小扰动上,而不是学到一整片区域的平坦性。所以工程上用随机起点、有限步数、有时还加一点随机噪声,让内层在 ε 球里“采样”出不同的坏点。这是一种刻意的近似,换来的是泛化。

训练用的攻击,不必等于评估用的攻击

训练时为了控制成本,通常只用较少步数的 PGD;评估时必须换成更强、更全面的攻击。两者之间的差距,就是“看起来鲁棒”和“真的鲁棒”的差距。这条原则值得单独记住:训练侧和评估侧的目标不同,前者要便宜且有效,后者要狠且公正。

从 FGSM 到 PGD,内层攻击怎么选

FGSM:只走一步

快速梯度符号法(Fast Gradient Sign Method)只做一次前向和一次反向:算出损失对输入的梯度,取每个维度的符号,乘以 ε,直接落到 ε 球的顶点上。它便宜到几乎不增加训练成本,也是 2014 年那篇论文里最早被用于对抗训练的攻击。缺点是只沿当前点的梯度方向走一步,很容易停在一个“次优的坏点”上,用它训练出来的模型,往往挡不住多步攻击。

PGD:多走几步,每步投影回 ε 球

投影梯度下降(Projected Gradient Descent)把一步拆成 K 步小步:每步沿梯度符号走一个步长 α,然后投影回 ε 球,通常还从球内一个随机点起步。步长和步数都是超参数,常见做法是让 α 与 ε 成比例、K 取十来步。Madry 等人用 PGD 做内层,并把它当作评估基准;这个“PGD 是最强一阶攻击”的判断后来被更系统的方法修正过,但作为内层攻击,它至今仍是默认选项。

什么是对抗性训练(Adversarial Training)
图 1:对抗训练的双层结构——内层在 ε 球内求最坏扰动,外层用这个最坏样本更新参数,参数变了之后下一轮的最坏扰动也随之改变。

随机起点与步数预算

随机起点不是可选项,而是必需品。如果每次都从 x 自己出发,内层容易沿着一条固定的路径收敛到同一个局部极大,模型就只学会防这一条路径。从球内随机采样一个起点,再迭代 K 步,相当于在球内做了多次不同方向的试探。步数则是一个纯粹的成本与精度的权衡:K 越大,内层越接近上界,训练越慢,而且收益是递减的。

用弱攻击训练,容易得到虚假的鲁棒

单步 FGSM 训练在 ε 偏大、又不带随机起点时,容易出现文献里说的“灾难性过拟合”——训练时的攻击准确率很好看,换一个稍强的攻击就突然失效,本质上仍是一种梯度掩蔽:模型学到的不是让损失面变平坦,而是让梯度在当前点附近变得不可用,看上去攻击失败了,换一种攻击立刻就破。Wong、Rice 和 Kolter 在 2020 年提出的 fast 对抗训练说明,单步攻击配上随机起点,也能接近多步训练的效果——但前提是起点随机,而且评估必须用强攻击来验证,不能拿训练时那条攻击自证清白。

什么是对抗性训练(Adversarial Training)
图 2:同一个 ε 球里的两种走法——FGSM 只算一次梯度就推到边界,PGD 走 K 个小步、每步投影回球面,因而更接近真正的最坏扰动。

训练成本:每一步多算几次前向反向

一笔账:K 步 PGD 就是 K 次前向加 K 次反向

标准训练的一步,是一次前向加一次反向。K 步 PGD 对抗训练的一步,是 K 次前向加 K 次反向(每一步都要对输入求梯度),最后再做一次参数更新。粗算下来是 K 倍量级。真实的倍数通常还要更高一些,因为内层需要保留中间计算图,激活占用的显存成倍增加,batch size 往往被迫调小,硬件的并行效率随之下降。

显存与并发的连锁反应

成本不只是“算得久”。显存一紧,就得在梯度检查点、更小的 batch、更少的并行之间做选择,每一项都会再拉低吞吐。实践中常见的情形是:训练时间涨到原来的几倍,而可用的 batch size 掉了一半,于是同样的 epoch 数要走更多次迭代。这也是为什么很多团队在原型阶段用对抗训练,到了大规模预训练阶段就退回到“只在微调阶段做”。

几种省算力的做法

一是单步攻击加随机起点,把 K 压到 1,用起点随机性换取多样性;二是所谓 free 训练,把扰动更新和参数更新合并到同一次前向反向里,复用计算图;三是混合批,一部分样本做对抗训练、一部分做标准训练,用比例来控制成本与准确率的平衡;四是缩小 ε 或只对部分层施加约束。这些做法都在“省算力”和“真鲁棒”之间做交换,选哪一种取决于你的威胁模型有多严格。

成本随攻击强度上升,但收益递减

把 K 从 1 加到 10,鲁棒性提升明显;从 10 加到 50,提升就变得很小,成本却线性增长。所以工程上的常态不是“把攻击开到最大”,而是先找到收益曲线的拐点,再用强攻击评估去确认这个拐点没有骗人。反过来说,如果评估显示模型在 20 步攻击下崩溃,那说明训练时的 7 步不够,问题不在评估太严,而在训练太松。

鲁棒性与准确率的权衡

干净准确率为什么会掉

因为优化目标换了。min-max 解对应的是最坏情况,而不是平均情况。要让 ε 球里的每个点都被分对,决策边界必须离训练样本更远,一些原本“够用”的边界位置就得让出来。Tsipras 等人在 2019 年从理论上说明,在某些数据分布下,鲁棒性与标准准确率之间存在不可避免的冲突,不是调参能完全抹平的。这一点在实践中的表现是:对抗训练后的模型,在干净测试集上通常会掉若干个百分点,掉多少取决于 ε、数据集和模型容量。

TRADES:把权衡写成一项正则

Zhang 等人在 2019 年提出的 TRADES,换了一个视角:与其直接在对抗样本上算交叉熵,不如要求“对抗样本的预测分布”和“干净样本的预测分布”尽量一致。损失写成干净样本的交叉熵,加上 β 乘以两个分布之间的 KL 散度。第一项守住干净准确率,第二项模型在扰动下保持输出稳定,β 就是权衡的旋钮。相比 PGD-AT,它把“鲁棒”从“预测对”改成了“预测分布不变”,这个定义在理论上更干净,也让权衡变得可调。

权衡曲线长什么样

把训练强度或 ε 当作横轴,会得到一条向下弯的曲线:想要更高的攻击后准确率,就得接受更低的干净准确率,而且越往右走,代价越陡。曲线的具置由模型容量、数据量、任务难度共同决定;容量更大、数据更多的模型,整条曲线会向外推。需要强调的是,这只是一张定性示意图,不代表任何一组真实测量值。

什么是对抗性训练(Adversarial Training)
图 3:鲁棒性与干净准确率的权衡曲线(示意图,非实测数据)——沿曲线下行,意味着用干净准确率换攻击后的准确率。

“掉了几个点”不能直接当结论

不同论文报的下降幅度差异很大,原因往往不在方法,而在协议:ε 取 8/255 还是 4/255,攻击跑 10 步还是 100 步,是否多起点,是否用集成攻击,模型是 ResNet 还是更大的骨干。脱离这些条件比较“掉了几个点”没有意义。更有信息量的问法是:掉在了哪类样本上。经验上,先掉的是边界样本和长尾类别,而这些恰恰是业务里最贵的那部分。

鲁棒过拟合:训练损失降了,测试鲁棒没跟上

现象:训练鲁棒性一路上涨,验证鲁棒性先升后降

Rice、Wong 和 Kolter 在 2020 年系统记录了这件事:对抗训练过程中,训练集上的鲁棒准确率几乎单调上升,但测试集上的鲁棒准确率会在早期达到一个峰值,之后缓慢下降。标准训练里的过拟合我们很熟悉,而这里是过拟合发生在“鲁棒性”这个指标上,干净准确率未必同步恶化,所以很容易被忽略。

为什么会发生

一个解释是:对抗样本是按当前参数生成的,模型越强,内层找到的坏点也越“贴合”当前模型,训练分布随着参数一起漂移。模型于是倾向于记住这些特定的扰动模式,而不是学到更一般的平坦性。数据量越小、ε 越大,这个效应越明显。它和标准过拟合共享同一套根源——样本复杂度不够,模型把噪声当成了信号。

应对:早停、更大模型、更多数据

最有效的办法出乎意料地简单:早停。按鲁棒验证集的表现选 checkpoint,而不是按训练损失。其次是容量——在鲁棒任务上,更大的模型往往确实更鲁棒,这和标准训练里“大模型更容易过拟合”的直觉相反。再就是数据:额外的无标签数据、更多的增广,都能把过拟合的拐点往后推。这些手段不能消除权衡,但能让你在同样的成本下拿到更好的位置。

怎么评估“真的鲁棒”

拿训练那条攻击自测,等于自己给自己出题

如果训练用 7 步 PGD,评估也用 7 步 PGD,那你测到的只是“模型对这条特定攻击的抵抗”,不是鲁棒性。评估必须设计:更强的攻击、更多的起点、不同的损失函数(比如以间隔为目标的 DLR 版本),以及不同的范数。评估集也要,不能从训练集里切。

梯度掩蔽:看起来防住了,其实只是梯度没用了

Athalye 等人在 2018 年的工作里指出,很多号称有效的防御只是让梯度变得不可用:数值下溢、随机化、不可微的预处理,都会让基于梯度的攻击失效,但模型本身并没有变鲁棒。只要换用 BPDA(用可微近似替代不可微环节)、EOT(对随机性取期望)这类适配攻击,防护立刻崩塌。判断是否存在梯度掩蔽,一个实用信号是:黑盒迁移攻击的成功率反而高于白盒攻击,这通常不合常理。

强攻击集成:AutoAttack 这类做法

Croce 和 Hein 在 2020 年提出的 AutoAttack,把几种互补的攻击组合成一个参数无关的评估套件:不同的损失函数、不同的步长策略、以及不依赖梯度的方框攻击。它的价值不在于“最强”,而在于“不需要针对你的模型调参”,从而减少“调参调出来的鲁棒”。工程上把它当作发布门槛,比自己写一套攻击更可靠。

不要只报一个 ε

ε 是威胁模型的假设,不是普适常数。只报一个 ε 下的数字,等于只说了故事的一角。有信息量的做法是报一条曲线:横轴 ε,纵轴攻击后准确率,同时给出干净准确率作为参照。如果曲线在某个 ε 之后,那个位置才是真正的脆弱点。范数也要说清楚,L∞ 下的结论不能直接推到 L2。

黑盒与迁移

白盒攻击给出的是下界:能攻破就说明不鲁棒,攻不破也不能证明鲁棒。真实部署里攻击者往往拿不到权重,于是替代模型加迁移攻击更接近现实。评估时最好两条都跑:白盒看最坏情况,黑盒看现实可行性。两者的差距如果很大,通常意味着模型的安全性高度依赖“权重没泄露”这个假设,而这个假设在部署中并不牢靠。

从图像到文本:为什么更难

图像扰动连续可微,token 不行

图像是连续的数值张量,加一个 δ 之后仍然是合法图像,损失对 δ 可微,梯度上升可以直接跑。文本是离散符号序列,改一个 token 就跳到另一个点,“小步移动”这个概念没有定义,梯度对 embedding 有值,对 token id 没有值。于是图像里那套“在球内找最坏点”的机械流程,在文本上第一步就卡住了。

换一个词,语义可能已经变了

图像里的 ε 有一个明确的、可度量的含义:每个像素最多改多少,人眼几乎看不出。文本里没有这样的度量。同义替换可能改变情感极性、否定范围、实体指向,甚至整句的语用含义;一个字符的改动可能让分词器切出完全不同的 token 序列。所谓“语义等价”的判断本身就需要另一个模型来做,而那个模型同样可被攻击。这使文本对抗的威胁模型很难写清楚:你到底允不允许改变语义?

常见的妥协方案

工程上有几种折中。一是把扰动搬到嵌入空间:在词向量上加一个小扰动,做对抗训练,Miyato 等人在 2017 年的工作就是这个思路,它可微、可训练,但和“真实世界里改一个词”并不是一回事。二是用同义词替换、字符变换、回译等方法生成对抗样本,再当作数据增强来训练,这更接近真实攻击,但覆盖不全。三是用生成模型做改写。这些做法都能提升一点鲁棒性,但都给不出 min-max 意义上的保证,评估也只能落在具体的攻击集合上。

多模态模型的攻击面更大

视觉语言模型同时接收图像和文本,攻击可以在任一模态发起,也可以在跨模态对齐的地方发起:图里加一块几乎看不见的 patch,或者在图里嵌入一段人类读不出、模型却能读到的文字,都可能改变输出。对抗训练如果只在图像侧做,文本侧仍是缺口;而两侧同时做,成本又要翻倍。站内有两篇具体工作可以对照看:《视觉语言模型易受攻击?西安交大等提出基于扩散模型的对抗样本生成新方法》讨论的是生成侧的攻防,《ACM MM24 | 复旦提出首个基于扩散模型的视频非限制性对抗攻击框架》则把攻击扩展到了时序维度——视频多出的那一维,本身就是新的攻击面。

哪些场景真的在用

把方法放回业务,会发现对抗训练出现的位置有一个共同点:出错的代价高,而且输入来自开放环境——摄像头、麦克风、用户上传、公网流量。反过来,输入相对封闭、错误可以回滚的场景,通常不愿意为它付出几倍的训练成本。下面几类是比较典型的落点,图像识别、自然语言处理、网络安全、自动驾驶、推荐系统、医疗诊断、语音识别、游戏这些方向都能在其中找到对应。

图像识别、内容审核与医疗影像

人脸核身和检测是最早被推动的一批:攻击者会打印照片、播放视频、贴对抗贴纸,目的就是让系统认错人。内容审核同理,一张加了扰动的图片可以绕过或暴恐识别,而人眼看上去毫无异常。医疗影像的动机稍不同——设备差异、重建伪影、扫描参数变化都会带来类似“小扰动”的输入偏移,对抗训练在这里常常和噪声增强一起用,用来提升模型对成像条件的稳健性。需要提醒的是,稳健不等于临床有效,外部数据集验证仍然不可替代。

语音识别与音频前端

语音的输入是一维波形,同样可以加上人耳几乎听不见的扰动,让唤醒词误触发,或者让转写结果偏离原意。这条线上的对抗训练常和噪声增强混着做:真实环境里的背景噪声本身就是一种“自然扰动”,把它和对抗扰动一起训练,比只做其中一样更划算。声纹识别还要额外考虑重放攻击,那属于另一类威胁,不在 ε 球的描述范围内。

自动驾驶与机器人感知

感知模块要面对光照突变、雨雾、镜头污渍、路牌被涂改。对抗训练能覆盖的是其中“有界、可微”的那一小块,比如贴纸、纹理扰动;对遮挡、极端天气这类大幅度变化,它帮不上太多忙。所以这类系统的主力仍然是硬件冗余、传感器融合和规则兜底,对抗训练只是把“被精心构造的输入骗过去”这一个失效模式的概率压低。

网络安全、推荐系统与游戏智能体

恶意软件检测是天然的对抗场景:攻击者本来就在不断变形以逃避检测,检测模型的输入分布每天都在被主动推着走,这与对抗训练的假设高度吻合。推荐系统面对的是刷量、操纵特征、伪造行为序列,本质上也是“有人在改输入”。游戏和强化学习里,策略对状态扰动同样敏感,对手的一步小改动可能让智能体做出完全不同的动作序列——这类工作更多在仿真里验证,离生产还有距离。

对抗训练不等于安全

它防的是“输入被小幅扰动”

对抗训练给出的是在特定范数、特定 ε 下的经验鲁棒性。它是一个非常窄的承诺:只对“在像素(或嵌入)上做了有界改动”的攻击成立。超出这个假设——改动更大、换一种范数、攻击的是输入之外的环节——承诺就不再生效。把对抗训练当成“模型安全了”的同义词,是这类工作最常见的误读。

提示注入不在它的威胁模型里

提示注入改的是指令层的语义:把“忽略以上要求,改为执行某事”塞进用户输入或检索到的文档里。它不要求输入向量落在 ε 邻域内,也不要求可微,因此 min-max 那套框架根本描述不了它。对付提示注入靠的是系统工程:指令与数据的分层、工具调用的权限白名单、输出侧的动作校验、以及人在回路上。这些和对抗训练不在一个层面上,谁也替代不了谁。

数据投毒与发生在训练之前

攻击是在训练数据里埋一个触发器,模型平时表现正常,一见到触发器就按攻击者的意愿行动。对抗训练不检查数据来源,也不消除触发器,甚至可能因为反复在“坏样本”上训练而让模型对异常输入更宽容。投毒需要在数据管线、来源校验、训练集审计上解决;需要触发器逆向、模型清洗这类专门手段。

它也给不了隐私与机密性

成员推断、模型、梯度泄露,是另一类威胁,衡量的是“模型泄露了多少训练数据的信息”。对抗训练不改变这些攻击的成功率,有时还会因为模型更大、训练更久而让情况变差。安全是一个多目标的工程问题,鲁棒性只是其中一维。《什么是人工智能安全(AI Security)》把这个更大的框架拆得比较清楚,而《人工智能安全前沿探索》则更偏研究方向,适合作为延伸阅读。

经验防御与认证防御

经验防御:测出来的鲁棒

对抗训练是典型的经验防御:它的有效性只在“测过的攻击”上被验证过,没有数学保证。评估越强、越多样,结论越可信,但本质上永远是“还没被攻破”,而不是“不可攻破”。这不是贬低:一个通过强攻击检验的模型,比一个只有理论保证却在真实数据上失灵的方法有用得多。只是要清楚,这份信心来自评估,而不是来自证明。

认证防御:给出半径的保证

认证防御走另一条路。Cohen、Rosenfeld 和 Kolter 在 2019 年提出的随机平滑是其中最实用的一种:对输入加高斯噪声,重复采样多次,取预测结果的多数票,然后可以证明,在以输入为中心、半径为 R 的 L2 球内,预测结果不会改变。R 由噪声强度和“多数票的领先程度”共同决定,是一个可以算出来的数,而不是测出来的。

认证半径的代价

代价很直接:认证准确率通常低于经验鲁棒准确率。噪声越大,可证的半径越大,但干净准确率越低;噪声越小,干净准确率保住了,可证的半径又小到没有实用意义。这条曲线同样是权衡,只是横轴换成了“有保证的半径”。此外,认证只对指定的范数成立,L2 的证书不能推及 L∞,也不能覆盖文本这种离散输入。

两种“保证”可以叠加

它们并不互斥。常见的组合是:先用对抗训练把模型的损失面压平,再用随机平滑包一层证书,让“经验上好”与“可证的好”尽量靠近。选择哪一种,取决于你要回答的问题——如果是“我要向审计证明模型在某个半径内不会错”,那只能选认证;如果是“我要让线上模型更难被攻破”,经验防御加严格评估更实际。

工程落地清单

第一步:把威胁模型写下来

在任何训练开始之前,先回答四个问题:扰动用什么范数、ε 多大、攻击者是白盒还是黑盒、目标是无目标还是有目标。这四个答案决定了训练配置、评估协议和验收标准。没有威胁模型的“鲁棒”是一个无法验证的说法,团队之间也很容易各说各话——一个人说 8/255,另一个人以为是 2/255,最后讨论的不是同一件事。

第二步:ε 要和业务对齐

ε 的物理含义要和部署环境匹配。摄像头图像的噪声、压缩伪影、传感器的量化误差,都可以折算成一个合理的像素扰动范围;如果业务里的输入会经过强压缩或多次转码,那么训练时用的 ε 必须覆盖这些真实扰动,否则模型防住的是实验室里的攻击,防不住管道里的失真。反过来,ε 设得过大,模型会去学一些与任务无关的特征,干净准确率白白损失。

第三步:训练实现里的几个坑

BatchNorm 的统计量会被对抗样本污染,常见做法是用干净样本更新 BN 的 running stats,或者直接把 BN 换成 GroupNorm。混合精度下,符号函数的输入在极小值附近可能不稳定,梯度方向会抖。随机起点、步长、步数这些设置要固定下来,并且在验证集上确认不是“调出来的”。早停要按鲁棒验证指标选,不能按干净准确率选,否则正好停在过拟合的起点上。

第四步:评估红线

把一套强攻击固定成发布门槛:AutoAttack 或同等强度的集成攻击,多个 ε、多个范数,报告曲线而不是单点。攻击实现、随机种子、评估脚本要一起归档,否则半年后没人能复现当初的结论。还要留一份“干净准确率”的基线,用来向业务解释代价——这份代价是必须提前沟通的,不是在发布前夜才告知。

第五步:上线之后的监控

对抗训练不覆盖分布漂移。输入分布一旦变化,原本被压平的损失面可能重新长出尖峰,鲁棒性会以肉眼看不见的方式衰减。可做的监控包括:输入统计量的漂移、预测置信度分布的变化、以及针对性的红队抽检。发现漂移后,重新做一次小规模对抗微调,通常比从头训练便宜得多。

常见问题

对抗训练能让模型“免疫”对抗样本吗

不能。它提升的是特定威胁模型下的经验鲁棒性,攻击者换一个范数、加大扰动预算、或者攻击训练没有覆盖的环节,效果就会下降。目前没有哪种防御能在所有范数、所有 ε 下都成立。合理的预期是“把攻击成本抬高”,而不是“消除攻击”。它也不提升可解释性——损失面被压平了,但“模型为什么这么判”依然说不清,审计时还得另配工具。

为什么不能只做输入清洗或去噪

因为清洗器本身也是一个模型,攻击者可以把它一起优化。经验是:只要预处理可微或者可近似求导,攻击就能穿过去;如果预处理不可微,攻击者改用 BPDA 之类的近似,照样能穿。更麻烦的是,清洗会损失信息,干净样本的准确率也跟着掉。对抗训练把防御放进主任务,省掉了这层可被绕过的中间件。

ε 该设多大,所有样本要用同一个 ε 吗

没有通用答案,只有和业务对齐的答案。判据有两个:真实管道里可能出现的最大扰动(压缩、噪声、拍摄条件),以及业务能接受的干净准确率损失。可以先用偏小的 ε 起步,画出 ε 与鲁棒准确率的曲线,找到拐点再决定停在哪里。另一个点是样本差异:边界附近的样本更容易被推过界,一刀切的 ε 会让简单样本过度训练、困难样本训练不足。已有工作尝试按样本自适应分配扰动预算,但实现复杂、收益不稳,工程上仍以固定 ε 为主。

小模型是不是没救

不是没救,是更吃亏。容量越小,鲁棒性与准确率的权衡曲线越靠近原点,同样的 ε 下能拿到的鲁棒准确率更低。这也是为什么在资源受限的边缘设备上,对抗训练常常只能做到“降低一点脆弱性”。可行的折中是缩小 ε、只在关键类别上做对抗训练,或者用蒸馏把大模型的鲁棒性迁移到小模型上。

它能顺便提升普通准确率或泛化吗

一般不会,通常会下降。对抗样本可以看作一种“最难的数据增强”,但它的方向不是覆盖更多分布,而是压最坏情况。在极少数数据很少、正则化不足的设定下,对抗训练偶尔会带来一点干净准确率的提升,那更像是正则化的副作用,不能当卖点。把它当成“又快又准又鲁棒”的方案,一定会失望。

为什么工业界落地不多,大模型时代还有用吗

三个原因叠在一起:成本高、代价明确(干净准确率下降)、收益难量化——没有攻击发生时,鲁棒性带来的业务价值看不见。所以它通常出现在风险足够高的场景:人脸核身、内容审核、自动驾驶感知、恶意样本检测。到了大模型时代,它的位置变了但没消失:视觉骨干、语音前端仍然用它;语言模型因为 token 离散,更多是在嵌入空间做扰动,或者拿对抗样本当偏好对齐的数据。同时要认清边界:提示注入、越狱、数据投毒、工具滥用这些主要风险,大多不在它的射程内。

延伸阅读

如果想继续往下读,建议按“先看现象、再看方法、最后看边界”的顺序:先弄清对抗样本是什么、怎么生成,再理解 min-max 训练的各种变体,最后把鲁棒性放回整个安全体系里看它管不到的部分。下面几篇可以作为入口。

  • 《什么是对抗样本(Adversarial Examples)》:从定义、生成方法到迁移性,是理解对抗训练的前提。
  • 《视觉语言模型易受攻击?西安交大等提出基于扩散模型的对抗样本生成新方法》:多模态模型上的对抗样本生成实践。
  • 《ACM MM24 | 复旦提出首个基于扩散模型的视频非限制性对抗攻击框架》:把攻击从单帧扩展到时序。
  • 《什么是人工智能安全(AI Security)》:把鲁棒性放回完整的威胁版图里。
  • 《人工智能安全前沿探索》:更偏研究视角的综述式阅读。

最后留一句提醒:对抗训练是一个“把最坏情况写进目标函数”的方法,它的价值在于让模型在被人推一把时不至于立刻跌倒,而不在于让模型变得不可攻击。评估它的时候,永远要问一句——你用的是哪条攻击,ε 是多少,攻击者知道多少。这三个问题的答案,比任何一个准确率数字都重要。

阅读原文
© 版权声明

相关文章

AI聚合视觉工厂

暂无评论

暂无评论...