ARS-I-SAAT
通过自适应正则化调度实现泛化性与鲁棒性的协同优化
交错式锐度感知对抗训练
将对抗样本生成巧妙嵌入SAM的两步优化流程，实现参数空间与数据空间的双重鲁棒性构建
g₁ = ∇_w L_S(w, x, y)g₂ = ∇_{w_adv} L_S(w_adv, x_adv, y)
ARS调度器
自适应正则化调度器，通过线性衰减SAM扰动半径ρ和PGD攻击强度ε，实现从强鲁棒性构建阶段到高精度恢复阶段的课程学习式过渡。
ρ_epoch = ρ_initial - (epoch-1)/(N_total-1) × (ρ_initial - ρ_final)
协同优化范式
突破传统泛化性与鲁棒性权衡限制，在仅牺牲0.6%标准精度下提升54个百分点的对抗鲁棒性
技术架构深度解析
交错式锐度感知对抗训练 (I-SAAT) 框架
I-SAAT框架通过将对抗攻击置于模型参数处于其邻域内损失最高的"恶意"点时，实现了参数空间和数据空间的双重最坏情况优化。
梯度计算阶段一
在原始参数w处使用干净数据计算梯度：
g₁ = ∇_w L_S(w, x, y)
用于SAM的first_step，寻找"恶意"权重扰动
对抗扰动生成
计算权重空间扰动并生成对抗样本：
ε(w) = ρ · g₁ / ||g₁||₂
w_adv = w + ε(w)
梯度计算阶段二
在扰动参数w_adv处使用对抗数据计算最终梯度：
g₂ = ∇_{w_adv} L_S(w_adv, x_adv, y)
实现双重压力下的鲁棒决策边界构建
自适应正则化调度器 (ARS) 机制
ARS通过课程学习式的动态超参数调度，实现从"强鲁棒性构建"到"高精度恢复"的平滑过渡，解决持续高强度正则化导致的精细特征学习能力损害问题。
训练早期 - 鲁棒性构建阶段
强正则化压力，构建稳固的特征基础
训练后期 - 精度恢复阶段
放松正则化，恢复精细特征学习能力
线性调度公式
ρ_epoch = ρ_initial - (epoch - 1)/(N_total - 1) × (ρ_initial - ρ_final)
ε_epoch = ε_initial - (epoch - 1)/(N_total - 1) × (ε_initial - ε_final)
理论基础与数学建模
SAM优化目标
min_w max_{||ε||_p ≤ ρ} L_S(w + ε)
寻找损失景观中更平坦的最小值
PGD对抗目标
x_adv = x + argmax_{||δ||_∞ ≤ ε} L(w, x+δ, y)
生成最大化损失的对抗样本
联合优化目标
min_w E_{(x,y)~D} [max_{||δ||_∞ ≤ ε} L(w_adv, x+δ, y)]
在扰动参数空间上的对抗鲁棒性优化
重要声明 (Important Disclaimer)
模型适用性限制：本文提出的ARS-I-SAAT训练方法目前仅在我们自研的DeployableLatentNet架构上进行了验证和优化。该方法的有效性、收敛性和性能提升效果可能与特定的网络架构设计、注意力机制实现以及模型参数规模密切相关。
我们强烈建议在将此方法应用于其他深度学习架构之前，进行充分的实验验证和超参数调优。不同架构的损失景观特性、梯度流动模式和优化动力学可能导致显著不同的训练效果。
实验验证与性能基准
CIFAR-10基准测试
CIFAR-10 DeployableLatentNet 性能基准测试
| 训练策略 | 标准精度 (%) ↑ | PGD-7鲁棒精度 (%) ↑ | 鲁棒性提升 | 精度损失 |
|---|---|---|---|---|
| Standard (AdamW) | 87.46 | 13.21 | - | - |
| SAM from Scratch | 88.23 | 16.79 | +3.58% | - |
| HAFT (Ours) | 86.90 | 33.79 | +20.58% | -1.33% |
| I-SAAT (Ours) | 85.61 | 72.45 | +59.24% | -2.62% |
| ARS-I-SAAT (Final) | 87.62 | 67.72 | +54.51% | -0.61% |
关键洞察
Min-Max优化突破
通过将对抗攻击嵌入SAM的双步优化流程，实现了参数空间和数据空间的联合min-max优化，构建了更加稳固的决策边界
课程学习范式
通过线性调度器实现从强正则化到弱正则化的平滑过渡，避免了鲁棒过拟合现象，在仅损失0.61%标准精度的情况下获得54.51%的鲁棒性提升
损失景观工程
通过动态调整正则化强度，实现了从平坦损失景观构建到精细特征学习的两阶段优化，解决了泛化性与鲁棒性的内在冲突