EMA 与 SWA 对比：在 Stable Diffusion 3 微调中提升 FID 分数的2种策略

当我们在微调 Stable Diffusion 这类生成模型时，模型权重的波动往往会直接影响最终生成图像的质量和稳定性。指数移动平均(EMA)和随机权重平均(SWA)作为两种主流的模型平均化技术，能够显著改善模型在测试集上的表现，特别是在FID(Fréchet Inception Distance)分数这一关键指标上。本文将深入探讨这两种技术的原理、实现方式以及在Stable Diffusion 3微调中的实际效果对比。

1. 模型平均化技术基础

在深度学习训练过程中，模型参数往往会在最优值附近波动。这种波动虽然有助于模型逃离局部最优，但也会导致测试时性能不稳定。模型平均化技术通过整合训练过程中不同时间点的权重，能够获得更稳定、泛化性更好的模型。

EMA和SWA的核心差异：

• EMA给予近期权重更高的优先级，按照指数衰减的方式平滑历史权重
• SWA则是对训练过程中多个检查点的权重进行简单平均，不区分时间远近

实践表明，在生成模型领域，适当的权重平均能够提升图像生成的一致性，减少"模式崩溃"现象的发生。

下表展示了两种方法在计算方式上的主要区别：

2. EMA在Stable Diffusion微调中的实现

EMA通过维护一组"影子权重"来平滑模型参数的变化，其更新公式为：

shadow_weights = β * shadow_weights + (1-β) * current_weights

其中β通常设置为0.9-0.999，控制着历史权重的保留程度。在PyTorch中，我们可以这样实现EMA：

class EMA: def __init__(self, model, decay=0.999): self.model = model self.decay = decay self.shadow = {} self.backup = {} def register(self): for name, param in self.model.named_parameters(): if param.requires_grad: self.shadow[name] = param.data.clone() def update(self): for name, param in self.model.named_parameters(): if param.requires_grad: new_average = (1.0 - self.decay) * param.data + self.decay * self.shadow[name] self.shadow[name] = new_average.clone() def apply_shadow(self): for name, param in self.model.named_parameters(): if param.requires_grad: self.backup[name] = param.data param.data = self.shadow[name] def restore(self): for name, param in self.model.named_parameters(): if param.requires_grad: param.data = self.backup[name] self.backup = {}

在Stable Diffusion 3的微调中，EMA的使用需要注意以下几点：

1. 初始化时机：应在预热阶段结束后才开始应用EMA
2. 衰减率选择：对于文本到图像任务，β=0.99通常是个不错的起点
3. 验证模式：在计算FID分数时，务必先应用影子权重

3. SWA在生成模型中的应用实践

SWA的核心思想是对训练过程中多个时间点的模型权重进行平均。与EMA不同，SWA通常与周期性学习率调度配合使用，在训练后期收集多个检查点：

from torch.optim.swa_utils import AveragedModel, SWALR # 初始化SWA模型 swa_model = AveragedModel(model) # 使用特殊的学习率调度器 swa_scheduler = SWALR(optimizer, swa_lr=1e-5) # 训练循环中 if epoch > swa_start_epoch and (epoch - swa_start_epoch) % swa_update_freq == 0: swa_model.update_parameters(model) swa_scheduler.step()

在Stable Diffusion 3中应用SWA时，有几个关键调整点：

• 学习率调度：建议使用余弦退火配合SWA
• 检查点频率：每5-10个epoch收集一次权重效果较好
• 批量归一化：需要特别处理模型中的归一化层

实际测试发现，SWA对学习率的选择比EMA更敏感，不当的学习率可能导致平均后的权重反而劣化。

4. 两种方法的对比实验

我们在相同数据集上对Stable Diffusion 3进行了微调实验，比较了EMA和SWA在以下几个维度的表现：

实验设置：

• 数据集：LAION-5B子集（50万张图像）
• 基础模型：Stable Diffusion 3 Medium
• 训练硬件：8×A100 80GB
• 评估指标：FID-30K（与COCO验证集对比）

结果对比：

从实验结果可以看出：

1. 两种方法都能显著提升FID分数
2. EMA在训练稳定性上表现更好
3. SWA在最终指标上略胜一筹，但需要更多计算资源
4. 生成图像质量方面，EMA产生的图像在风格一致性上更优

学习曲线分析：

• EMA的FID分数提升较为平稳
• SWA在后期可能出现突然的性能跃升
• 两种方法结合使用可能获得更好的效果

5. 实际应用建议

根据我们的实验和经验，针对不同场景有以下推荐：

选择EMA当：

• 计算资源有限
• 需要更稳定的训练过程
• 重视生成风格的一致性

选择SWA当：

• 可以接受更长的训练时间
• 数据集较大且多样
• 使用周期性学习率调度

高级技巧：

1. 可以尝试EMA+SWA的组合：先用EMA平滑训练，最后用SWA进行权重平均
2. 对于EMA，动态调整衰减率（训练初期β较小，后期增大）有时能带来额外提升
3. 对于SWA，在模型接近收敛时再开始收集权重效果更好

在Diffusers库中集成这两种方法的完整示例代码如下：

from diffusers import StableDiffusionPipeline import torch # 初始化模型和EMA pipe = StableDiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-3-medium") ema = EMA(pipe.unet) ema.register() # 训练循环 for epoch in range(epochs): for batch in train_loader: # 常规训练步骤 loss = train_step(batch) optimizer.step() # EMA更新 ema.update() # SWA更新（在特定epoch后） if epoch > swa_start: swa_model.update_parameters(pipe.unet) swa_scheduler.step() # 评估时应用EMA权重 ema.apply_shadow() fid_score = evaluate_fid() ema.restore()

6. 疑难问题排查

在实际应用中，可能会遇到以下常见问题：

EMA相关问题：

• 生成质量不稳定：尝试降低衰减率（如从0.99调到0.95）
• 训练初期效果差：增加EMA的启动预热步数
• 显存不足：考虑使用梯度累积减少batch size

SWA相关问题：

• 性能没有提升：检查学习率是否过大，尝试减小swa_lr
• 训练发散：推迟SWA开始时机，确保模型已经初步收敛
• 评估指标波动：增加权重收集的间隔周期

一个实用的调试技巧是定期可视化生成样本，直接观察权重平均对生成质量的影响。

7. 未来优化方向

虽然EMA和SWA已经能显著提升模型性能，但仍有改进空间：

1. 自适应衰减率：根据训练动态调整EMA的β参数
2. 分层平均：对模型不同层采用不同的平均策略
3. 损失感知SWA：根据验证损失选择要平均的检查点
4. 与LoRA结合：在参数高效微调中应用权重平均

在Stable Diffusion 3这类大型生成模型中，权重平均技术仍然是提升微调效果最经济有效的手段之一。随着模型规模的增大，这些技术的重要性只会增加。