论文题目：FasterDiT: Towards Faster Diffusion Transformers Training without Architecture Modification（无需修改架构即可实现更快的扩散变形金刚培训）

会议：NIPS2024

摘要：扩散变压器(Difference Transformers，DIT)的研究引起了人们的极大关注。然而，它们面临着收敛速度缓慢的问题。在本文中，我们的目标是在不进行任何架构修改的情况下加速DIT培训。我们在培训过程中发现了以下问题：首先，某些培训策略在不同的数据上并不总是表现良好。其次，在特定的时间步骤上监督的有效性有限。作为回应，我们提出了以下贡献：(1)我们引入了一个新的视角来解释这些策略的失败。具体地说，我们略微扩展了信噪比(SNR)的定义，并建议观察SNR的概率密度函数(PDF)来理解该策略数据稳健性的本质。(2)进行了大量的实验，报告了上百个实验结果，从概率密度函数的角度经验总结出了一个统一的加速策略。(3)开发了一种新的督导方法，进一步加快了DIT的培训进程。在此基础上，提出了一种非常简单实用的设计策略--FasterDiT。在只需少量代码修改的情况下，在ImageNet上以256×256的分辨率和1000次迭代获得2.30FID，与DIT(2.27FID)相当，但训练速度快7倍。

FasterDiT：无需修改架构，让扩散 Transformer 训练快 7 倍

一、背景与动机

自 OpenAI 发布 Sora 以来，其基础模型——扩散 Transformer（Diffusion Transformer，DiT）——引发了学界的广泛关注。DiT 凭借出色的灵活性与可扩展性，在图像生成和视频生成领域均展现了卓越的能力。

然而，DiT 存在一个显著的瓶颈：收敛速度极慢。在 ImageNet 256 分辨率的训练任务上，DiT 需要消耗超过 4700 GPU 小时（H800）才能收敛。这一巨大的计算开销严重阻碍了大规模训练实验的推进。

为了改善训练效率，研究者们提出了多种方法，包括：

• 调整噪声调度（noise scheduling）
• 修改损失权重（loss weighting）
• 改变时间步采样策略（timestep sampling）

这些方法的本质，是调控训练过程中不同时间步对应的信噪比（Signal-to-Noise Ratio，SNR）分布。然而，这些方法并不总是可靠的。

📌[此处配图：Figure 1 左图]
以 SD3 提出的 lognorm 采样策略为例：lognorm(−0.5, 1) 在 ImageNet 上优于 lognorm(0.5, 0.6)，但随着数据信号强度持续降低，lognorm(−0.5, 1) 的 FID 反而逐渐变差，最终成为表现最差的方案。同一策略，不同数据，截然相反的结论。

这一现象揭示了当前方法的核心问题：缺乏跨数据条件的鲁棒性，研究者往往只针对特定数据找到一个局部最优解，而没有从本质上理解策略有效性的根源。

本文的目标正是：在不修改任何模型架构的前提下，找到一种简单、可解释、普适的 DiT 训练加速策略。

二、重新审视信噪比：引入 PDF 视角

2.1 传统 SNR 定义的局限

在扩散模型和流匹配（Flow Matching）的训练框架中，含噪数据可以统一表示为：

传统定义的 SNR 为：

这个定义只与时间步 t 相关，完全忽略了数据本身的信号强度。然而，现实中不同图像的信号强度（如方差）差异很大，同一时间步在高信号数据和低信号数据上实际对应的 SNR 是完全不同的。

2.2 扩展的数据相关 SNR 定义

本文引入了一个与图像 I 相关的系数 K(I)，将 SNR 扩展为：

其中是图像方差，C(I) 是近似常数。这一扩展说明：数据方差越大，同一时间步对应的绝对 SNR 越高。

这个视角带来了一个关键的实验便利：通过对同一数据集缩放标准差（std），可以在不更换数据集的情况下，定量模拟不同数据分布的影响，从而系统研究训练策略的鲁棒性。

2.3 训练 SNR 的概率密度函数（PDF）

为了统一刻画噪声调度、损失权重和时间步采样策略，论文将时间步的综合概率密度函数定义为：

其中为采样函数，为损失权重函数。由此，SNR 在训练中的概率密度函数可以通过概率变换推导，并用大量离散采样估计（见论文 Algorithm 1）。

PDF 的物理含义非常直观：PDF 值越高的 SNR 区域，在训练中被关注的频率越高。通过可视化 PDF，可以直接看出不同训练策略"把注意力放在哪里"。

📌[此处配图：Figure 3]
四种噪声调度（DDPM-Linear、DDPM-Cosine、Flow-Linear、Flow-Cosine）在不同 std 下的 SNR PDF 可视化。可以看到，随着 std 增大，PDF 整体右移；不同调度的 PDF 宽度（焦点宽窄）差异显著。

三、从 PDF 中能学到什么？——百余组实验的系统分析

本文在 ImageNet 128 分辨率上进行了超过 100 组实验，采用 4 种噪声调度，使用 8 张 H800 GPU，每组训练 100,000 次迭代，用 FID-10k 作为评估指标。

3.1 数据信号强度显著影响训练效果

即使使用相同的噪声调度，不同信号强度（std）的数据会导致截然不同的训练结果。

📌[此处配图：Figure 2]
以 DDPM-Linear 为例，std=0.3 时 FID 为 65.38，而 std=2.5 时 FID 改善到 47.04，二者差距高达 18 以上。这充分说明数据信号强度是训练效果的重要影响因素。

3.2 不同调度的鲁棒性差异显著

随着 std 的变化，不同噪声调度表现出截然不同的稳定性：

• DDPM-Linear：FID 随 std 变化的范围为18.03，相对稳健
• DDPM-Cosine：FID 变化范围高达50.02，极不稳定

从 PDF 角度来看，SNR 焦点更宽广（PDF 方差更大）的调度，往往具有更好的鲁棒性（Figure 3 中 DDPM-Linear vs. DDPM-Cosine 的 PDF 宽度对比）。

3.3 性能与鲁棒性之间存在权衡

加权策略（如 lognorm）可以集中 PDF 的焦点，从而提升最优性能的上限，但同时会牺牲鲁棒性。

📌[此处配图：Figure 4]
以 DDPM-Linear 为例：不加权时最优 FID 为 47.04，FID 变化范围为 18.02；加入 lognorm(0,1) 加权后，最优 FID 提升到 36.9，但 FID 变化范围扩大到了80。性能上限提升了，但稳定性大幅下降。

这一权衡是普遍存在的，研究者需要在"追求极致性能"和"保证跨数据稳定"之间做出权衡。

3.4 Flow Matching + v-prediction：更鲁棒的选择

将预测目标从 noise（噪声）换成 velocity（速度），可以显著提升鲁棒性：

📌[此处配图：Figure 5]

• Linear Flow：noise-prediction 的 FID 范围为 17.54，换用 v-prediction 后降至11.79
• Cosine Flow：noise-prediction 的 FID 范围为 34.76，换用 v-prediction 后降至12.39

不仅如此，v-prediction 的整体性能也普遍优于 noise-prediction。即便如此，v-prediction 下性能与鲁棒性的权衡依然存在（加 lognorm 后性能上限提升，但稳定性下降）。

3.5 核心结论

从 PDF 视角来看，高效训练需要同时满足两个条件：

1. PDF 应具有集中的焦点（concentrated focus）
2. SNR 焦点需要落在正确的区间（correct SNR range）

四、FasterDiT：三步极简加速方案

基于上述分析，本文提出FasterDiT，其核心思想是：选择鲁棒性强的基础配置，再通过数据移位和采样集中将 PDF 精准对齐到最优 SNR 区间，最后引入方向损失进一步加速收敛。整个方案仅需少量代码改动，无需任何架构修改。

📌[此处配图：Figure 7 右侧 Algorithm 2 代码块]

步骤一：数据移位（Multi-step Balance / Data Shifting）

首先，在 std=0.5 到 1.2 的范围内扫描，找到最优的标准差，使 PDF 焦点移动到最优 SNR 区间。实验发现，当 std 约为 0.70 时，DiT 获得最佳生成性能。

论文将目标 std 设为0.82，与 SiT、DiT 的默认设置保持一致。

📌[此处配图：Figure 7(a) 左图，Standard Deviation Modulating]

在训练代码中，这一步只需一行：

data = data * (target_std / data_std)

步骤二：集中采样（Concentrating）

在数据移位完成后，PDF 焦点已对齐到正确区间，此时再使用lognorm(0, 1)进行时间步采样，进一步集中 PDF 焦点，提升性能上限。

注意：mu 设为 0（而非 SD3 中的 −0.5），因为 PDF 已通过数据移位对齐到正确位置，无需再做偏移，从而避免了 Section 1 中描述的不稳定问题。

t = lognorm(mu=0, sigma=1, size=t.shape[0]) x_t = t * data + (1 - t) * noise pred = model(x_t, t, y)

步骤三：改进监督——速度方向损失（Velocity Direction Loss）

在流匹配框架下，预测目标 velocity具有明确的物理意义——它代表从噪声到数据的流速方向。本文假设对速度方向的监督可以进一步提升训练效果。

因此，在标准 MSE 损失之外，额外引入基于余弦相似度的方向损失：

最终损失为：

在代码中，仅需两行：

v = data - noise loss = (pred - v)**2.mean() + 1 - cosine_similarity(pred, v, dim=1).mean()

消融实验验证

📌[此处配图：Figure 7(b) 表格，Ablations for FasterDiT Training]

两项改进均带来了显著提升，缺一不可。

五、实验结果

5.1 ImageNet 256×256 主实验

📌[此处配图：Table 1]

FasterDiT 使用与 DiT 完全相同的 DiT-XL/2 架构，在 ImageNet 256×256 上取得以下结果：

• 仅用1000k 迭代（cfg=1.5）即达到 FID=2.30，与 DiT 需要 7000k 迭代才能达到的 FID=2.27 相当，训练速度提升约 7×
• 训练 400k 迭代时，FID-50k 达到11.9，远优于 DiT（19.5）和 SiT（17.2），分别提升 5.3 和 5.6
• 训练 200k 迭代时，FID-50k 达到17.5，相比 SiT 同等迭代数的 27.1 提升了9.6
• 训练 2000k 迭代时，FID 进一步达到2.03，超越 SiT（2.06）

📌[此处配图：Figure 1 右图，Performance of FasterDiT 表格]

5.2 高分辨率生成（ImageNet 512×512）

📌[此处配图：Table 2]

FasterDiT 在 512×512 分辨率上同样取得了一致的加速效果：

• DiT-B/2：200k 迭代时 FID-10k 从 77.11 →58.33，提升18.78
• DiT-L/2：200k 迭代时 FID-10k 从 67.29 →49.36，提升17.93

5.3 跨架构泛化性

📌[此处配图：Table 3]

FasterDiT 的训练策略不局限于 DiT，在其他扩散架构上同样有效：

• U-ViT-L：FID-10k 从 50.22 →37.12，提升 13.10
• LDM-UNet：FID-10k 从 66.73 →60.07，提升 6.66

5.4 生成效果可视化

📌[此处配图：Figure 8、Figure 9、Figure 10]
FasterDiT-XL/2 仅训练 1000k 迭代（CFG=4.0），即可生成高质量的 ImageNet 类别图像，涵盖动物、建筑、自然景观等多种类别，视觉质量与 DiT 相当。

六、与相关工作的对比

加速 DiT 训练的方法大致可分为两类：

架构修改类：MaskDiT 和 MDT 结合掩码图像建模预训练加速训练；SD-DiT 引入对比学习；CAN 提出动态条件权重。这些方法均需修改模型结构，增加了实现复杂度。

非架构类（本文方向）：调整噪声调度、预测目标、损失权重等。这一设计空间庞大且相互依赖，难以系统分析。FasterDiT 正是在这一方向上首次提供了一个基于 SNR PDF 的统一分析框架，并据此得出简洁有效的实践方案。

七、局限性与未来工作

论文作者坦诚指出了 FasterDiT 目前的局限性：

• 缺乏大规模实验：未在 2K 高分辨率图像、文本到图像生成、视频生成等场景上验证
• 文本-图像架构的潜在不稳定性：在 SD3 等需要联合处理文本和视觉 token 的架构中，来自 T5、VAE 等不同来源的特征可能引入潜在的不稳定因素，需要进一步研究

八、总结

FasterDiT 的核心贡献可以概括为三点：

FasterDiT 的美妙之处在于：它没有提出任何新的网络结构，没有引入额外的预训练阶段，只是在理解训练过程本质的基础上，做了极其简洁的三步调整，就让 DiT 的训练效率提升了整整 7 倍。这为后续扩散模型的训练策略研究提供了极具价值的思路与参考。