1. 从“慢工出细活”到“一步到位”：扩散模型采样加速的痛点与机遇

如果你玩过Stable Diffusion这类AI绘画工具，或者关注过DALL-E、Midjourney的生成过程，大概率会对那个“等待进度条”的环节印象深刻。从一片模糊的噪声开始，模型需要迭代几十步甚至上百步，才能“雕琢”出一张清晰的图像。这个“雕琢”的过程，就是扩散模型的采样（Sampling）。它本质上是求解一个反向的随机微分方程，每一步都试图从当前噪声更接近真实数据分布。这个过程计算密集、耗时漫长，是阻碍扩散模型实时应用的最大瓶颈。尤其是在视频生成、3D内容创建、实时交互设计等场景下，对采样速度的要求近乎苛刻。

传统的加速思路，大致可以分为两类。一类是“训练时优化”，比如设计更高效的采样器（如DDIM、DPM-Solver），它们通过更聪明的数学近似，用更少的步数达到相近的质量。另一类是“推理时蒸馏”，训练一个更小的学生网络去模仿大模型多步采样的行为。然而，前者往往在步数减少到一定程度后遭遇质量悬崖，后者则需要额外的、成本不菲的蒸馏训练。有没有一种方法，能在不重新训练模型、不依赖复杂数学推导的前提下，实现更高效的采样？这正是CVPR 2026这篇关于“几何感知扩散Transformer采样加速”的工作试图回答的问题。它没有去改动模型本身，而是像一个经验丰富的“导航员”，在模型执行采样这个既定路线的过程中，动态地调整“步伐”，识别出哪些步骤可以“大踏步前进”，哪些需要“精雕细琢”。

其核心洞察非常直观：在扩散采样的漫长旅途中，并非每一步都同等重要。早期的步骤，图像还是一片混沌，模型主要在捕捉全局结构和轮廓；后期的步骤，图像细节逐渐浮现，模型在进行局部的微调和精修。如果我们能感知到当前生成状态所处的“几何阶段”，就能动态地分配计算资源。这篇工作将这种感知能力与当前如日中天的Diffusion Transformer（DiT）架构相结合，提出了一种免训练的采样加速器。这里的“几何感知”，并非指三维空间的几何，而是指数据在高维特征空间中的流形几何结构。理解数据在这个抽象空间中的“地形”，是决定采样步长和方向的关键。

2. 拆解核心：何为“几何感知”与Diffusion Transformer的采样瓶颈

要理解这项工作的精妙之处，我们需要先拆解两个核心概念：“几何感知”在扩散模型上下文中的具体含义，以及为什么标准的Diffusion Transformer采样过程存在可以被优化的“冗余”。

2.1 扩散过程的数据流形与“几何”直觉

想象一下，所有可能的猫的图片构成一个高维空间中的复杂曲面（流形）。一张清晰的猫图位于这个曲面上。扩散模型的正向过程，是不断地向这张猫图添加噪声，让它逐渐偏离这个曲面，最终变成一片纯粹的高斯噪声（可以想象成把这个点从曲面上“吹”到了广阔无垠的噪声空间中）。反向采样过程，则是从这片噪声中，一步步找回这个曲面，并最终落在曲面上那个代表猫图的位置。

这个“曲面”的弯曲程度在不同区域是不同的。在靠近清晰数据（曲面本身）的地方，曲面可能非常“陡峭”或“复杂”，微小的移动就会导致图像语义的剧变（比如从猫变成狗）。而在远离曲面的噪声区域，空间可能相对“平坦”，朝着曲面方向移动一大步，图像内容也不会发生本质改变，只是变得更不随机了一些。“几何感知”的目标，就是实时估计当前采样点所处位置的“地形平坦度”。如果地形平坦，说明我们可以安全地采用更大的步长（跳过一些中间计算），快速向数据流形靠近；如果地形陡峭，我们就必须用小步长谨慎前进，以免“滑倒”或“走错路”。

在数学上，这种“地形”的度量往往与数据分布的概率密度函数的梯度（即得分函数，score function）的局部变化率有关，或者说与Fisher信息矩阵等二阶统计量相关。传统方法精确计算这些量极其昂贵。而这篇工作的巧妙之处在于，它利用DiT模型内部的前向传播过程中自然产生的中间特征，来间接地、低成本地感知这种几何特性。

2.2 Diffusion Transformer的标准采样与计算冗余

Diffusion Transformer是当前扩散模型的主流架构，它用Transformer块替代了传统的U-Net中的CNN层，在处理大规模数据和捕捉长程依赖上表现出色。其标准采样流程是一个串行过程：

1. 输入当前时间步t的带噪图像x_t和时间步嵌入。
2. 经过多个DiT块（每个块包含自注意力层、MLP层等）进行特征变换。
3. 输出对噪声的预测，用于计算下一步的图像x_{t-1}。
4. 重复步骤1-3，直到t=0。

这里的计算冗余主要体现在两个方面：时间维度上的冗余和空间维度上的冗余。

时间冗余：正如前文所述，在采样轨迹的不同阶段，模型对输入的“敏感度”不同。在噪声较多的早期阶段，连续几步的更新方向可能高度一致。连续计算多个小步，等效于计算了一个大步，但后者计算量更小。标准采样器没有利用这种一致性，每一步都“重新计算”。

空间冗余：在一张图像内部，不同区域在同一个采样步的“进化速度”也不同。例如，在生成一幅风景画时，天空部分可能很快趋于平滑，而树叶的细节则需要更多步来细化。标准的DiT对图像所有patch进行全局均匀计算，没有对已趋“稳定”的区域减少关注。

现有的免训练加速方法，如“跳过某些层”或“提前退出”，大多基于简单的启发式规则（如固定间隔跳过），缺乏对当前生成状态的适应性。而“几何感知”正是为了动态地、自适应地识别并利用上述两种冗余。

3. 方法深潜：如何实现动态的、免训练的采样加速

这篇工作的核心框架是一个轻量级的、并行的“几何评估器”与一个“自适应调度器”，它们像插件一样嵌入到标准的DiT采样循环中，不改变主模型参数，实现免训练加速。

3.1 几何评估器：从中间特征提取“平坦度”信号

评估器的设计遵循高效和低开销的原则。它不引入额外的可学习参数，而是利用DiT主干网络在前向传播中已经计算出的中间特征图。

具体来说，在每一个采样时间步t，当带噪图像x_t通过第l个DiT块时，我们会提取该块输出的特征图F_t^l。这个特征图包含了当前图像在某个抽象层次上的表示。评估器计算该特征图在空间维度上的统计量变化率。一个关键的操作是，对比当前步特征F_t^l与缓存中前一步t+1对应层的特征F_{t+1}^l之间的差异。

他们提出了一个简洁而有效的几何感知指标——特征波动率（Feature Volatility）：V_t^l = ||Norm(F_t^l) - Norm(F_{t+1}^l)||_F / (ε + Std(F_t^l))其中，Norm表示层归一化，||·||_F是Frobenius范数，Std是空间维度上的标准差，ε是一个防止除零的小常数。

这个指标的意义在于：

• 分子||Norm(F_t^l) - Norm(F_{t+1}^l)||_F度量了特征从t+1步到t步的变化幅度。变化小，说明该层特征在连续时间步间稳定，可能处于“平坦”区域。
• 分母Std(F_t^l)度量了当前特征图自身的活跃度。如果特征图本身非常均匀（标准差小），即使绝对变化不大，其相对变化也可能很显著。
• 因此，V_t^l值较低，表明在该层特征视角下，数据流形相对平坦，采样过程可以更“激进”；值较高，则提示地形复杂，需谨慎。

注意：这里选择Frobenius范数和标准差，是为了获得一个全局的、标量的度量，便于后续调度。实验表明，这种基于特征差异的简单度量，与更复杂的基于梯度范数或Hessian特征值的度量高度相关，但计算成本低数个数量级。

3.2 自适应调度器：将感知转化为加速动作

调度器接收来自不同层l的几何感知指标{V_t^l}，并做出两个层面的决策：

1. 时间步调度（何时跳步？）这是针对时间冗余的优化。调度器维护一个“可信度累积器”。在每一步，它根据当前层的V_t^l计算一个“步长推荐因子”。如果多个连续步骤的推荐因子都表明地形平坦，累积器值增加。当累积器超过一个阈值时，调度器就触发一次“跳步”操作：即不执行下一个时间步t-1的完整计算，而是基于当前状态x_t和模型预测，直接估算x_{t-2}或更远的目标。这本质上是一种自适应步长的多步外推。

其算法逻辑如下：

初始化可信度 C = 0 对于采样步 t = T to 1: 计算当前步的几何指标 V_t 计算推荐因子 α_t = sigmoid(β * (τ - V_t)) # β是缩放因子，τ是基准阈值 C = C + α_t 如果 C >= Threshold_skip: 执行跳步更新：x_{t-k} = Update_with_larger_step(x_t, model) C = max(0, C - Penalty) # 执行跳步后，重置部分可信度，避免连续激进 t = t - k # 更新时间步 否则： 执行标准单步更新：x_{t-1} = Update_standard(x_t, model) C = max(0, C - Decay) # 正常步进，可信度缓慢衰减

这个过程使得模型在平坦区域“加速跑”，在复杂区域“慢慢走”。

2. 空间粒度调度（何处简算？）这是针对空间冗余的优化。对于图像中不同的patch，它们的“进化”速度不同。调度器利用特征图F_t^l的空间方差图，识别出哪些空间位置的特征已经高度一致（例如，大块的纯色背景）。对于这些“稳定区域”，在后续的DiT块计算中，可以采用近似计算。

一种实现的策略是动态令牌剪枝（Dynamic Token Pruning）。在自注意力层之前，根据每个patch对应特征向量的变化率（可通过与上一步该patch特征的余弦相似度衡量），对变化率低于阈值的patch，将其在注意力计算中的价值（Value）向量用其均值替代，或者直接跳过其对于其他patch的注意力贡献计算。这显著降低了注意力矩阵的计算复杂度，从 O(N^2) 向 O(NM) 降低（M是活跃patch数）。

另一种更轻量的策略是自适应计算深度（Adaptive Computation Depth）。对于被判定为“稳定”的patch序列，在后续的Transformer块中，可以绕过一部分MLP层或使用更窄的中间维度进行计算，类似于针对不同输入难度的条件计算。

3.3 整体工作流程与开销分析

将评估器和调度器嵌入标准DiT采样循环，流程变为：

1. 开始采样，初始化缓存（存储上一步特征）。
2. 对于当前时间步t，输入x_t到DiT。
3. 在前向传播过程中，于指定层（如每隔2-3层）截取特征，与缓存中的旧特征计算几何感知指标V_t^l。
4. 所有层的指标汇总到调度器。
5. 调度器决策：
   • 若触发时间跳步，则计算跳步更新，更新图像和缓存，并跳过后续若干步的循环。
   • 若不跳步，则在当前步的剩余DiT块计算中，根据空间调度决策，对稳定区域进行简化计算。
6. 更新缓存（当前特征存入），进入下一个时间步（或跳过后的时间步）。

开销分析：几何评估器的计算主要是特征减法和范数计算，相比DiT巨大的矩阵乘法和注意力计算，开销几乎可以忽略（论文中报告<1%的额外开销）。调度逻辑是简单的标量比较和条件判断，开销极低。因此，整个加速框架的额外开销控制得非常好，主要的收益来自于节省掉的完整DiT前向传播次数（时间跳步）和简化计算（空间调度）。

4. 实验验证：效果、效率与泛化性

任何加速方法的有效性都需要在速度-质量的权衡曲线上进行严格检验。这篇工作进行了大量实验，其设置和结论对我们理解其能力边界至关重要。

4.1 实验设置与基线对比

他们在标准的图像生成基准上进行了测试，包括ImageNet 256x256和512x512分辨率下的无条件生成和条件生成（基于类别）。使用的DiT主干是公开的预训练模型（如DiT-XL/2）。

对比的基线非常全面：

• 标准采样器：DDPM（1000步）、DDIM（50步、250步）、DPM-Solver++（20步、40步）。
• 免训练加速方法：包括固定步长跳过的Naive Skip、基于注意力熵提前退出的方法等。
• 训练时加速方法：知识蒸馏得到的快速采样模型（作为性能上限参考）。

评估指标采用：

• 生成质量：FID（Fréchet Inception Distance）、sFID（空间FID）、IS（Inception Score）。FID是核心指标，越低越好。
• 生成速度：采样步数（Steps）、实际 wall-clock 时间（Time）、吞吐量（Images/sec）。
• 计算量：FLOPs（浮点运算次数）。

4.2 核心结果：质量与速度的卓越权衡

实验结果清晰地展示了“几何感知”方法的优势。下表概括了在ImageNet 256x256上使用DiT-XL/2模型的关键数据：

从数据可以看出：

1. 质量保持：在将采样步数从250（DDIM）大幅减少到平均150步左右的情况下，本文方法将FID从4.1优化到了3.8，甚至略微优于40步的DPM-Solver++（3.9）。这说明其自适应跳步策略有效地避免了在关键复杂区域的跳跃，保住了生成质量。
2. 速度优势：相比需要40步的DPM-Solver++，本文方法平均步数更少，且由于引入了空间粒度调度，每一步的实际计算量也有降低，因此最终wall-clock时间减少了约30-40%。
3. 超越启发式方法：相比固定的Naive Skip，本文方法在更少步数下实现了好得多的FID（3.8 vs 5.8），证明了“几何感知”动态决策的有效性。

实操心得：在复现或应用此类方法时，一个关键的调参点是调度器中的阈值（如跳步阈值Threshold_skip、稳定区域判定阈值）。论文通常给出在特定数据集（ImageNet）上的最优值。但当应用到不同领域（如人脸生成、艺术画风）或不同分辨率的模型时，这些阈值可能需要重新校准。一个实用的策略是，在一个小的验证集上，以FID或人工评估为指标，对阈值进行微调。通常，对于细节更丰富、分布更复杂的数据，需要调高阈值（变得更保守）。

4.3 泛化性分析与消融实验

论文通过一系列消融实验，验证了各个组件的必要性：

1. “几何感知”指标的有效性：他们尝试了仅使用时间步t作为决策依据（固定调度），或使用更简单的指标如特征范数的变化。结果均显示，融合了跨步特征差异和特征内方差的V_t^l指标，在预测跳步安全性上最准确。
2. 时间调度 vs 空间调度：单独使用时间调度（跳步）或空间调度（令牌剪枝）都能带来加速，但二者结合时产生了显著的协同效应。时间调度减少了迭代次数，空间调度降低了每次迭代的成本。
3. 不同层特征的选择：实验发现，提取中间层（而非最浅或最深层）的特征对于几何感知最有效。浅层特征过于低级，对内容不敏感；深层特征过于抽象，变化不连续。中间层（如DiT总层数的1/3到2/3处）能最好地捕捉到语义结构的演化状态。
4. 跨模型与跨任务泛化：方法在DiT的不同变体（S, B, L, XL）上均有效，证明了其与模型规模无关。此外，在文本到图像生成任务（将DiT与CLIP文本编码器结合）的初步实验中，也观察到了可观的加速，说明其思想具有一定的任务泛化能力。不过，在文本条件生成中，由于文本指令会动态影响生成轨迹，调度器的策略可能需要更精细的设计。

5. 潜在影响、应用场景与未来展望

这项工作的意义远不止于提供了一个更快的采样器。它代表了一种新的、系统级的优化思路：将生成过程视为一个动态系统，并为其配备一个轻量级的“感知-决策”控制器。

5.1 对实际应用场景的变革

1. 实时交互式生成：在游戏角色设计、室内装修预览、营销素材快速原型等场景，用户拖拽一个滑块或输入一段描述，期望在数百毫秒内看到高质量预览。传统扩散模型数秒甚至数十秒的生成延迟是难以接受的。本方法可将延迟降低一个数量级，使真正的实时交互成为可能。
2. 视频生成与编辑：视频生成本质上是序列图像生成，对速度要求极高。将这种自适应采样加速应用于视频扩散模型的每一帧生成，可以大幅降低总生成时间。同时，其“空间调度”特性可能有助于处理视频中相对静态的背景区域，进一步提升效率。
3. 资源受限的边缘设备：在手机、XR眼镜等设备上部署扩散模型，计算和能耗是核心挑战。免训练的加速方法无需重新训练或蒸馏，可以直接部署在已有的轻量化模型上，结合本方法，能在有限的算力下实现更快的响应或更低的功耗。
4. 大规模数据合成与增强：当需要利用扩散模型生成海量数据用于训练其他AI模型时，采样速度直接关系到数据生产的成本和周期。本方法可以显著提升数据合成的吞吐量。

5.2 方法局限性与未来改进方向

尽管前景广阔，但该方法也存在一些局限，指明了未来的研究路径：

1. 理论保障的欠缺：目前的方法更多是启发式和基于经验的。虽然实验有效，但缺乏严格的理论证明，确保在任意数据分布和模型下，这种自适应跳步不会破坏扩散过程收敛到真实数据分布。未来的工作可能需要建立更坚实的概率近似理论。
2. 对极端情况的鲁棒性：在生成非常复杂、细节极其丰富的图像（如充满细小文字的场景）时，过于激进的跳步可能导致局部细节模糊或错误。需要设计更稳健的感知指标，或许需要结合多尺度、多模态（如同时考虑潜空间和像素空间）的信息。
3. 与训练时加速方法的结合：本方法是推理时优化，与DPM-Solver等训练时设计的采样器是正交的。一个很自然的想法是将其与这些先进采样器结合，例如在DPM-Solver的每一步内部，再应用几何感知的空间调度，可能产生进一步的加速。
4. 扩展到其他生成模型架构：目前工作聚焦于DiT。如何将“几何感知”的思想迁移到基于U-Net的扩散模型、流模型（Flow-based Model）甚至自回归模型上，是一个有趣的开放问题。核心在于如何为不同架构定义有效的“状态感知”信号。

5.3 对从业者的启示与实操建议

对于想要尝试或跟进这项技术的工程师和研究者，我的建议是：

首先，理解其核心思想而非机械复现。这项工作的精髓在于“利用模型前向传播中的中间特征，作为生成过程状态的廉价代理，并据此做出动态资源分配决策”。你可以思考在你的特定模型或任务中，什么信号最能代表“生成难度”或“变化平稳度”？不一定是特征差异，也可能是注意力图的熵、梯度的大小、特定通道的激活值等。

其次，从小规模实验开始验证。不要一开始就在最大的模型和数据集上尝试。选择一个轻量级的模型（如DiT-S），在一个小数据集（如CIFAR-10）上，实现最基本的“基于特征变化率的跳步”逻辑。先验证这个简单想法是否能在不显著损害FID的情况下减少步数。这个快速验证循环能帮你建立直觉。

再者，关注调度策略的稳定性。自适应调度容易引入反馈震荡，比如连续跳步后质量下降，导致后续步骤变得保守，然后又因保守而积累可信度，再次跳步。在实现时，除了论文中的惩罚和衰减机制，可以考虑加入“平滑”或“回溯”策略。例如，当发现跳步后图像质量的某种度量（如像素方差突变）异常时，可以回退一步，用标准步长重新计算。

最后，将评估器开销纳入考量。虽然论文中开销很低，但在极度追求吞吐量的场景，任何额外计算都需要权衡。可以考虑每隔几步运行一次评估器，或者只在某些关键层提取特征，而不是每一层每一步都计算。

这项研究像是一把精巧的钥匙，为我们打开了一扇门：生成模型的推理过程本身是可以被“优化”的，而不仅仅是模型权重。它提示我们，在追求更大参数、更多数据的同时，从系统层面审视和优化生成链路，同样能带来巨大的性能红利。随着扩散模型和应用场景的日益复杂，这种“感知-决策”式的智能推理优化，可能会成为下一代高效生成系统的标配组件。