这项由乔伊未来学院（Joy Future Academy）、复旦大学、清华大学和中国科学技术大学联合开展的研究，以预印本形式发布于2026年7月3日，论文编号为arXiv:2607.03524，有兴趣深入了解的读者可通过该编号查询完整论文。

当你拿起一支画笔准备画一幅画时，画得好不好，很大程度上取决于你在动笔之前脑海中那幅图有多清晰。如果脑海中的图像模糊，你大概需要反复修改很多次才能接近理想效果；但如果一开始就想得很清楚，哪怕只涂几笔，也能八九不离十。现在的AI绘图系统面临的恰恰是同样的困境——而这项研究提出的方案，就是帮AI在"动笔"之前就想得更清楚。

**AI绘图为什么这么慢**

当今最先进的AI图像生成系统，比如被广泛使用的Stable Diffusion 3，工作方式有点像一个雕塑家从一块粗糙的石料开始，一刀一刀地雕出精细的作品。这个"雕刻"过程在技术上被称为"流匹配"（Flow Matching），AI从一张充满噪点的随机图像出发，一步一步地消除噪点，最终得到清晰的图像。问题在于，这个过程通常需要35到50个步骤才能产出令人满意的结果——就好像那位雕塑家每次只能微调一点点，必须重复数十次才能完成作品。

这种多步骤的特性带来了显而易见的代价：速度慢、计算资源消耗大。每生成一张图，都需要大量时间和算力。在实际应用中，这意味着更高的成本和更差的用户体验。

研究人员早就意识到这个问题，也尝试过各种"加速"方案。有人尝试让AI通过模仿一个更强的"老师模型"来学会一步到位（这叫蒸馏），有人尝试让AI学会在轨迹上保持一致性从而减少步骤数（这叫一致性模型）。然而这些方案要么需要额外准备一个复杂的老师模型，要么需要对训练流程做大量改动，而且往往会产生一些奇怪的伪影——生成图像里会出现奇怪的纹路、不自然的高对比度，甚至令人不适的颜色失真。

**一个出人意料的核心发现**

这项研究的出发点是一个看似简单却相当深刻的问题：AI在少步骤情况下生成图像质量差，根本原因是什么？

研究团队发现，问题出在AI被训练时所处的"评判标准空间"上。

以一个非常直观的例子来解释这件事。假设你有一千张同一个人的照片，现在把这一千张照片在颜色数值上直接取平均——每个像素点的颜色变成一千张图里该位置颜色的平均值。你会得到什么？一张模糊得几乎认不出人的图像，就像透过一层厚厚的毛玻璃隐约看到人脸的轮廓。这张平均图在数学上是精确的平均，但它完全不像一张真实的人脸照片。

这就是AI在"动笔"时面临的困境。当AI处于高度噪点的状态（相当于雕刻的初始阶段），它对于"这张图最终应该长什么样"有很大的不确定性——可能是猫，可能是狗，可能是横构图，也可能是竖构图。传统的训练方式让AI最小化像素数值上的误差，导致AI倾向于预测所有可能性的"平均值"，产出一个模糊的、不属于任何具体图像的预测。当有足够多的步骤时，AI还有机会在后续步骤里逐步修正；但步骤太少，这个初始的模糊预测就很难被有效纠正。

研究团队把这种现象叫做"均值寻求"行为——AI总在猜一个中间值，而不是猜一个具体、鲜明、真实的样子。

**感知特征空间：一种更聪明的评判标准**

那么，有没有一种评判方式，能让AI从一开始就倾向于预测那些"真实可信"的图像，而不是模糊的平均？

研究团队的答案是：改变训练时使用的"测量尺"。

与其用像素数值来衡量AI的预测有多准确，不如用人类视觉感知的方式来衡量。人类的视觉系统对清晰的轮廓、真实的纹理、自然的光影格外敏感，对那种说不清道不明的模糊感非常排斥。如果能让AI接受同样的评判，它自然就会在预测时避开那些"模糊但数值上说得过去"的答案，转而去猜那些"虽然不是平均值但看起来更真实"的答案。

实现这一点的工具是已经在大量真实图像上预训练过的视觉模型，比如VGG、DINOv2、ConvNeXt等。这些模型经过训练，能够提取图像的语义特征——简单来说，它们"看懂"了什么是清晰的脸、什么是真实的狗、什么是自然的风景。把两张图像分别输入这些模型，得到各自的特征表示，然后比较这两个特征的差距，这个差距就叫"感知距离"。

关键在于：感知模型对于"模糊"的惩罚远远大于像素级别的测量。当你把那千张人脸照片在DINOv2的特征空间里取平均，再还原成图像，得到的结果依然保留了清晰的面部结构——因为语义特征空间更关注"这是一张人脸"这件事，而不是每个像素的精确数值。这意味着在语义特征空间里，"模糊的平均"本身就是个代价高昂的答案，AI会尽量避开它。

研究团队把这种现象背后的数学特性量化为一个叫做"离流形惩罚"（Rφ）的指标。直白来说，这个数字衡量的是：当你把两张真实图像做平均（产出一个模糊的"中间货"）时，这个评判标准会对它惩罚多少。传统的VAE潜在空间（也就是Stable Diffusion这类模型内部使用的压缩空间）测出来的离流形惩罚大约是1.59；而VGG、DINOv2等感知特征空间的惩罚值在1.9到2.0之间。更高的惩罚值意味着感知空间更强烈地排斥模糊的预测，更倾向于引导AI走向清晰、真实的图像。

这种现象有一个直观的验证。研究团队从FFHQ人脸数据集里取出1000张相似的人脸，分别在三种空间里求平均：直接在像素空间取平均、在VAE潜在空间取平均再解码、在DINOv2特征空间取平均再还原。前两种方式得到的都是明显模糊的人脸，而第三种方式的结果却保留了清晰的面部轮廓。这直观地说明了为什么用感知特征空间来训练AI，能让AI在少步骤情况下给出更清晰的预测。

**"感知流匹配"：只改一件事，效果大不同**

基于以上发现，研究团队提出了"感知流匹配"（Perceptual Flow Matching，简称PFM）框架。它的核心改动非常简洁，简洁得让人有点意外。

整个训练过程与传统流匹配基本相同：给AI一张被加入噪点的图像和时间步信息，让AI预测"怎么去掉噪点"（技术上叫预测速度场），然后根据这个预测恢复出干净图像的估计值。唯一的区别在于：传统方法在潜在空间里比较预测的干净图像和真实干净图像的差距，而PFM把两者都先解码到像素空间，再分别通过预训练感知模型提取特征，最后比较特征之间的差距。

就这一步改动，不需要额外的老师模型，不需要额外的辨别网络，不需要对训练流程做其他改动，训练成本几乎不变——但效果却截然不同。

推理的时候，PFM用的是标准的一致性采样方式：AI先从当前噪点状态预测出干净图像的估计，再把这个估计重新加入噪点到下一个时间步，如此循环。步骤数量可以自由调整，不需要重新训练模型。

**无需"提词器"的另一个惊喜**

研究团队还有一个额外的发现值得单独介绍，因为它解决了另一个实际问题。

在AI图像生成中，有一种常用技术叫"无分类器引导"（Classifier-Free Guidance，简称CFG）。它的作用是增强生成图像与用户文字描述之间的匹配程度——让"一只橘色的猫坐在窗台上"这句话生成的图像更精确地符合描述。然而，使用CFG的代价是：每生成一步，AI都需要额外运行一次无条件预测，相当于每步的计算量翻倍。

令研究团队惊喜的是，用感知目标训练出来的PFM模型，即便在推理时完全不使用CFG，也能生成语义上非常准确的图像。他们认为这是因为感知监督的几何性质隐式地教会了AI"什么才叫一个语义上正确的预测"，导致模型内化了部分引导效果，不需要外部的额外提示。

尽管如此，研究团队也提供了两种可选的"CFG烘焙"策略，允许在训练阶段就把引导效果融入模型，从而在推理时用单次前向传播就实现引导增强的效果。一种是"预测侧"策略：在训练中，把有条件预测和无条件预测的加权混合作为训练的起点，让梯度只流过有条件分支，从而让模型学会内化引导效果。另一种是"目标侧"策略：在训练中构造一个CFG增强版的目标图像，让AI直接向这个强化目标靠拢，同时用参数控制训练稳定性。两种策略都只需要训练时额外做一次无条件前向传播，推理时就不再需要额外开销。

**在三类任务上的全面验证**

研究团队在图像生成、图像编辑和视频生成三个方向上分别验证了PFM的效果，覆盖了当前最主流的几个生成任务。

在文本生成图像方面，研究团队把PFM应用到Stable Diffusion 3 Medium（SD3-Medium）上，并在COCO 2014验证集上进行评测。这个测试集是业界广泛使用的标准测试，包含FID（图像真实感评分，越低越好）、CLIP Score（图文匹配度，越高越好）和HPSv3（人类审美偏好，越高越好）三项指标。在8步生成条件下，PFM的FID得分为33.93，CLIP Score为31.70，HPSv3为11.42，三项指标在同步数下均优于对比方法。

与之对比的是两种蒸馏方法：LCM（潜在一致性模型）和DMD2（改进版分布匹配蒸馏）。在8步条件下，LCM的FID是34.18，HPSv3只有9.19；DMD2的FID是36.16，HPSv3是10.19。PFM在FID和HPSv3上均明显领先。从生成的图像来看，LCM生成的图像更模糊，有明显的伪影；DMD2虽然相对清晰，但颜色饱和度过高、对比度不自然；PFM的图像在整体真实感和美观度上更接近人类审美。

在图像编辑方面，研究团队把PFM应用到Qwen-Image-Edit模型上，并在MagicBrush基准上进行评测。MagicBrush专门测试"按文字指令修改图像"的能力。结果显示，将采样步数从40步减少到8步后，原版Qwen-Image-Edit的性能明显下降；而同样是8步，应用PFM的版本不仅远超8步基线，甚至在CLIP-I（生成图与原图的相似度）、DINO（语义一致性）、L1误差和L2误差四项指标上超越了原版的40步结果，只有CLIP-T（文图匹配度）稍低0.01分。更值得一提的是，PFM推理时不使用CFG，而原版基线使用CFG scale=4.0，这意味着PFM每步的实际计算量只有基线的一半，但效果还更好。

在视频生成方面，研究团队把PFM应用到Wan2.1-1.3B视频生成模型上，并在VBench基准上进行全面评测。VBench包含物体类别准确率、多物体关系、人类动作、颜色、场景一致性、时间流畅性、运动平滑度等十余项子指标。对比的基线是Wan2.1用35步（CFG scale=5.0）和8步（CFG scale=5.0）采样的结果。PFM用8步、无CFG的情况下，在主体一致性（0.969对0.962）、背景一致性（0.972对0.960）、时间无抖动（0.996对0.979）、运动平滑度（0.995对0.987）、美学质量（0.651对0.535）等多项指标上超越了35步基线。总评分方面，PFM达到0.792，35步基线为0.774，8步基线仅为0.735。从生成的视频帧来看，8步基线存在严重的画面模糊，而PFM的8步结果与35步几乎难以区分。

**当评判标准改变，AI的"直觉"也随之改变**

一、为什么改变监督空间能起到如此关键的作用

研究团队用一个更基础的数学理论来解释PFM为什么有效。传统流匹配在VAE潜在空间里用最小化均方误差来训练，而均方误差的最优解恰好是"后验期望"——也就是所有可能答案的加权平均。在高噪声阶段，这个后验分布是多峰的（可能是猫也可能是狗），它的均值就落在两者之间的模糊地带，不属于任何一个真实类别。

感知监督改变了这个最优解的位置。在感知特征空间里，最优解不再是欧式均值，而是特征空间里的"重心"。由于感知模型对模糊、不真实的图像赋予更大的距离，这个重心会自然地偏向更接近真实数据流形的方向，而不是停留在模糊的中间地带。

这种转变在数学上被描述为从"均值寻求"到"模式寻求"的转变——AI不再猜所有可能性的平均，而是倾向于猜一个具体的、真实的可能性。

二、两个实验验证了这个机制

研究团队设计了两个实验来验证这个机制，一个在合成数据上，一个在真实图像上。

在合成数据实验中，他们把数据分布设计成一个二维平面上的螺旋线——数据只存在于这条细细的曲线上，偏离曲线的点都是"不真实"的。他们分别用三种监督方式来训练生成模型：标准流匹配（在坐标空间里直接比较）、通过一个随机初始化的自编码器特征空间比较、以及通过一个经过训练的自编码器特征空间比较。结果非常清晰：前两种方式在步数少时生成的点大量落在螺旋线外，聚集在分布的均值附近；只有第三种方式，即使只用很少几步，生成的点也贴近螺旋线。

这个实验还揭示了一个重要细节：仅仅是非线性的特征空间并不够——随机初始化的自编码器同样提供了非线性映射，但效果和直接在坐标空间里没什么区别。真正起作用的是这个特征空间有没有"学到"什么是真实数据，也就是说，离流形惩罚Rφ必须大于1才有效。

在真实图像实验中，他们从FFHQ数据集里对VGG、DINOv2、SigLIP、ConvNeXt、CLIP等多种感知特征空间分别测量了Rφ值。结果显示所有预训练感知模型的Rφ都在1.9到2.0之间，远高于VAE潜在空间的1.59。更令人印象深刻的是，这些感知模型在Rφ上的排名，与它们作为监督特征在文本生成图像基准上带来的实际效果排名高度吻合——Rφ越高的模型，用来训练PFM效果越好。

三、不同的感知模型各有特点

研究团队比较了多种感知模型的实际表现。VGG是一个经典的卷积网络，历史悠久，但输入图像被限制在224×224分辨率，对高分辨率图像的细节捕捉有限。DINOv2是自监督训练的视觉变换器，能捕捉语义层面的特征，分辨率更高。SigLIP是联合语言-图像训练的模型，语义对齐能力强。ConvNeXt是改进版的卷积网络，在量化测试中取得了最高的Rφ值（2.026），在文本生成图像测试中也表现最优（CLIP Score 31.53，HPSv3 10.17）。随机初始化的ViT（RandViT）则惨不忍睹，生成结果与标准流匹配一样模糊，进一步证实了"必须是训练过的感知模型"这一结论。

在层级深度的实验中，研究团队测试了在DINOv2的不同层提取特征来计算损失的效果。浅层特征接近像素，Rφ低，训练出的模型仍然模糊；深层特征语义丰富，但过于抽象，会让模型忽略细节、失去像素级的保真度；最终最优的做法是对多层特征取平均，兼顾语义约束和像素细节。

组合使用多种感知模型也带来了额外的提升，VGG和DINOv2的组合在实验中总体表现最佳。

**说到底，这个发现告诉我们什么**

归根结底，这项研究揭示了一件原本不那么显而易见的事：AI生成图像需要多少步骤，不只取决于模型的大小或训练数据的多少，还深刻地受到训练时使用的"评判尺度"的影响。传统方式用像素数值来打分，这把尺子天然地宽容模糊；感知空间用视觉感知来打分，这把尺子天然地惩罚模糊。换一把尺子，AI就学会了在脑海中想清楚再下笔，而不是每次都画一个让所有人都"差不多满意"但其实没人真正喜欢的模糊平均。

PFM的实际意义是：使用者不再需要等待几十步的缓慢生成，4到8步就能得到质量接近甚至在某些维度超过原版的结果，时间成本和计算成本大幅下降。对于需要大量生成图像或视频内容的应用场景来说，这意味着几倍到十几倍的效率提升。

当然，PFM也有局限。在1到2步这种极端情况下，效果还不够理想，图像会出现明显模糊。哪种感知空间才是真正最优的，目前也还没有定论——这是研究团队明确留给未来的工作。不过，一个有趣的问题留给读者思考：如果连AI"用什么空间来衡量自己的错误"都能如此显著地影响最终结果，那么我们在其他机器学习任务里是否也在无意间使用着不合适的"评判尺度"？

对这项研究感兴趣的读者，可以通过arXiv编号2607.03524找到完整论文。

Q&A

Q1：感知流匹配（PFM）和传统流匹配的训练过程有什么实质区别？

A：传统流匹配在训练时，把AI预测的图像和真实图像在VAE潜在空间里做像素数值比较。PFM唯一的区别是：把两张图像先解码到像素空间，再分别通过VGG、DINOv2这类预训练视觉模型提取特征，然后比较特征之间的差距。这一步改动不需要额外的老师模型，也不改变训练框架，但让AI在训练时受到了更强烈的"模糊惩罚"，从而学会在少步骤下给出更清晰的预测。

Q2：PFM为什么在图像编辑任务上的指标甚至超过了原版40步模型？

A：在MagicBrush测试中，PFM在8步、不使用CFG的情况下，在图像相似度、语义一致性、像素误差等指标上超过了原版40步模型。研究团队认为这与感知监督的特性有关：感知特征空间更关注语义层面的正确性，训练出的模型预测更贴近真实图像的语义结构，而不是陷入模糊的平均状态。编辑任务本身需要保留源图像的大量细节，感知空间对细节保真度的要求恰好契合了这一需求。

Q3：离流形惩罚（Rφ）具体是怎么测量的？

A：研究团队取两张真实图像a和b，计算它们的像素平均值m（这个m模拟了AI在高噪声时给出的模糊预测），然后分别在某个特征空间里测量m到a的距离和b到a的距离，把前者的两倍除以后者。如果这个比值接近1，说明该特征空间对模糊图像没有额外惩罚；比值越大，说明该空间越强烈地排斥模糊。VAE潜在空间的比值约1.59，各预训练感知模型的比值在1.9到2.0之间，这个数值越高，用该空间训练的PFM效果越好。