CVPR 2025 | FEFM：频域穷尽融合机制，CRM+DRM双分支协同挖掘跨场共性与差异特征！
论文: Complementary Advantages: Exploiting Cross-Field Frequency Correlation for NIR-Assisted Image Denoising
作者: Yuchen Wang, Hongyuan Wang, Lizhi Wang, Xin Wang, Lin Zhu, Wanxuan Lu, Hua Huang
发表: CVPR 2025
论文链接: https://arxiv.org/abs/2412.16645
代码链接: https://github.com/yuchenwang815/FCENet
一、引言
在NIR辅助RGB图像去噪任务中，一个核心挑战是如何有效融合来自两个不同模态的信息。经过FDSM（频域动态选择机制）对NIR和RGB特征进行筛选后，我们获得了高质量的互补特征——RGB特征保留了丰富的低频颜色信息，NIR特征保留了清晰的高频纹理细节。但如何将这些筛选后的特征充分融合，仍然是一个亟待解决的问题。
传统的跨模态融合方法主要分为两类：
- 直接融合（如逐元素相加、通道拼接）：过于粗糙，无法区分两个场中的共性特征和差异特征，导致信息混淆
- 共性增强融合（如交叉注意力）：虽然能强化共性信息，但丢弃了关键的差异信息——尤其NIR中特有的锐利高频纹理在融合过程中被模糊化
针对这一问题，本文提出了频域穷尽融合机制（Frequency Exhaustive Fusion Mechanism, FEFM）。顾名思义，FEFM的目标是在频域中对两个场的特征进行"穷尽式"融合——既要充分建模共性特征，又要保留关键的差异特征。FEFM包含两大核心组件：共性特征强化机制（CRM）和差异特征强化机制（DRM），分别负责"求同"和"存异"。
二、核心动机
现有交叉注意力的局限性
现有NIR-RGB融合方法（如DVN）大多采用交叉注意力机制（cross-attention）来融合两个场的特征。交叉注意力通过计算NIR和RGB特征之间的相关性权重，对共性信息进行加权融合。然而，这种方法本质上是一种低通滤波操作——它倾向于保留两个模态中一致的部分（共性特征），而弱化不一致的部分（差异特征）。
问题是：经过FDSM筛选后，NIR和RGB特征中的差异信息恰恰是有用的互补信息。尤其是NIR特征中的高频纹理细节，在逐层融合过程中被交叉注意力"平均化"，导致最终的融合特征仍然模糊。
关键观察：频域融合需要"求同"与"存异"并重
作者观察到，经过FDSM筛选后的NIR和RGB特征图具有以下特性：
- 共性部分：两个场在低频区域有相似的结构信息，需要强化以保持整体结构一致性
- 差异部分：NIR特征图的高频纹理明显比RGB特征图清晰，这些差异信息对恢复细节至关重要
图1：FEFM特征可视化。从左到右依次为输入特征图、交叉注意力输出特征、FEFM输出特征
从图中可以清晰看到，普通交叉注意力输出的特征仍然模糊（第二列），而FEFM输出的特征在保留结构信息的同时，显著恢复了纹理细节（第三列）。
核心解决思路
基于以上分析，FEFM的核心思路是：在频域中同时建模共性特征和差异特征。
- CRM（共性特征强化机制）：利用频域卷积定理，同时建模频域中的局部相似性和长程通道相关性，全面挖掘NIR和RGB的共性信息
- DRM（差异特征强化机制）：通过差异交叉注意力（differential cross-attention），有选择地补充NIR中关键的差异高频特征
三、方法
3.1 模块整体设计
FEFM的输入是经过FDSM筛选后的特征：
- RGB筛选特征FR∈RC×H×W\mathbf{F}_{\mathbf{R}} \in \mathbb{R}^{C \times H \times W}FR∈RC×H×W
- NIR筛选特征FN∈RC×H×W\mathbf{F}_{\mathbf{N}} \in \mathbb{R}^{C \times H \times W}FN∈RC×H×W
图2：FDSM（左）与FEFM（右）架构图
前向过程总述：FEFM由CRM和DRM两个并行分支组成。CRM首先对两个场的特征进行编码，然后通过2D-DFT变换到频域，同时计算逐元素频域相关性和频域通道相关性，输出综合了局部相似性和长程通道相关性的融合特征。DRM利用差异交叉注意力，有选择地从NIR特征中提取CRM未能捕获的高频差异信息，补充到融合结果中。最后，将CRM和DRM的输出进行组合，得到频域穷尽融合特征。
3.2 核心算法：CRM
CRM的设计灵感源自频域卷积定理——两个信号在空域中的相关/卷积等价于它们在频域中的Hadamard积。利用这一性质，以往的工作（如FSAS）将频域引入自注意力机制，简化了矩阵乘法。然而，这种操作仅计算了频域中的逐点相关系数，忽视了频域中的长程相关性。
CRM的数学原理
CRM对输入特征进行以下编码：
Q=WdQWpQFR,K=WdKWpKFN,V=WdVWpVFN\mathbf{Q} = W_d^Q W_p^Q \mathbf{F}_{\mathbf{R}}, \quad \mathbf{K} = W_d^K W_p^K \mathbf{F}_{\mathbf{N}}, \quad \mathbf{V} = W_d^V W_p^V \mathbf{F}_{\mathbf{N}}Q=WdQWpQFR,K=WdKWpKFN,V=WdVWpVFN
其中WpW_pWp是逐点卷积（1×1卷积），WdW_dWd是深度卷积（depthwise conv）。
然后，对Q\mathbf{Q}Q和K\mathbf{K}K应用2D-DFT得到频域立方体DQ\mathbf{D}_{\mathbf{Q}}DQ和DK\mathbf{D}_{\mathbf{K}}DK：
DQ=F(Q),DK=F(K)\mathb