可变形卷积的核心原理

传统卷积的局限性

标准的二维卷积操作在一个固定的矩形网格上进行采样。假设一个3×3卷积核，其采样点集合为：

{(-1,-1), (-1,0), ..., (1,1)}

每个输出位置的计算涉及对这些固定位置的特征值进行加权求和。这种设计的优点在于结构简单、易于优化，但缺点同样明显——无法适应几何形变。当处理具有姿态变化、尺度变化或非刚性形变的物体时，固定的采样网格可能无法覆盖最相关的特征区域。

可变形卷积的解决方案

可变形卷积通过为每个采样点学习一个可训练的偏移量来解决这个问题。具体来说，对于输出特征图上的每个位置p，对应的输入采样位置变为：

p + pₙ + Δpₙ

其中：

• pₙ是标准卷积核中的预定义偏移（如(-1,-1)）

• Δpₙ是可学习的偏移量，通常是一个小数

偏移量Δpₙ是通过在输入特征图上额外应用一个标准卷积层来生成的。这个偏移生成层与主卷积层共享输入特征图，输出通道数为2N（N为采样点总数，2表示x和y方向的偏移）。由于偏移量通常是分数，实际的特征采样需要使用双线性插值来实现可微分的采样操作。

为什么可变形卷积有效？