为什么需要二维 RPE？#

在 T5 中，相对位置是一个标量：�−�。因为文本是一维序列，两个 token 之间的关系只需要一个数字就能描述。

但图像数据不同。一张图像被划分为 �×� 的 patch 网格后，两个 patch 之间的相对位置是二维的。

一个 patch 到另一个 patch 的偏移，不仅有"水平方向的距离"，还有"垂直方向的距离"。

具体来说，对于图像中的位置 (�1,�1) 和 (�2,�2)，相对位置是分成下面两部分：

Δ�=�1−�2,Δ�=�1−�2

这时如果再用一维标量来描述这个二维偏移，必然丢失方向信息。

好在，Swin 本身的 Window Attention 设计其实已经为 RPE 减了负：注意力只在 7×7 的窗口内进行。
这种设计让我们可以不再过多考虑 NLP 中的编码外推问题，但相应的，在这个局部范围内，精确的二维相对关系对建模视觉结构至关重要。

因此，Swin 设计了一套二维的相对位置编码方案。

2. 二维 RPE 如何构造？#

我们直接来看 Swin 在窗口注意力中使用的公式：

Attention(�,�,�)=Softmax(����+�)�

公式本身在形式上和 T5 是完全相同的，关键在于偏置矩阵 � 的构造上。
我们分点来展开：

2.1 直接将 RPE 推广到二维#

我们先来看看最直接的方法：
对于一个 �×� 的窗口，直接设计 �∈��2×�2，其中 ��� 表示窗口内第 � 个 patch 和第 � 个 patch 之间的偏置值。

我们用一个简单的例子来演示为什么是 �2×�2 ，假设窗口大小：�=2 ，那么窗口就是：

[�1�2�3�4]

现在，每个 token 都要和另外所有 token 建立关系。那么 ��� 计算的注意力得分矩阵形状就是这样的：

[�1→�1�1→�2�1→�3�1→�4�2→�1�2→�2�2→�3�2→�4�3→�1�3→�2�3→�3�3→�4�4→�1�4→�2�4→�3�4→�4]

偏置矩阵必须和注意力矩阵一一对应。所以 �∈��2×�2。
这种方法当然是可以跑通的，但我们要考虑二维带来的参数问题：

如果直接学习一个 �2×�2 的参数矩阵，那每个注意力头就得维护 �4 个参数。一个 Swin 有多个头和多个层，累计下来参数巨大。

因此， Swin 自然有对应的改进。

2.2 空间关系的平移不变性#

在 NLP 中，我们只针对每种相对位置设计偏置，但是在上面方案里，你会发现直接推广会带来很多无意义的参数，核心是因为：

在二维数据中相对逻辑更加凸显，窗口内大量位置对其实拥有相同的相对偏移。

比如，patch (0,0) 和 (1,0) 之间的偏移是 (Δ�=1,Δ�=0)，而 patch (2,0) 和 (3,0) 之间的偏移同样是 (Δ�=1,Δ�=0)。
它们本质上描述的是同一种空间关系，理应共享同一个偏置值。

于是 Swin 的做法是：推广相对逻辑，不直接学习 �，而是学习一个小得多的偏置表，再通过二维索引从中查值。

3. 紧凑偏置表与查表逻辑#

3.1 二维相对位置的计算#

首先，对于一个 �×� 的窗口，给每个位置一个坐标 (�,�)，显然：

�,�∈[0,�−1]

对于任意两个 patch ，二维相对偏移是：

Δ�=��−��,Δ�=��−��

那么，Δ� 的取值范围就是 [−(�−1),�−1]，一共 2�−1 种可能。
Δ� 同理，这部分的计算逻辑和 T5 是完全相同的。

现在，我们知道了：所有可能的 (Δ�,Δ�) 组合一共有 (2�−1)2 种，也就是说：

我们只需要一个 (2�−1)×(2�−1) 的偏置表，就能覆盖窗口内所有可能的位置关系。

这就是 Swin 的紧凑偏置表 �^：

�^∈�(2�−1)×(2�−1)

建表本身的逻辑到此结束，但现在还有一个小问题：

��� 和 �^ 大小不一，对于每组注意力计算，我要如何查表注入相应偏置？

3.2 查表过程#

其实这步可以理解为：如何将 �^ 内的值映射到总公式里的 � 中？

首先，前面我们已经知道了：���∈��2×�2
因此，真正参与 Attention 计算的偏置矩阵 �，也必须是 �2×�2。

但我们刚刚学习的紧凑偏置表只有：

�^∈�(2�−1)×(2�−1)

不难理解，为了让二者适配，Swin 的设计是这样的：

对于 Attention Matrix 中的每一个元素，都先计算两个 patch 的相对位移，再去 �^ 中查对应 bias。

展开来说， ��� 中的每一个元素本质上都对应“一对 patch 的关系”，而每一对 patch 都有自己的 (Δ�,Δ�)，因此，我们可以计算相对位移，实现查表取值：

���=�^[�,�]

这就实现了相同相对位移的 patch 对，共享同一个偏置。

不过这在实现中还有一个问题：

数组索引没有负数，负偏移并不能和其索引直接对应。

而 Δ�,Δ�∈[−(�−1),�−1]，因此 Swin 会先做一次平移去寻找正确索引：

Δ�′=Δ�+(�−1)

Δ�′=Δ�+(�−1)

现在：

Δ�′,Δ�′∈[0,2�−2]

于是查表过程就变成：

���=�^[Δ�′,Δ�′]

字母还是有些抽象，我们再举一个实例：设 �=3 ，那么 patch 网格可以就是：

[(0,0)(0,1)(0,2)(1,0)(1,1)(1,2)(2,0)(2,1)(2,2)]

此时 2�−1=5 ，因此 �^∈�5×5，如果当前 patch 为 (0,0)，它去关注 (2,2) ，那么：

，，Δ�=0−2=−2，Δ�=0−2=−2

现在，我们需要查：

�^[−2,−2]

显然，数组索引不能为负数。所以进行平移：

�−1=2

于是：

Δ�′=Δ�+2

Δ�′=Δ�+2

原本的 [−2,−2] ，就被平移成 [0,0]：

�^[−2,−2]⇒�^[0,0]

这里可能容易疑惑的一点是：

�^∈�5×5 中存储的并不是“偏移坐标本身”，而是“对应相对位移的偏移参数”。

展开来说：数学意义上的 (��,��)=(−2,−2) 会被映射到数组索引(0,0)，因此，�^[0,0] 实际存储的就是相对位移为 (−2,−2) 时对应的偏置。

这样，所有原本可能为负数的二维位移都被映射到了合法数组索引,可以稳定完成查表。
最终所有 patch 两两之间都会完成一次查表从而动态构造出完整的偏置矩阵：

�∈��2×�2

随后：

����+�

即可完成二维相对位置信息的注入。
值得一提的是在具体实现中，二维紧凑表会被展平成一维，以类似“编号”的逻辑取值，根本逻辑没变，明白即可。

3.3 参数对比#

来看看两种方式的参数对比：

很明显，随着窗口增大，紧凑表的优势会更加明显。