从视频帧到3D时空Token：彻底理解V-JEPA如何用ViT切分Tubelet、构建三维网格、加入位置编码，并用贯穿时间维的3D Multi-Block Mask遮住时空区域与抑制视频冗余的直觉教程

从视频帧到3D时空Token

1. 第一件事情：视频为什么不能直接扔进 ViT？

普通 ViT 本质上处理的是：

Token Sequence\text{Token Sequence}Token Sequence

而一段视频原始是：

T×H×W×3T\times H\times W\times3T×H×W×3

其中：

• TTT是帧数；
• HHH是图像高度；
• WWW是图像宽度；
• 333是 RGB 三个通道。

因此必须先把视频切成很多小块，再把这些小块变成 Token。

但图片只有空间：

H×WH\times WH×W

视频则有：

T×H×WT\times H\times WT×H×W

所以 V-JEPA 不再切二维 Patch，而是切三维时空 Patch（3D Spatio-temporal Patch）。

2. V-JEPA 的一个 Token 到底是什么？

V-JEPA 默认的基本 Patch 尺寸为：

2×16×16\color{red}{2\times16\times16}2×16×16

顺序是：

Time×Height×Width\text{Time}\times\text{Height}\times\text{Width}Time×Height×Width

也就是说：

• 时间方向包含连续222帧；
• 高度方向包含161616像素；
• 宽度方向包含161616像素。

因此一个 Token 不是：

“某一帧里面一个16×1616\times1616×16小方块”。

而是：

“同一个空间小区域，在连续两帧中的内容”。

这种跨时间的小立方体也常被称为Tubelet（时空管状块）。V-JEPA 官方模型配置使用2×16×162\times16\times162×16×16的时空 Patch。

3. 用真正直观的六帧视频理解 Tubelet

假设我们有一个非常小的视频：

T=6,H=W=32T=6,\qquad H=W=32T=6,H=W=32

每一帧只有：

32×3232\times3232×32

像素。

空间 Patch 大小是：

16×1616\times1616×16

所以每一帧可以切成：

2×22\times22×2

四个小方块。

先不要急着生成 Token。

我们先把原始6 帧全部画出来。

时间轴 │ │ ▼ Frame 1 Frame 2 ┌──────────┬──────────┐ ┌──────────┬──────────┐ │ 1-a │ 2-a │ │ 1-b │ 2-b │ │ 左上16×16│ 右上16×16│ │ 左上16×16│ 右上16×16│ ├──────────┼──────────┤ ├──────────┼──────────┤ │ 3-a │ 4-a │ │ 3-b │ 4-b │ │ 左下16×16│ 右下16×16│ │ 左下16×16│ 右下16×16│ └──────────┴──────────┘ └──────────┴──────────┘ Frame 3 Frame 4 ┌──────────┬──────────┐ ┌──────────┬──────────┐ │ 5-a │ 6-a │ │ 5-b │ 6-b │ │ 左上16×16│ 右上16×16│ │ 左上16×16│ 右上16×16│ ├──────────┼──────────┤ ├──────────┼──────────┤ │ 7-a │ 8-a │ │ 7-b │ 8-b │ │ 左下16×16│ 右下16×16│ │ 左下16×16│ 右下16×16│ └──────────┴──────────┘ └──────────┴──────────┘ Frame 5 Frame 6 ┌──────────┬──────────┐ ┌──────────┬──────────┐ │ 9-a │ 10-a │ │ 9-b │ 10-b │ │ 左上16×16│ 右上16×16│ │ 左上16×16│ 右上16×16│ ├──────────┼──────────┤ ├──────────┼──────────┤ │ 11-a │ 12-a │ │ 11-b │ 12-b │ │ 左下16×16│ 右下16×16│ │ 左下16×16│ 右下16×16│ └──────────┴──────────┘ └──────────┴──────────┘

时间 T ↑ │ │ Frame 6 │ ──────────┼────────── / /| / 9-b 10-b / | / 左上16×16 右上16×16/ | ├──────────┬──────────┤ | / 11-b / 12-b / | / 左下16×16/ 右下16×16 / | └──────────┴──────────┘ | ▲ | │ | │ 时间 | │ | Frame 5 | ────────── | / /| | / 9-a 10-a / | | / 左上16×16 右上16×16/ | | ├──────────┬──────────┤ | | / 11-a / 12-a / | | / 左下16×16/ 右下16×16 / |/ └──────────┴──────────┘ | ▲ | │ | │ 时间 | │ | Frame 4 | ────────── | / /| | / 5-b 6-b / | | / 左上16×16 右上16×16/ | | ├──────────┬──────────┤ | | / 7-b / 8-b / | | / 左下16×16/ 右下16×16 / |/ └──────────┴──────────┘ | ▲ | │ | │ 时间 | │ | Frame 3 | ────────── | / /| | / 5-a 6-a / | | / 左上16×16 右上16×16/ | | ├──────────┬──────────┤ | | / 7-a / 8-a / | | / 左下16×16/ 右下16×16 / |/ └──────────┴──────────┘ | ▲ | │ | │ 时间 | │ | Frame 2 | ────────── | / /| | / 1-b 2-b / | | / 左上16×16 右上16×16/ | | ├──────────┬──────────┤ | | / 3-b / 4-b / | | / 左下16×16/ 右下16×16 / |/ └──────────┴──────────┘ | ▲ | │ | │ 时间 | │ | Frame 1 / ────────── / / / / 1-a 2-a / / 左上16×16 右上16×16/ ├──────────┬──────────┤ / 3-a / 4-a / / 左下16×16/ 右下16×16 / └──────────┴──────────┘ ↓ Height / 高度 Width / 宽度 →

注意这里暂时用a、b表示某个 Token 中来自不同帧的空间切片。

4. 现在把相邻两帧的同一个空间位置粘在一起

Tubelet 的时间大小是222，所以：

• Frame 1 和 Frame 2 被配成一组。
• Frame 3 和 Frame 4 被配成另一组。
• Frame 5 和 Frame 6 被配成第三组。

例如左上区域：

Frame 1 Frame 2 ┌──────────────┐ ┌──────────────┐ │ │ │ │ │ 1-a │ =========> │ 1-b │ │ 16×16 │ 时间 │ 16×16 │ │ │ 深度=2 │ │ └──────────────┘ └──────────────┘ \____________________________/ │ ▼ Token 1 2×16×16

所以：

Token 1={ Frame 1 左上,Frame 2 左上}\text{Token 1}=\{\text{Frame 1 左上},\text{Frame 2 左上}\}Token 1={Frame 1 左上,Frame 2 左上}

同理：

Token 2={ Frame 1 右上,Frame 2 右上}\text{Token 2}=\{\text{Frame 1 右上},\text{Frame 2 右上}\}Token 2={Frame 1 右上,Frame 2 右上}

Token 3={ Frame 1 左下,Frame 2 左下}\text{Token 3}=\{\text{Frame 1 左下},\text{Frame 2 左下}\}Token 3={Frame 1 左下,Frame 2 左下}

Token 4={ Frame 1 右下,Frame 2 右下}\text{Token 4}=\{\text{Frame 1 右下},\text{Frame 2 右下}\}Token 4={Frame 1 右下,Frame 2 右下}

而 Frame 3 和 Frame 4 得到：

Token 5,Token 6,Token 7,Token 8\text{Token 5},\text{Token 6},\text{Token 7},\text{Token 8}Token 5,Token 6,Token 7,Token 8

Frame 5 和 Frame 6 得到：

Token 9,Token 10,Token 11,Token 12\text{Token 9},\text{Token 10},\text{Token 11},\text{Token 12}Token 9,Token 10,Token 11,Token 12

5. 这就是之前为什么会画成三个矩阵

Tubelet 化之后，原来的：

6×32×326\times32\times326×32×32

视频在 Token 空间里变成：

3×2×23\times2\times23×2×2

为什么？

时间：

T′=62=3T'=\frac{6}{2}=3T′=26​=3

高度：

H′=3216=2H'=\frac{32}{16}=2H′=