三亩地 三亩地SAN MU DI · CODE DIARY
ARTICLE DETAIL

日记详情

真实记录编程学习的某一天,欢迎挑你感兴趣的翻一翻。

论文深读:Enhancing Video Super-Resolution via Implicit Resampling-based Alignment

论文深读:Enhancing Video Super-Resolution via Implicit Resampling-based Alignment

论文:Enhancing Video Super-Resolution via Implicit Resampling-based Alignment
作者:Kai Xu, Ziwei Yu, Xin Wang, Michael Bi Mi, Angela Yao(NUS)
会议:CVPR 2024
ArXiv:2305.00163v2


一、介绍:对齐里的"隐形台阶"

视频超分辨率(VSR)的核心卖点是利用时间维度的信息,而时间信息要能用的前提,是先把相邻帧对齐(Alignment)。

现有 VSR 方法在对齐上花的功夫不少:光流(Optical Flow)、可变形卷积(Deformable Conv)、可变形注意力(Deformable Attention)……但有个关键步骤一直被所有人默认忽略了——重采样(Resampling)。

对齐的本质是两步走:

  1. 运动估计(Motion Estimation):算出像素位移场M
  2. 运动补偿(Motion Compensation):根据M把参考帧 warp 到当前帧

第二步 warp 的时候,算出来的位移往往是亚像素精度(小数坐标),而参考帧只在整数坐标上有值。这时候

← 返回列表