BlackVIP: Black-Box Visual Prompting for Robust Transfer Learning
BlackVIP:稳健迁移学习的黑盒视觉提示
问题
- 黑盒白盒？
黑盒和白盒的概念与对预训练模型内部参数的了解程度相关。黑盒指的是对预训练模型的参数和结构缺乏详细了解，通常只能通过使用其API或者专有软件进行模型调用，而无法直接访问模型内部的参数。相反，白盒则指的是对模型的参数和结构有充分的了解，可以直接访问和修改模型的参数。
- FT和VP？
FT（Fine-Tuning）和VP（Visual Prompting）的区别是预训练模型参数的更新方式和参数数量不同
FT（Fine-Tuning）：通过反向传播算法直接更新整个预训练模型的参数，以适应特定的下游任务（涉及整个预训练模型的参数）
VP（Visual Prompting）：在输入像素空间中添加少量的参数作为视觉提示，来引导预训练模型的适应（涉及添加的少量提示参数）
0 Abstract
在 BlackVIP 中，VP 是由协调器（Coordinator）设计的，并且通过黑盒优化算法（SPSA-GC）来进行优化。
1 Introduction
现实世界中的许多AI应用程序都是作为API和专有软件服务的，由于商业侵犯模型所有权问题，不透露实现级别的信息或完整的参数。BlackVIP设计了与原始给定图像相同形状的提示，以覆盖整个图像视图。
-
我们提出了coordinator协调器，这是一种非对称的自编码器风格的网络，它接收原始图像并为每个单独的图像产生相应的视觉提示。
-
优化重新参数化的模型而不是提示本身：不优化提示，优化产生提示的coordinator
-
采用SPSA-GC，基于扰动参数的输出差异估计目标黑盒模型的梯度，然后以基于动量的前瞻方式校正初始估计值。
-
通过对参数进行随机扰动，观察模型输出的变化来估计目标模型的梯度，不需要直接访问目标模型的内部结构或参数，只通过观察输出的变化来推断梯度信息。
2 Related work
ZOO是一种无导数优化算法，主要通过对输入进行随机扰动，并观察输出的变化来推断目标函数的梯度信息，从而实现优化。
3 Preliminary
4 Methodology
4.1 Coordinator
- 一个冻结的编码器 f ( ⋅ ) f(⋅) f(⋅)，在ImageNet 上进行了预训练
- 一个轻量级的可学习解码器
g
ϕ
d
(
⋅
)
g_{ϕd}(⋅)
gϕd(⋅)组成
- 构造带提示的图像
- 视觉提示 h ϕ ( x ) = g ϕ d hϕ(x)=gϕd hϕ(x)=gϕd(图像 x x x的特征向量，提示触发向量)
- 带有提示的图像 x h e a d = c l i p x_{head}=clip xhead=clip( x x x原始输入图像+ ϵ ϵ ϵ超参数*视觉提示 h ϕ ( x ) hϕ(x) hϕ(x))
4.2 端到端的黑盒视觉提示
4.2.1 SPSA
- L ( ⋅ ) L(⋅) L(⋅) 是待优化的损失函数
- ϕ i ϕi ϕi表示第 i i i 步的参数向量
- Δ i Δi Δi是一个随机扰动向量
-
a
i
ai
ai是正衰减序列，可以类比学习率，是一个正数序列，控制着每次参数更新的步长大小，并且随着迭代次数增加而逐渐减小。
SPSA 使用两个相反方向的扰动来估计梯度的差异，并根据该估计进行参数更新。这种方法在高维空间中能够高效地估计梯度，因此在黑盒优化等问题中得到了广泛应用。
4.2.2 带梯度矫正的SPSA
5 Results
实验设置
为了研究提示设计的重要性，我们考虑了两个合成数据集:Biased MNIST和Loc-MNIST。
优化算法的比较
SGD-NAG：使用真梯度
SPSA-GC：比Random Gradient- free (RGF)更快更稳定
分布移位的鲁棒性
合成数据集的即时可视化，与VP不同，我们的BlackVIP设计了输入依赖的条件提示，有助于在分布/对象位置转移下的鲁棒性。
6 Conclusion
我们开创了黑盒视觉提示，用于预训练模型的现实和稳健适应。我们提出了BlackVIP，它将输入空间提示重新参数化为条件生成网络协调器，并配备了我们的新ZOO算法SPSA-GC，而不是反向传播。BlackVIP不需要模型架构或参数的任何可访问性，并有效地将预训练的模型适应目标下游任务。大量的实证结果表明，BlackVIP在最小参数、最小内存容量、最小API查询和最小成本的情况下，持续提高了少量射击适应、分布移动和对象位置移动的性能。
