1. 多模态大语言模型安全研究背景

多模态大语言模型(Multimodal Large Language Models, MLLMs)近年来展现出强大的跨模态理解和生成能力，能够同时处理文本、图像、音频等多种输入形式。这种能力的背后是模型架构的持续创新，从早期的简单拼接式设计发展到如今的深度融合架构。然而，随着模型能力的提升，其安全性问题也日益凸显，特别是通过视觉输入实施的"越狱攻击"(Jailbreaking Attack)已成为学术界和工业界关注的重点安全问题。

视觉越狱攻击(Visual Jailbreaking Attack, VJA)是指攻击者通过精心设计的对抗性图像输入，诱导模型绕过内置的安全防护机制，生成有害、偏见或隐私泄露等内容。与传统的文本越狱攻击相比，视觉越狱攻击具有两个显著特点：首先，图像的高维特性使得对抗扰动更难被人工检测；其次，多模态融合机制可能放大语义歧义，为攻击创造更多可乘之机。2023年GPT-4V等商用系统的推出，使得这类攻击的现实危害性进一步加剧。

2. 视觉越狱攻击的技术原理

2.1 攻击方法分类学

当前视觉越狱攻击主要分为三类：基于优化的方法、基于提示工程的方法和基于模型特性的方法。基于优化的方法(如本研究关注的PGD、FORCE)通过梯度反传迭代优化对抗样本；基于提示工程的方法(如Visual Prompt Injection)利用多模态提示的语义漏洞；基于模型特性的方法(如Vision Prefix Hijacking)则针对特定架构弱点实施攻击。

从攻击目标看，这些方法又可细分为：

• 白盒攻击：完全了解目标模型结构和参数
• 灰盒攻击：仅知模型架构但参数未知
• 黑盒攻击：仅通过API交互获取输入输出

2.2 对抗样本生成机制

典型的优化式视觉越狱攻击遵循min-max公式：

min_θ E_(x,y)~D [max_δ∈Δ ℓ(x+δ,y;θ)]

其中关键参数包括：

• 扰动边界ϵ：通常取8/255~16/255(像素值范围0-255)
• 攻击步长α：常见设置为ϵ/4
• 迭代次数T：PGD通常取10-50步
• 损失函数ℓ：交叉熵为主，也有研究使用CW等定制损失

对抗样本的视觉隐蔽性通过Lp范数约束实现，最常用的是L∞约束(最大像素变化)和L2约束(总体变化量)。研究表明，L∞约束生成的对抗样本在视觉上更难察觉，但L2约束通常能获得更好的攻击迁移性。

3. 迁移性瓶颈分析与FORCE方法

3.1 现有方法的局限性

传统基于PGD的视觉越狱攻击在跨模型迁移时面临显著性能下降，特别是在面对以下三类模型时：

1. 早期融合架构(Early-Fusion MLLMs)

   • 代表模型：LLaMA-3-Vision、Qwen-VL
   • 特点：在浅层就实现模态融合，安全防护更严密
   • 攻击成功率(ASR)：通常<5%

2. 商用API模型

   • 代表系统：GPT-5、Claude-Sonnet、Gemini-Pro
   • 特点：采用专有防御机制如内容过滤、后处理等
   • ASR：普遍<3%

3. 大参数模型(>50B)

   • 现象：模型容量越大，对抗鲁棒性越强
   • 原因：高维参数空间中的平坦极小值

3.2 关键发现：特征过依赖问题

通过层间特征可视化和频谱分析，我们发现传统方法存在两类过依赖：

1. 特定层依赖：

   • 攻击优化过度依赖源模型前3层的特征响应
   • 当目标模型层深/结构差异大时迁移失败
   • 实验显示：仅调整BN层参数就可使ASR下降40%

2. 高频信息依赖：

   • 对抗扰动能量集中在>30%Nyquist频率区域
   • 与自然图像频谱分布(主要能量在低频)相反
   • 导致防御系统容易通过低通滤波阻断攻击

3.3 FORCE方法设计

针对上述问题，我们提出特征过依赖矫正(Feature Over-Reliance CorrEction, FORCE)方法，包含双路径优化：

层空间正则化路径：

• 构造多层特征一致性损失： L_layer = Σ_i ||f_i(x+δ)-f_i(x)||_2
• 覆盖网络前6层特征图
• 强制扰动在不同层产生一致响应

频谱平衡路径：

1. 对输入图像进行DCT变换
2. 按频带划分：0-10%为低频，10-30%中频，>30%高频
3. 动态调整各频带扰动权重： w_k = 1/(1+exp(β·(f_k - μ_f)))

关键超参数设置：

• 参考样本数N=10
• 噪声邻域η=4/255
• 正则强度λ=0.75
• 缩放因子β=0.95
• 频带数M=10

4. 实验验证与结果分析

4.1 实验设置

模型集合：

• 适配器架构：InstructBLIP-Vicuna-7B、LLaVA-v1.6-mistral-7b
• 早期融合：Qwen2.5-VL-7B、LLaMA-3.2-11B-Vision
• 商用API：GPT-5、Claude-Sonnet-4、Gemini-2.5-Pro

评估基准：

1. MaliciousInstruct：100条恶意指令
2. AdvBench：520条攻击指令
3. HADES：750个图像-指令对

评估指标：

• 攻击成功率(ASR)
• 平均查询次数(Query)
• 计算开销(GPU小时)

4.2 主要结果

表1展示了FORCE与基线方法在三种架构上的表现对比：

关键发现：

1. 在适配器架构上，FORCE平均提升ASR 12%，同时降低查询成本15%
2. 对早期融合架构，虽然绝对ASR仍低，但相对提升达100%
3. 商用API场景取得突破性进展，在GPT-5上实现200%相对提升

4.3 频谱分析验证

图1展示了传统方法与FORCE的频谱能量分布差异：

频率带 PGD能量占比 FORCE能量占比 0-10% 12% 35% 10-30% 28% 45% 30-50% 45% 15% >50% 15% 5%

FORCE成功将能量重新分配到中低频段，更接近自然图像分布，这是提升迁移性的关键。

5. 防御建议与实战启示

基于研究发现，我们提出以下防御增强策略：

1. 多模态清洗方案：

   • 前置频谱过滤器：自动衰减高频异常能量
   • 跨模态一致性检查：比较文本描述与图像内容
   • 示例：当检测到>30%高频能量时触发清洗

2. 架构级防护：

   • 深度融合架构优于早期融合
   • 建议在Transformer第4-6层引入模态交互
   • 添加对抗训练头(Adversarial Head)

3. 运行时监控：

   • 建立特征响应基线库
   • 实时检测异常层激活
   • 设置动态安全阈值

对开发者的实操建议：

• 使用Diffusion模型预处理用户上传图像
• 对API响应实施内容二次过滤
• 定期更新对抗训练数据集

6. 未来研究方向

本研究开辟了多个值得深入的方向：

1. 多模态对抗攻防理论：

   • 建立跨模态扰动传播模型
   • 量化视觉-语言交互脆弱性

2. 高效防御框架：

   • 研发轻量级检测模块
   • 探索自适应的防御策略

3. 安全评估体系：

   • 构建标准化测试基准
   • 开发自动化风险评估工具

特别需要指出的是，当前商用系统的黑盒特性给全面评估带来挑战，需要业界建立更开放的协作机制。同时，随着多模态模型向视频、3D等领域扩展，攻击面将进一步扩大，这要求我们发展更具前瞻性的防御技术。