使用扩散模型的潜空间进行域泛化

📅 2026/7/9 16:48:03 👁️ 阅读次数 📝 编程学习
使用扩散模型的潜空间进行域泛化

Leveraging Diffusion Latent Space for Domain Generalization

论文标题:What’s in a Latent? Leveraging Diffusion Latent Space for Domain Generalization
论文作者:Xavier Thomas1,Deepti Ghadiyaram
论文链接:https://arxiv.org/pdf/2503.06698
项目主页:https://github.com/XThomasBU/GUIDE/tree/main


















为了帮助理解,这里还原其训练循环的抽象逻辑

  1. 加载预训练 Phi (ResNet-50) 和 Psi (DiT/SD-2.1),冻结 Psi。
  2. 提取所有训练数据在 Psi 下的特征。
  3. 对特征执行 K-Means++,得到 K 个中心 {C_k} 及每个样本的归属标签。
  4. 初始化分类器 MLP。
  5. For epoch in range(Total_Epochs):
    // 按对数调度决定是否更新映射
    If epoch in schedule:
    For each cluster k:
    计算该簇所有样本在 Phi 下的特征均值 M_k
    End For
    以 {C_k} 为输入,{M_k} 为输出,拟合 RBF 核岭回归模型 T。
    End If
For batch in dataloader: 提取 Phi 特征 phi_x 根据样本的归属簇,获取对应的映射后伪域中心 T(C_k) 拼接特征 concat = [phi_x, T(C_k)] 送入 MLP 得到预测 logits 计算交叉熵损失,反向传播更新 Phi 和 MLP(保持 Psi 冻结) End For

End For