2026.7.7

本文提出AdaMM，用知识蒸馏、图引导适配和病灶存在先验提升MRI缺失模态下的脑肿瘤分割鲁棒性。

Title题目

01

不让任何模态掉队：通过知识蒸馏适应缺失模态的脑肿瘤分割

No modality left behind: Adapting to missing modalities via knowledge distillation for brain tumor segmentation

文献速递介绍

02

论文首先指出，脑肿瘤精确分割是术前评估、个体化治疗和长期预后预测的重要基础。多模态MRI中的T1、T2、T1Gd和FLAIR分别强调不同解剖和病理信息，例如T1Gd对增强肿瘤区域更敏感，FLAIR对异常信号和水肿更有帮助，因此多模态联合通常能提供更可靠的肿瘤定位和亚区分割。然而，临床实践中并不总能获得完整序列，患者状态、扫描协议、造影剂使用限制或设备差异都可能导致模态缺失。已有通用模型往往偏向信息量强的主导模态，当只剩T1、T2等弱模态组合时，性能会严重退化。为解决这一问题，作者提出AdaMM，由BBDM、GARM和LGRM组成，目标是在不显式合成缺失图像的情况下，让学生模型从完整模态教师模型中学习结构与纹理知识，同时针对不同模态组合学习补偿策略，并利用病灶存在先验减少假阳性。引言还将缺失模态方法概括为生成补全、特征补全、样本检索、鲁棒增强、多任务学习和知识蒸馏六类，并强调本文不仅提出新模型，也进行了大规模横向比较，为后续方法选择提供参考。

相关工作

相关工作将缺失模态学习分为两大路线。第一类是Imputation-based方法，即尝试补全缺失信息，包括数据生成、特征生成和样本检索。数据生成方法使用GAN、VAE或超网络合成缺失MRI序列，优点是能恢复完整输入形式，但训练复杂、开销较大，且合成图像的临床真实性和解剖一致性难以保证。特征生成方法不直接合成图像，而是在特征空间推断缺失模态表征，能减少图像级伪影，但在高维噪声和分布迁移下仍不稳定。样本检索方法依赖外部数据库或批内相似样本来补充信息，但对数据库规模和检索质量要求高，且不适合复杂多变的脑肿瘤形态。第二类是Imputation-free方法，即不补全输入，而是直接用不完整模态推理，包括鲁棒增强、多任务学习和知识蒸馏。鲁棒增强通过随机模态丢弃和融合机制提高容错性，但在极端缺失时仍可能遇到瓶颈；多任务学习通过重建或辅助任务学习共享表征，但任务权重和任务冲突会影响主任务；知识蒸馏利用完整模态教师网络指导缺失模态学生网络，是本文认为更有潜力的方向，但现有蒸馏方法仍需更精细地建模跨模态结构关系和模态差异特征。

Aastract摘要

03

多模态MRI能提供互补的脑肿瘤信息，但临床中常因扫描条件、成本或流程限制出现模态缺失，使依赖完整T1、T1Gd、T2、FLAIR输入的分割模型性能明显下降。本文提出AdaMM，一个面向缺失模态场景的多模态3D UNet框架，以完整模态教师网络指导缺失模态学生网络，并在推理时仅保留轻量学生分支。方法由三个核心模块组成：BBDM通过全局风格匹配与对抗特征对齐传递结构和纹理知识，GARM通过模态组合适配器和图神经网络建模通用特征与组合特异特征的语义关系，LGRM通过病灶存在概率抑制假阳性。作者在BraTS 2024、BraTS 2018和Pretreat-MetsToBrain-Masks三个数据集上系统评估15种模态组合和六大类缺失模态策略，结果显示AdaMM在Dice、HD95、IoU和Sensitivity上总体优于现有方法，尤其在单模态和弱模态组合下优势明显。

Method方法

04

AdaMM是一个基于知识蒸馏的多模态3D UNet分割框架。训练阶段包含完整模态教师分支和缺失模态学生分支，教师使用完整MRI输入获得高质量表征，学生在随机采样的15种非空模态组合下学习分割。推理阶段只保留学生分支，因此教师网络、GSME、判别器和蒸馏损失都不会增加推理成本。整体损失由体素级预测MSE蒸馏、BBDM蒸馏损失和LGRM病灶可靠性损失组成。BBDM在GARM前后对瓶颈特征进行双重蒸馏，其中GSME通过编码器和解码器特征的关系矩阵进行全局风格匹配，教师–学生判别器通过对抗学习进一步对齐增强后的瓶颈特征，从而把完整模态路径中的结构层次和纹理细节传递给缺失模态学生。GARM是学生分支的关键结构适配模块，包含Adapter Bank、图节点对齐、跨图增强、图精炼与特征重投影。Adapter Bank为最多15种模态组合提供轻量3D残差适配器，使模型能学习组合特异补偿；随后GARM将组合感知特征CF和通用特征GF投影为图节点，通过可学习锚点、软分配矩阵、GCN和GAT显式建模二者的语义对应与跨图交互，再将精炼后的节点特征投影回密集体素空间。LGRM在解码器末端加入轻量辅助分类分支，预测NET或NETC、ED或SNFH、ET等病灶类型是否存在，并用该概率对分割损失加权；推理时若某类病灶存在概率低于阈值，则抑制对应通道的分割概率，以减少空区域和伪影区域的假阳性。

Conclusion结论

05

论文提出AdaMM用于解决缺失模态脑肿瘤分割中的鲁棒性与泛化问题。其核心思想是在训练阶段用完整模态教师网络指导缺失模态学生网络，同时通过GARM显式建模通用特征与模态组合特异特征之间的语义关系，通过BBDM进行瓶颈层结构和风格蒸馏，通过LGRM引入病灶存在先验来抑制假阳性。大量实验表明，AdaMM在三个数据集、15种模态组合和多类缺失模态策略对比中表现稳定，尤其适合临床中常见的不完整MRI输入。作者认为该框架不仅适用于BraTS式脑肿瘤分割，其任务自适应与通用模块也可迁移到其他器官和多模态医学分割任务。未来方向包括引入自监督学习、扩展到更多解剖区域和任务，并优化在资源受限或时间敏感临床环境中的部署。

Results结果

06

实验使用三个数据集：BraTS 2024包含1350例多模态MRI，规模较大，用于检验模型表达能力和可扩展性；BraTS 2018包含285例，用于评估小样本下的泛化能力；Pretreat-MetsToBrain-Masks包含200例脑转移瘤MRI，病灶形态异质性更强。四个输入模态为T1、T1Gd、T2、FLAIR，作者构造15种非空模态组合，并使用Dice、HD95、IoU和Sensitivity评估WT、TC、ET等区域。对比方法覆盖特征生成、数据生成、鲁棒增强、多任务学习、知识蒸馏和Transformer补偿等多类代表模型。结果表明，AdaMM在BraTS 2024上取得WT、TC、ET平均Dice分别为83.90%、64.49%、63.54%，整体优于MSTKDNet、SMUNet、MMCFormer等强基线；在BraTS 2018和Pretreat-MetsToBrain-Masks上也保持优势。论文特别强调AdaMM在单模态和弱模态组合中提升显著，说明其并非只依赖T1Gd等强模态，而能通过适配器、图推理和蒸馏进行有效补偿。效率方面，AdaMM仅约7.10M参数、319.20G FLOPs，在A800 GPU上单个3D体数据约82 ms，说明新增模块主要在训练或紧凑图空间中工作，未造成明显推理负担。

消融实验

消融实验逐一移除BBDM、GARM和LGRM，结果显示三者都对性能有重要贡献。去除BBDM后，模型缺少全局风格和对抗特征对齐，学生在缺失模态下更容易出现表征漂移，边界更破碎，ET、WT和TC的Dice均下降，HD95上升。进一步去除GSME或判别器的实验说明，GSME能稳定频域和空间域特征，使学生更接近完整模态特征；判别器则提供风格正则化，减少浅层特征漂移。去除GARM后，模型失去组合感知适配和通用特征之间的图结构交互，难以针对不同缺失模式进行补偿，尤其影响内部坏死区、增强区和边界结构的连通性。阈值τ的敏感性实验显示τ等于0.8时效果最好，过低会引入过密低置信连接并传播噪声，过高则图结构过稀导致跨模态补偿不足。去除LGRM后，病灶存在先验消失，低对比区域和血管伪影更容易被误分为肿瘤，假阳性增加，HD95明显恶化。作者还比较了共享适配器、线性融合和完整GARM，证明组合特异适配和图结构建模是性能提升的重要来源，而不是单纯增加模块数量。

Figure图

07

图1.

该图总结三类Imputation-based方法：数据生成通过外部生成器合成缺失MRI模态，特征生成在网络内部幻化缺失模态特征，样本检索从相似病例中寻找替代信息。它为后文的系统比较提供背景，也说明这类方法的共同思路是先恢复缺失信息再分割，但潜在问题是合成真实性、特征噪声和检索依赖。

图2.

该图展示鲁棒增强、多任务学习和知识蒸馏三类Imputation-free方法。鲁棒增强通过随机模态丢弃直接适应不完整输入，多任务学习用辅助重建分支帮助学习共享表征，知识蒸馏则用完整模态教师指导缺失模态学生。本文AdaMM属于以知识蒸馏为核心的方法，并在此基础上加入图引导适配和病灶可靠性建模。

图3.

该图是全文最核心的方法图，展示训练阶段如何从完整四模态输入采样出15种缺失组合，并通过Adapter Bank选择对应组合适配器。教师分支使用完整模态，学生分支处理缺失模态；BBDM负责全局风格匹配和对抗蒸馏，GARM只作用于学生分支以增强缺失组合表征，LGRM同时提供病灶存在概率和分割可靠性约束。推理时只保留学生网络，因此训练中的教师和判别器不会增加推理成本。

图4.

该图细化GARM的三阶段流程。首先将组合感知特征和通用特征投影到图节点空间并建立节点对应；其次通过跨图连接网络在两类图之间交换信息；最后用图注意力进一步精炼节点，并将增强后的图特征重投影回体素特征空间。它说明AdaMM不是简单拼接模态特征，而是在紧凑图空间显式建模缺失组合与通用语义之间的结构关系。

图5：

该图用不同模态组合适配器参数的余弦相似性展示Adapter Bank的学习行为。每个四位编码对应T1、T1Gd、T2、FLAIR是否存在。结果显示较深层适配器在不同组合间相似性更高，说明它们逐渐向完整模态特征近似收敛；同时热图仍保留组合特异差异，支持作者关于组合级独立适配器能学习针对性补偿策略的论点。

图6：

该图展示LGRM如何同时利用体素级分割概率和类别级病灶存在得分。学生和教师概率图与标签通过MSE进行体素级对齐，同时把NET、ET、ED等病灶类别折叠为存在向量，并用分类损失监督。该模块在推理时可根据病灶存在概率抑制不应出现的类别通道，从而减少缺失模态下的假阳性。

图7.

该图比较不同模型在参数量与Dice、HD95、IoU、Sensitivity之间的关系，红色点代表AdaMM。结果显示AdaMM在较小参数量下达到更高Dice和IoU、更低HD95及较高Sensitivity，说明其性能提升并非依赖大模型堆叠，而来自轻量适配、图推理和训练期蒸馏设计。

图8.

该图从计算量角度比较各方法。AdaMM在FLOPs相对较低的区域取得领先性能，表明GARM在紧凑图节点上推理、BBDM主要用于训练、LGRM极轻量的设计有效平衡了精度和效率。该结果支持论文关于临床部署可行性的主张。

图9.

该图展示BraTS 2024样本在多种缺失模态组合下的分割可视化，并与多个代表模型比较Dice和HD95。AdaMM的结果边界更贴合标签、肿瘤区域更连续，尤其在T1Gd、T1Gd加FLAIR、T1Gd加FLAIR加T2等场景下表现出更高Dice和更低HD95，说明其对模态缺失和边界细节均有较好鲁棒性。

图10.

该图比较去除BBDM、GARM、LGRM与完整AdaMM在不同模态配置下的分割热图。去除任一模块都会导致边界偏移、局部漏分或假阳性增加；完整模型在WT、TC、ET的Dice更高，说明三个模块在结构蒸馏、组合适配和可靠性约束方面具有互补作用。

图11.

该图用Mel频谱比较完整模态特征、带GSME的缺失模态重建特征和不带GSME的重建特征。带GSME时频谱差异更小，中低频结构更稳定，高频噪声更受抑制；不带GSME时中高频响应更散乱，说明GSME有助于保持边界和纹理表征稳定。

图12.

该图在空间特征图层面比较有无GSME的缺失模态重建特征。带GSME的特征响应更集中，与完整模态特征更一致；不带GSME时激活分布分散且局部伪响应明显。该图与图11共同解释了BBDM中全局风格匹配为什么能改善边界定位和结构连续性。