期刊：Transactions on Medical Imaging

年份：2025

论文题目：Boundary as the Bridge: Toward Heterogeneous Partially-Labeled Medical Image Segmentation and Landmark Detection

中文可译为：以边界为桥梁：面向异构部分标注医学图像的分割与解剖标志点检测

一、摘要

医学图像分割和解剖标志点检测都是计算机辅助诊断的重要任务，但实际数据中经常出现：

数据集 A 只有 segmentation mask；
数据集 B 只有 landmark annotation。

作者将这种情况定义为Heterogeneous Partially-Labeled Problem（异构部分标注问题）。

为解决这一问题，论文提出Boundary-as-Bridge Loss（BaBLoss）。核心思想是：大多数解剖标志点位于特定解剖结构的边界，因此可以通过约束 Landmark heatmap 与 segmentation boundary distance map 的一致性建立两个任务之间的联系。

此外，作者利用 Landmark 作为 Prompt 输入 MedLSAM，为只有 Landmark 标注的数据生成伪分割标签，从而进一步利用这些数据训练 segmentation branch。方法最终在胎儿脑和膝关节两个异构部分标注数据集上进行了验证。

二、创新点

创新一：提出异构部分标注问题

论文首次系统定义：D1​: Segmentation D2​: Landmark

即多个数据集来自相同解剖区域，但不同数据集具有不同类型的标注，并尝试利用它们联合完成分割与 Landmark 检测。

创新二：提出 Boundary-as-Bridge Loss

论文发现 Landmark 与解剖结构边界具有天然的空间关系，因此设计BaBLoss：

Segmentation Boundary↔Landmark

通过最大化边界距离图与 Landmark Heatmap 的一致性，让两个任务相互监督。

这一 Loss 不依赖某一种特定网络结构，可以直接嵌入现有多任务网络。

创新三：利用 Landmark 生成伪分割标签

对于只有 Landmark 标签、没有 Mask 的数据，作者将 Landmark 转换为前景/背景 Prompt，输入MedLSAM自动产生 pseudo segmentation mask。

这样原本只能训练 Landmark 分支的数据，也能够参与 segmentation branch 的训练。

三、方法

论文采用经典的：Shared Encoder + Dual Decoder结构。

输入一个 mini-batch，其中：

• 一半数据具有segmentation GT；
• 一半数据具有landmark GT。

共享 Encoder 提取图像特征，随后进入两个 Decoder：

• Decoderseg​→Segmentation
• Decoderland​→Landmark Heatmap

有分割标签的数据使用Cross-Entropy Loss；有 Landmark 标签的数据使用MSE Loss。

也就是说，基础网络并不要求每一幅图像同时具有两种标注。

3.1 Landmark Prompt伪分割标签生成

对于只有 Landmark 标签的数据，作者进一步利用 MedSAM 生成 segmentation pseudo label。

给定两个 Landmark：P1​, P2​

• 首先连接两个点，并在线段内部采样一些点作为Foreground Prompt
• 再在线段延长线上采样Background Prompt
• 然后将这些点输入 MedLSAM：Landmarks→Foreground/Background Prompts→MedSAM→Pseudo Mask

生成的伪 Mask 再通过 Cross-Entropy Loss 监督 segmentation branch。

4.3 Boundary-as-Bridge Loss

其基本假设是：

分割区域由边界确定，而许多 Landmark 就位于这些解剖边界上。

BaBLoss主要包括三个步骤：

① 建立 Landmark–器官边界对应关系

首先根据解剖知识建立： Landmark→Segmentation Boundary

例如某个 Landmark 位于股骨边界，或者位于两个组织的交界处。

② 构建 Boundary Distance Map

从对应的 segmentation mask 中提取边界，然后建立距离图：

越靠近边界 → 权重越大；
越远离边界 → 权重越小。

这样就把离散的“边界”转换成一个可以与 Landmark heatmap 对齐的连续空间表示。

③ 约束 Landmark Heatmap 与 Boundary Map 一致

最后计算： Boundary Distance Map↔Landmark Heatmap之间的一致性。

Landmark 越靠近正确的解剖边界，两者相似度越高，BaBLoss 越小。

因此，BaBLoss 实际实现了双向约束：

Segmentation GT → 约束 Landmark Prediction

以及：

Landmark GT → 约束 Segmentation Prediction

这就是论文所谓的“Boundary as the Bridge”。

4.4 总体损失函数

最终损失由三个部分组成：

其中：

• ：正常的分割和 Landmark 多任务监督；
• ：MedLSAM 生成伪分割标签的监督；
• ：利用边界关系进行两个任务之间的交叉监督。

因此整个方法其实形成了三层监督：真实标签监督 + 伪标签监督 + 跨任务边界约束。

四、试验

4.1 数据集

论文分别在胎儿脑和膝关节两个数据集上进行了实验。

值得注意的是，膝关节数据中：

• OAI-ZIB用于 segmentation；
• LM-ZIB用于 Landmark detection。

Landmark 包括ACL@f、ACL@t、PCL@f、PCL@t、MCL 等韧带附着点。

4.2 结果

实验表明，BaBLoss 可以用于不同的 CNN 和 Transformer backbone，并普遍改善 segmentation 与 landmark detection。与分别训练两个网络相比，该方法只需要进行一次推理即可同时获得两个任务结果，因此推理效率也更高。

消融实验中，MedLSAM Pseudo Label + BaBLoss的组合取得最佳结果，例如在对应实验中 DSC 从73.88% 提升至 76.11%，MRE 从1.40 mm 降低至 1.37 mm。

五、结论

论文证明了：即使 segmentation 和 Landmark 标签来自不同的数据集、不同病例，仍然可以借助二者共有的解剖边界关系建立有效的联合学习机制。

其核心贡献不是设计一个非常复杂的新 Backbone，而是提出：

Landmark↔Boundary↔Segmentation​

利用Boundary 作为两个异构任务之间的桥梁。

作者也指出，目前 BaBLoss 假设目标器官的 Ground Truth 主要由一个完整的连通区域组成，因此对于存在多个不连通区域的分割目标可能受到限制，这是未来需要进一步解决的问题。