具有置信度学习的困难感知注意力网络用于医学图像分割

The Thirty-Third AAAI Conference on Artificial Intelligence (AAAI-19)

背景

医学图像分割是各种应用的关键步骤，例如图像引导的放射治疗和诊断。最近，深度神经网络为图像自动分割提供了很有前途的解决方案；然而，它们通常在规则样本(即,易于分割的样本)上表现良好，因为数据集主要由简单和规则的样本组成。对于医学图像而言，由于受试者之间存在巨大的差异或疾病特异性对受试者的影响，存在一些难以分割的情况，而这些情况往往被以前的工作所忽略。为了应对这一挑战，我们提出了一种基于置信度学习的难度感知深度分割网络，用于端到端的分割。

贡献

• 1 )除了分割网络，我们还提出了一个用于置信度学习的全卷积对抗网络，为分割网络提供基于体素和基于区域的置信度信息。我们通过降低对抗学习的优先级，将对抗学习松弛为置信学习，从而避免生成器和判别器之间的训练不平衡。
• 2 )我们提出了一种难度感知的注意力机制来妥善处理考虑结构信息的硬样本或硬区域，这可能超越了聚焦损失的缺点。我们进一步提出了一个融合模块来选择性地融合编码器-解码器架构中的串联特征图。在临床和挑战数据集上的实验结果表明，我们提出的网络可以达到最先进的分割精度。进一步的分析还表明，我们提出的网络中的每个单独的组件都有助于整体性能的提高。
• 一个全卷积置信学习方案(即,使用置信网络)，该方案受到对抗学习概念的启发，学习局部区域如何分割(也就是说,由置信网络生成的置信图可以提供我们从分割网络中分割出的标签图中可信和不可信的区域)。
• 基于置信图，提出了一种难度感知的注意力机制，自适应地分配区域级别和三维像素水平的重要性来训练网络。由于我们可以采用难度感知机制来进一步训练分割网络，因此容易样本占优问题可以得到相应的缓解。
• 总之，全卷积置信度学习来避免GAN的训练不平衡，并设计了难度感知机制来缓解训练分割网络的易样本占优问题。

难点：

网络的训练倾向于由易于分割的样本主导，因此不能很好地处理难分割的样本(或区域)。这种易分割的样本占优现象在医学图像分割任务中经常出现，由于一些医学图像的分布不规律，可能是由于病变的异常程度不同或者成像因素造成的

实验

方法

分割网络

由2个子网络组成，即1 )分割网络(记为S)和2 )置信网络(记为D)。

Segmentation Network（分割网络）

增强的UNe，将除最后一个卷积层外的所有卷积层替换为残差模块( He et al.2016)，在编码器和解码器之间的中间层(具有最小尺寸的特征图) ( Yu、Koltun和芬克豪泽)使用扩张残差模块，在长跳跃连接(聂辉华等2018)中使用transformation modules，在解码器路径( Merkow等2016)中注入3个尺度的深度监督，并提出通道注意力模块，以更好地融合低层和高层的级联信息(胡、申、孙)。

Fully Convolutional Confidence Learning（全卷积的置信度学习网络）

对抗学习可以通过适当的调整提供更好的难易样本评价者。因此，我们决定将对抗学习融入到我们的架构中，以进一步改进分割网络。传统的判别器只提供了整个图像域的全局置信度，而没有提供局部区域的置信度，例如基于体素的置信度。为了解决这个问题，我们提出使用基于FCN的网络对判别器进行建模，并将其命名为置信网络。它在局部上表示自动分割是否与真实分割相似。我们认为置信网络可以学习到结构信息，可以用来正则化分割网络( Hung et al 2018)的输出。判别器和生成器之间的不平衡，为了避免这种不平衡，我们在分析了判别器在生成对抗网络中的作用后，将对抗学习放松为置信学习。

Relaxing the adversarial learning to confidence learning（将对抗性学习放松为自信心学习）

判别器的第一个作用是判断输入是真实图像还是生成器生成的图像。换句话说，它的目标是确定生成的图像与真实图像(为了方便起见,我们称之为置信学习)的相似程度；判别器目的是判别生成图像和真实图像的相似程度。
作用：

• 学习每个局部区域如何被正确分割的置信度(即信心学习)，
• 以及提供对抗学习来训练分割网络(即对抗学习)。
• we place the role of confidence learning prior to that of adversarial learning. In other words, we reformulate the original min-max game to a maximization of discriminator with a soft constraint over the generator.
  通过该策略，我们可以发现每个被分割的局部区域的难易程度，从而可以提供难度感知信息来指导分割网络的训练。为此，可以进一步改进分割网络，从而反过来提升判别器。因此，可以将对抗学习建模为一个软约束，作为分割网络的高阶潜在正则项。

Training the confidence network

X是输入，P是标签，ctaD是置信度网络的参数，S是分那个网络

来自D的损失作为"变分"正则化项作为软约束，其目的是加强真实分割和自动分割之间的高阶一致性

Difficulty-Aware Attention Mechanism（难度感知的注意力机制）

由置信网络产生的置信图包含了由易到难的信息。同时，由于置信网络实际上是一个二分类模型，因此可以避免多类别竞争问题。更重要的是，置信图包含了来自原始输入图像和预测概率掩码的信息，因此它可以提供关于简单或困难样本(区域)的结构信息。
从预测概率掩码和置信图两个方面，利用区域级别和三维像素水平注意力设计了一个难度感知的混合损失。

Thinking

生成器是增强的UNet，判别器是个FCN，传统的判别器只有下采样结构，得到的是分类结果，此处判别器是个编解码器结构，输出的和原分割图大小一样。即：判别器得到的是正确分割每个局部区域的置信度；也用来提供对抗学习，优化生成器；置信度图M作为空间权重乘以到前面分割网络训练时候的dice和交叉熵损失上。
这个也是这种操作
【A Refined Equilibrium Generative Adversarial Network for Retinal Vessel Segmentation】