DPAFNet:一种用于多模式脑肿瘤分割的残差双路径注意力融合卷积神经网络

DPAFNet: A Residual Dual-Path Attention-Fusion Convolutional Neural Network for Multimodal Brain Tumor Segmentation

  • DPAFNet:一种用于多模式脑肿瘤分割的残差双路径注意力融合卷积神经网络
    • 背景
    • 贡献
    • 实验
    • 方法
      • ulti-scale context feature extraction block(多尺度上下文特征提取模块)
      • 3D iterative dilated convolution merging (IDCM) module(3D重复空洞卷积合并模块)
    • 损失函数
    • Thinking

DPAFNet:一种用于多模式脑肿瘤分割的残差双路径注意力融合卷积神经网络

Biomedical Signal Processing and Control 【2023】

背景

早期2D分割,缺乏连续信息,很难提取全局上下文信息,3D卷积更具上下文意识,然而3D方法仍然不准;类别不平衡,对小肿瘤仍然难分割,BraTs2019中肿瘤仅占图像的1.5%,ET仅占WT的11%,1,2,4之间的边界模糊

贡献

从两条路径中提取特征,选择性地融合特征图,最大限度地提取了有意义的语义信息;针对类别不平衡问题提出基于双路径模块和多尺度注意力融合块,该模块聚焦于ET等小目标区域,以缓解类间模糊问题;应用3D迭代扩张卷积合并模块,扩展感受野,提高上下文感知能力

  1. 提出了一种基于编码器-解码器结构的新的3D分割模型,该模型将不同信道的全局和局部信息与MAF模块相结合。
  2. 提出了一种新的由残差连接DP模块和MAF模块组成的三维特征提取块。这两个分支应用不同大小的卷积核来提取特征,并引入残差连接以避免网络退化。提取的特征图在不同尺度上进行融合,以获得更丰富的语义信息。
  3. 为了进一步提高模型的上下文感知能力,引入了一个3D IDCM模块,该模块迭代地将特征图与不同的感受野融合,以更有效地进行上下文学习。该模块有利于密集像素级预测,提高最终分割精度。

实验

BraTs 18/19/20 剪裁为128×128×128体素,并将其输入网络。由于MRI的成像方式、病例和设备的多样性,不同的扫描时间会对MRI产生影响,导致MRI的强度不均匀。为了标准化T1、T2、T1ce和FLAIR序列的强度,使用z评分标准化方法来获得标准尺度下的强度值。z=(xμ)/σ(9),其中x是原始特征的每个像素的强度值,μ是平均强度值,σ是强度值的标准偏差。此外,为了提高模型的学习和泛化能力,使用了多种数据增强方法,包括随机镜像翻转、随机旋转(±10◦ ), 随机强度偏移和随机尺度变换。
在这里插入图片描述
在这里插入图片描述
IDCM的不同空洞率实验
在这里插入图片描述
后处理消融实验,以及各模块消融实验

方法

在这里插入图片描述

ulti-scale context feature extraction block(多尺度上下文特征提取模块)

在这里插入图片描述
(a)残差连接的双分支模块
(b)Pointwise Conv就是1x1x1卷积
MAF module,把DP得到的两个特征图加权融合
通过残差连接的对偶路径卷积获得不同尺度的特征图,然后通过合并注意力模块获得融合特征,如图所示。3。在通道级别,每个特征图都被压缩为分支中的标量。这种压缩强调全局分布的大型对象。然后,为了减轻尺度变化并强调较小的对象,在另一个分支中应用逐点卷积作为局部上下文聚合器,该聚合器利用每个空间位置进行逐点通道交互。通过Sigmoid函数将特征图G+L映射到(0,1)。融合权重ω和1ω位于该区间,这使得网络能够在不同尺度特征S1和S2之间进行加权平均,以实现全局和局部信息的聚合。值得注意的是,在该模块中,通过对集成特征执行信道缩减和信道恢复操作,使用类似瓶颈的结构来减少参数的数量。在该模块中,集成特征、局部通道信息和融合细化特征具有相同的通道和分辨率,可以保留和突出低级视觉信息的细节特征。

3D iterative dilated convolution merging (IDCM) module(3D重复空洞卷积合并模块)

在这里插入图片描述
在分割网络中,通常通过池化、插值等方法进行下采样和上采样,以降低或恢复输入特征图的分辨率,从而达到对输入图像进行特征提取和图像重建的效果。然而,这些操作导致了分割中的问题,例如像素和空间级别的信息丢失、小对象重建的困难等。扩展卷积可以保存内部数据,避免像素的丢失,扩展感受野,获得更丰富的上下文信息,通常用于缓解这些问题。在不同的膨胀率下,膨胀卷积可以满足不同大小对象的分割要求,并注意不同距离的信息。然而,当膨胀率的值较大时,提取特征时会出现网格效应,这将失去上下文信息的连续性,降低像素级任务的分割效果。为了解决这个问题,介绍了一个密集连接的IDCM模块,并将其扩展到3D,如图4所示。该模块提取了编码器最后一层输入的输出特征,其中包含了经过多次特征提取后的语义特征图的更丰富表示。通过不同膨胀率的膨胀卷积将输入特征迭代连接到特征图中,并使用1×1×1卷积将通道数量减少到与输入特征相同,从而融合局部和全局上下文信息,合并多尺度特征,并捕获丰富的全局表示。此外,IDCM模块使用不同膨胀率的膨胀卷积来获得不同尺度的特征,以有效扩展卷积核的感受野,提高模型对不同尺度目标的识别能力。不同尺度特征的迭代叠加可以有效地减少扩张卷积的网格效应,避免像素点的丢失,保留空间层次信息,最终保证分割模型具有更丰富的语义表示

损失函数

generalize dice loss (GDL)
测试时间增强(TTA)作为后处理方法

Thinking

把3DUNet的DoubleConv替换为DP+MAF(多尺度特征加权融合),在瓶颈层加入IDCM(不同尺度特征重复叠加)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/163122.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

python趣味编程-5分钟实现一个益智数独游戏(含源码、步骤讲解)

Puzzle Game In Python是用 Python 编程语言Puzzle Game Code In Python编写的,有一个 4*4 的棋盘,有 15 个数字。然后将数字随机洗牌。 在本教程中,我将教您如何使用Python 创建记忆谜题游戏。 Python Puzzle Game游戏需要遵循以下步骤,首先是将图块数量移动到空的图块空…

浏览器黑暗模式插件

1.Opera浏览器本身黑暗主题 2.Chrome 3.Edge

【心得】PHP文件包含基本利用个人笔记

本文可能比较凌乱,快速总结保证自己看得懂(真.个人笔记) 文件包含的本质:代码复用、并行开发、模块化、增加移植性 include和eval的区别: include和eval一样,都不是函数,都是语言结构&#xf…

交通 | 神奇动物在哪里?Operations Research经典文章

论文作者:Robert G. Haight, Charles S. Revelle, Stephanie A. Snyder​ 论文原文:Robert G. Haight, Charles S. Revelle, Stephanie A. Snyder, (2000) An Integer Optimization Approach to a Probabilistic Reserve Site Selection Problem. Operat…

9 HDFS架构剖析

问题 100台服务器,存储空间单个200GB 20T 5T文件如何存储? 128MB一块 128MB81GB 1288*10241TB 5T数据分成的128MB的块数 8192 * 5 客户端(client)代表用户通过与namenode和datanode交互来访问整个文件系统。 HDFS集群有两类节点: 一个na…

Linux进程——exec族函数、exec族函数与fork函数的配合

exec族函数解析 作用 我们用fork函数创建新进程后,经常会在新进程中调用exec函数去执行另外一个程序。当进程调用exec函数时,该进程被完全替换为新程序。因为调用exec函数并不创建新进程,所以前后进程的ID并没有改变。 功能 在调用进程内部…

C/C++数据结构之堆栈(Stack):理解、实现与运用

当我们讨论堆栈时,我们首先需要了解它的概念和基本原理。堆栈是一种后进先出(Last In, First Out,LIFO)的数据结构,它的操作主要包括压栈(Push)和弹栈(Pop),以…

SEnet注意力机制(逐行代码注释讲解)

目录 ⒈结构图 ⒉机制流程讲解 ⒊源码(pytorch框架实现)及逐行解释 ⒋测试结果 ⒈结构图 左边是我自绘的,右下角是官方论文的。 ⒉机制流程讲解 通道注意力机制的思想是,对于输入进来的特征层,我们在每一个通道学…

基于STM32的多组外部中断(EXTI)的优化策略与应用

在某些嵌入式应用中,可能需要同时处理多个外部中断事件。STM32系列微控制器提供了多组外部中断线(EXTI Line),可以同时配置和使用多个GPIO引脚作为外部中断触发器。为了有效管理和处理多组外部中断,我们可以采取一些优…

Linux非阻塞等待示例

Linux非阻塞等待实例 非阻塞等待的意义:简单的多进程编程示例代码解释 非阻塞等待的意义: 非阻塞等待在多进程编程中的意义主要体现在提高系统的响应性、实现异步任务执行、动态任务管理和多任务协同工作等方面。它允许父进程在等待子进程退出的同时&…

优化|优化求解器自动调参

原文信息:MindOpt Tuner: Boost the Performance of Numerical Software by Automatic Parameter Tuning 作者:王孟昌 (达摩院决策智能实验室MindOpt团队成员) 一个算法开发者,可能会幻想进入这样的境界:算…

C++题目练习第二十天__有效的完全平方数

题目链接: 力扣(LeetCode)官网 - 全球极客挚爱的技术成长平台 题目: 给你一个正整数 num 。如果 num 是一个完全平方数,则返回 true ,否则返回 false 。 完全平方数 是一个可以写成某个整数的平方的整数。…

Android 弹出自定义对话框

Android在任意Activity界面弹出一个自定义的对话框,效果如下图所示: 准备一张小图片,右上角的小X图标64*64,close_icon.png,随便找个小图片代替; 第一步:样式添加,注意:默认在value…

2023年中职“网络安全“—Web 渗透测试②

2023年中职“网络安全“—Web 渗透测试② Web 渗透测试任务环境说明:1.访问http://靶机IP/web1/,获取flag值,Flag格式为flag{xxx};2.访问http://靶机IP/web2/,获取flag值,Flag格式为flag{xxx};3.访问http://靶机IP/web…

git拉取普通idea Java项目module没有build的问题

在不断完成一个项目的时候,会有不断新加的module,我们用git拉取时会发生没有识别新module的情况。 解决方法是右键项目名称,然后点击Open Module Settings 接下来,点击Module,加号,新建Module的名字就是在g…

深度学习乳腺癌分类 计算机竞赛

文章目录 1 前言2 前言3 数据集3.1 良性样本3.2 病变样本 4 开发环境5 代码实现5.1 实现流程5.2 部分代码实现5.2.1 导入库5.2.2 图像加载5.2.3 标记5.2.4 分组5.2.5 构建模型训练 6 分析指标6.1 精度,召回率和F1度量6.2 混淆矩阵 7 结果和结论8 最后 1 前言 &…

sqli-labs关卡18(基于http头部报错盲注)通关思路

文章目录 前言一、靶场通关需要了解的知识点1、什么是http请求头2、为什么http头部可以进行注入 二、靶场第十八关通关思路1、判断注入点2、爆数据库名3、爆数据库表4、爆数据库列5、爆数据库关键信息 总结 前言 此文章只用于学习和反思巩固sql注入知识,禁止用于做…

若依框架数据源切换为pg库

一 切换数据源 在ruoyi-admin项目里引入pg数据库驱动 <dependency><groupId>org.postgresql</groupId><artifactId>postgresql</artifactId><version>42.2.18</version> </dependency>修改配置文件里的数据源为pg spring:d…

测不准原理

测不准原理 算符的对易关系 commutation relation 测不准原理的矢量推导 Schwarz inequality: 设对易关系&#xff1a; 设一个新态&#xff1a; 投影&#xff1a; 那么有&#xff1a; 代回Schwarz inequality 即可证明&#xff1a;

2023OceanBase年度发布会后,有感

很荣幸收到了OceanBase邀请&#xff0c;于本周四&#xff08;11月16日&#xff09;参加了OceanBase年度发布会并参加了DBA老友会&#xff0c;按照理论应该我昨天&#xff08;星期五&#xff09;就回到成都了&#xff0c;最迟今天白天就该把文章写出来了&#xff0c;奈何媳妇儿买…
最新文章