文献学习-38-用于增量组织病理学分类的内存高效提示调整


Memory-Efficient Prompt Tuning for Incremental Histopathology Classification
Authors: Yu Zhu, Kang Li, Lequan Yu, Pheng-Ann Heng
Source: The Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI-24)
​​在这里插入图片描述

Abstract

最近的研究在组织病理学分类方面取得了显着进展。 基于当前的成功,当代的工作提出通过从顺序交付的领域中增量学习,进一步将模型升级到更通用和更稳健的方向。 与之前基于参数隔离的方法在模型更新过程中通常需要大量计算资源不同,我们提出了一种内存高效的提示调整框架,以经济的内存成本培养模型泛化潜力。 对于每个传入域,我们重用初始分类模型的现有参数并附加轻量级可训练提示进入其中进行定制调整。 考虑到领域异构性,我们进行解耦提示调整,我们为每个域采用特定于域的提示来独立研究其独特的特征,并在跨域共享一个域不变的提示所有领域不断探索共同的内容嵌入。 所有特定于域的提示都将附加到提示库中,并与进一步的更改隔离,以防止忘记早期看到的域的独特特征。 而领域不变的提示将通过风格增强的提示引用来传递和迭代发展,以随着时间的推移提高模型的泛化能力。 具体来说,我们用现有的提示构建一个图,并构建一个风格增强的图注意网络来引导域不变提示探索所有交付域之间的重叠潜在嵌入,以获得更多域通用表示。 我们通过两项组织病理学任务(即乳腺癌转移分类和上皮-间质组织分类)广泛评估了我们的框架,其中我们的方法比竞争方法产生了卓越的性能和记忆效率。

#背景

组织病理学图像分类是癌症诊断中的一项基本任务,其目的是通过显微镜检查来确定可疑组织的恶性和良性。深度学习模型在该任务上取得了显著进展,但当代研究并不满足于此,而是致力于通过增量学习来升级和更新模型功能,使其更加完善。

挑战

  • 数据异质性: 不同医疗中心的组织学数据由于技术人员技能和数字扫描仪品牌的差异,在苏木精和伊红(H&E)染色后呈现出不同的外观,从深蓝紫色到浅粉紫色不等。
  • 领域增量学习(DIL): 模型需要逐步适应越来越多的异质领域。
  • 灾难性遗忘: 模型更新过程中需要避免遗忘先前学习的知识。
  • 数据隐私: 由于数据隐私问题和存储负担,模型更新时无法访问早期数据。
  • 内存消耗: 现有方法通常需要大量的计算资源和内存,限制了其在千兆像素级组织病理学图像中的应用。

贡献

本文提出了一种基于提示调优的内存高效增量学习框架,用于组织病理学图像分类。该框架能够逐步提升模型的泛化能力,同时保持较低的内存消耗。

主要贡献:

  • 内存高效的提示调优框架: 该框架通过在初始模型上进行提示调优,避免了对模型参数的直接修改,从而节省了内存消耗。
  • 解耦提示调优: 该框架采用域特定提示和域不变提示,有效地处理了输入域的异质性。
  • 风格增强的提示细化: 该框架通过风格增强的提示细化方法,迭代地演化域不变提示,提升了模型在未见过数据上的泛化能力。
  • 实验验证: 该框架在两个组织病理学图像分类任务上取得了优于其他比较方法的性能,表现出更好的泛化能力和更少的遗忘。

Methodology

领域增量学习方法论总结 (Domain Incremental Learning Methodology Summary)

目标: 在领域增量学习 (DIL) 环境中,模型需要在多个不同领域的数据流 (D1, D2, …, DT) 上进行增量学习,并避免灾难性遗忘,同时保持对未见领域数据的泛化能力。由于隐私问题,模型无法访问过去领域的数据,也无法得知当前数据的领域标签。

方法: 本文提出了一种基于解耦提示调整 (Decoupled Prompt Tuning) 的方法。模型包含一个 Transformer 主干网络 (例如 ViT) 和两个可训练的提示:

  • 领域特定提示 (Domain-Specific Prompt, DSP): 用于学习每个领域独特的特征,每个领域都有一个独立的 DSP。
  • 领域不变提示 (Domain-Invariant Prompt, DIP): 用于学习所有领域共有的特征,通过风格增强提示精炼 (Style-Augmented Prompt Refining) 迭代更新。

在这里插入图片描述

图1:我们的内存高效提示调优框架的概述。我们提出使用两个轻量级提示对初始模型进行解耦提示调优,旨在在经济的内存成本下获得最新的领域知识。我们为每个域独立地使用一个域特殊提示符,以获得其独特的特征,如外观。学习到的域特殊提示将被存储和隔离在提示银行中,以帮助减轻对早期获得的域的遗忘。同时,我们保持一个跨域共享的域不变提示符,以便随着时间的推移逐步学习公共内容,就像形状先验一样。我们在之前的域不变提示上执行了风格增强提示重构,其中我们将其探索范围限制在所有可见域的重叠潜在嵌入中,并指导它学习域通用表示,随着时间的推移逐渐增强泛化潜力。

解耦提示调整:

  1. 模型初始化: 使用预训练模型初始化 Transformer 主干网络,并冻结其参数。
  2. 领域特定提示学习: 对于每个新领域,独立学习一个新的 DSP,使用公式 (5) 进行优化:

min ⁡ p t s L c e ( f ϕ ( f b ( x ; p t ( I ) , p t s ) ) , y ) , \min_{p_t^s} L_{ce}\left(f_{\phi}\left(f_b\left(x; p_t^{(I)}, p_t^s\right)\right), y\right), ptsminLce(fϕ(fb(x;pt(I),pts)),y),

其中 L c e L_{ce} Lce 表示交叉熵损失, f ϕ f_{\phi} fϕ 表示分类层, f b f_b fb 表示 Transformer 主干网络, x x x 表示输入图像, p t ( I ) p_t^{(I)} pt(I) 表示当前 DIP, p t s p_t^s pts 表示当前 DSP, y y y 表示标签。

  1. 领域不变提示精炼: 使用风格增强图注意力网络 (Style-Augmented Graph Attention Network) 更新 DIP。

风格增强图注意力网络:

  1. 图构建: 将所有现有的提示 (包括 DIP 和所有 DSP) 作为图的节点。
  2. 注意力系数计算: 计算 DIP 与其他节点之间的注意力系数:

e i I S = a ( W p t ( I − 1 ) , W p i s ) , e I I = a ( W p t ( I − 1 ) , W p t ( I − 1 ) ) , e_i^{IS} = a\left(Wp_t^{(I-1)}, Wp_i^s\right), \\ e_{II} = a\left(Wp_t^{(I-1)}, Wp_t^{(I-1)}\right), eiIS=a(Wpt(I1),Wpis),eII=a(Wpt(I1),Wpt(I1)),

其中 a a a 表示单层神经网络, W W W 表示线性变换矩阵。
在这里插入图片描述
图2:生成样式增强数据的说明。

  1. 知识聚合: 使用将其他节点的知识聚合到 DIP:

p t ( I ) = f G A T ( P t ) = ∑ i = 1 t α i I S W p i s + α I I W p t ( I − 1 ) , p_t^{(I)} = f_{GAT}(P_t) = \sum_{i=1}^t \alpha_i^{IS}Wp_i^s + \alpha_{II}Wp_t^{(I-1)}, pt(I)=fGAT(Pt)=i=1tαiISWpis+αIIWpt(I1),

其中 f G A T f_{GAT} fGAT 表示图注意力网络, α i I S \alpha_i^{IS} αiIS α I I \alpha_{II} αII 表示归一化后的注意力系数。

  1. 风格增强训练: 对输入图像进行风格增强,并将增强后的图像用于训练图注意力网络。

推理: 对于测试图像,首先选择最匹配的 DSP,然后使用 DIP 和选择的 DSP 进行预测。

总结: 该方法通过解耦提示调整和风格增强图注意力网络,有效地解决了领域增量学习中的灾难性遗忘问题,并提升了模型对未见领域数据的泛化能力。

实验部分:

  1. 与现有方法的比较:
  • 本文提出的方法在乳腺癌转移分类任务的9个评价指标中的8个上取得了最佳效果,在上皮间质组织分类任务的8个评价指标中的7个上取得了最佳效果。
  • 与现有的参数隔离方法相比,本文方法在缓解灾难性遗忘和提高模型泛化能力方面表现出色。
  1. 关键组件的分析:
  • 在模型性能和内存效率的权衡方面,本文方法在使用有限的额外内存空间的情况下,相比现有的基于提示的方法,在平均准确率、向后传递性能和前向传递性能方面都有显著提升。
  • 解耦提示调优的可视化结果表明,学习到的特定领域提示可以有效捕捉领域特征,模型可以很好地区分正常组织和肿瘤组织。
  • 消融实验表明,通过GAT对通用不变提示进行精炼,并使用风格增强的训练数据,可以进一步提高模型性能。

总的来说,实验结果全面展示了本文提出方法的有效性。在多个医学图像分析任务上,该方法在缓解灾难性遗忘和提高模型泛化能力方面优于现有的增量学习方法,同时保持了较高的内存效率。关键组件的分析验证了方法设计的合理性。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

Reference
[1] Zhu, Y., Li, K., Yu, L., & Heng, P. A. (2024, March). Memory-Efficient Prompt Tuning for Incremental Histopathology Classification. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 38, No. 7, pp. 7802-7810).

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/554136.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

杨元庆:人工智能需要更加私密化和个性化

4月18日, 2024联想创新科技大会Tech World在上海举办。联想集团董事长兼CEO杨元庆在演讲中表示“我们的愿景,就是让人工智能走下云端,真正落地,走进千家万户、千行百业”。 这意味着,我们需要让人工智能更加私密化和个…

低代码开发平台:创新工具,颠覆传统

低代码开发平台是近年来迅速崛起的一种创新型软件开发工具,以其高效、灵活的开发模式正颠覆着传统的开发方式。不再需要编写大量繁杂的代码,开发者们可以在图形化界面中以拖拽、配置的方式进行应用的搭建,大大提高开发效率和质量。本文将全面…

element-plus关于el-radio-group选择一个单选按钮,全被选中

问题 使用el-radio-group 组件&#xff0c;进行多个互斥选择时&#xff0c;点击一个选项时&#xff0c;全部选择。设置radio的默认值也无法选中 代码为官方实例 <template><el-radio-group v-model"radio"><el-radio :value"3">Option…

Games101-光线追踪(辐射度量学、渲染方程与全局光照)

Basic radiometry (辐射度量学) 光的强度假定l为10&#xff0c;但是10是什么。 Whitted-Style中间了很多不同简化&#xff0c;如能看到高光&#xff0c;表示做了布林冯着色&#xff0c;意味着一个光线打进来后会被反射到一定的区域里&#xff0c;而不是沿着完美的镜像方向&…

从三大层次学习企业架构框架TOGAF

目录 前言 掌握TOGAF的三个层次 层次1&#xff1a;怎么学&#xff1f; 层次2&#xff1a;怎么用&#xff1f; 层次3&#xff1a;怎么思&#xff1f; 结束语 前言 对于一名架构师来讲&#xff0c;如果说编程语言是知识库层次中的入门石&#xff0c;那么企业架构框架则相当…

【微信小程序从入门到精通(项目实战)】——微电影小程序

&#x1f468;‍&#x1f4bb;个人主页&#xff1a;开发者-曼亿点 &#x1f468;‍&#x1f4bb; hallo 欢迎 点赞&#x1f44d; 收藏⭐ 留言&#x1f4dd; 加关注✅! &#x1f468;‍&#x1f4bb; 本文由 曼亿点 原创 &#x1f468;‍&#x1f4bb; 收录于专栏&#xff1a…

Modelsim自动化仿真脚本(TCL)——简单实例

目录 1. Modelsim与TCL脚本的关系 2.实验文件 2.1设计文件 2.2仿真测试文件 2.3. 脚本文件 3. 实验步骤 3.1. 创建文件夹 3.2. 指定路径 3.3. 创建工程 3.4. 运行命令 3.4. 实验效果 1. Modelsim与TCL脚本的关系 TCL&#xff08;Tool Command Language&#xff09;是…

吴恩达深度学习笔记:深度学习的 实践层面 (Practical aspects of Deep Learning)1.4-1.5

目录 第一门课&#xff1a;第二门课 改善深层神经网络&#xff1a;超参数调试、正 则 化 以 及 优 化 (Improving Deep Neural Networks:Hyperparameter tuning, Regularization and Optimization)第一周&#xff1a;深度学习的 实践层面 (Practical aspects of Deep Learning)…

[C++][算法基础]分解质因数(试除法)

给定 n 个正整数 ai&#xff0c;将每个数分解质因数&#xff0c;并按照质因数从小到大的顺序输出每个质因数的底数和指数。 输入格式 第一行包含整数 n。 接下来 n 行&#xff0c;每行包含一个正整数 ai。 输出格式 对于每个正整数 ai&#xff0c;按照从小到大的顺序输出其…

同城O2O跑腿系统源码:外卖配送APP的技术架构与设计思路解析

今天&#xff0c;我将为大家详解同城O2O跑腿系统源码&#xff0c;剖析外卖配送APP的技术架构与设计思路。 一、用户端与商家端 用户端提供用户注册、登录、浏览菜单、下单、支付等功能&#xff0c;而商家端则负责商家入驻、菜单管理、订单处理等。这两个端的技术架构相对独立…

在Linux操作系统中文件目录特殊权限

管理员用户和普通用户都可以使用passwd命令来给用户设置密码 用户密码保存在/etc/shadow suid 4 sgid 2 sticky bit 1 suid&#xff08;只要是针对可执行文件进行设置。&#xff09; {当没有操作要求时&#xff0c;不可以擅自对shell&#xff0c;python脚本加上suid权…

java动态代理--cglib代理

1.概述 CGLIB动态代理是针对类实现代理&#xff08;无需实现接口&#xff09;&#xff0c;为了弥补jdk的不足&#xff0c; Cglib 不基于接口&#xff0c;是基于父子的继承关系&#xff08;被代理的对象是代理对象的父类&#xff09;&#xff0c;通过重写的形式扩展方法 2.定…

带头循环双向链表专题

1. 双向链表的结构 带头链表⾥的头节点&#xff0c;实际为“哨兵位”&#xff0c;哨兵位节点不存储任何有效元素&#xff0c;只是站在这⾥“放哨 的” “哨兵位”存在的意义&#xff1a; 遍历循环链表避免死循环。 2. 双向链表的实现 2.1双向链表结构 typedef int DataTyp…

【光伏科普】光伏软件都有些什么功能?

光伏软件是为满足光伏行业特定需求而设计的工具&#xff0c;它涵盖了多个方面的功能&#xff0c;以支持光伏系统的设计、分析、优化和运营。以下是光伏软件通常具备的一些核心功能&#xff1a; 1.光伏系统设计 组件布局优化&#xff1a;根据地理位置、光照条件、阴影遮挡等因素…

开源在线表单工具 HeyForm 使用教程

HeyForm 是一个非常出色的开源在线表单工具&#xff0c;可以通过直观的拖拽式编辑器&#xff0c;快速构建出美观实用的表单。 HeyForm 的功能非常丰富&#xff1a; 支持丰富的输入类型&#xff0c;从基础的文本、数字到高级的图片选择、日期选择、文件上传等&#xff0c;一应俱…

Java web第三次作业

springboot入门程序撰写并启动 2.使用postman练习参数的获取。 简单参数 复杂参数 数组参数 日期参数 json参数 路径参数 3、体会前端页面向后端发送数据的过程。并且自己尝试将之前的注册页面的信息发送到服务端。 &#xff08;1&#xff09;、product.html的操作代码&#…

后端返回的数据中含有Null的则不在前端展示

方式 1&#xff1a;application 上加配置 只需要在配置文件 上&#xff0c;增加 如下配置。 application 格式配置&#xff1a; spring.jackson.default-property-inclusionnon_null yml 格式配置&#xff1a; spring:jackson:default-property-inclusion: non_null注意&a…

数字逻辑课程实验环境配置与使用说明

文章目录 I.虚拟机搭建1.1 Vmware安装1.2 Win XP安装1.3 xftp7安装 I. Quartus II安装II. 使用说明2.1 新建工程2.2 在工程中加入代码2.3 代码编译波形仿真 I.虚拟机搭建 1.1 Vmware安装 Vmware17安装教程 1.2 Win XP安装 Win XP安装教程 1.3 xftp7安装 给虚拟机添加FTP …

【团体程序设计天梯赛 往年关键真题 详细分析完整AC代码】L2-009 抢红包(排序) L2-010 排座位 (dfs)

【团体程序设计天梯赛 往年关键真题 详细分析&完整AC代码】搞懂了赛场上拿下就稳 【团体程序设计天梯赛 往年关键真题 25分题合集 详细分析&完整AC代码】&#xff08;L2-001 - L2-024&#xff09;搞懂了赛场上拿下就稳了 【团体程序设计天梯赛 往年关键真题 25分题合…

MCU最小系统的电源模块设计和复位模块的设计

最小操作系统就是一个电路&#xff0c;这个电路里面必须要的东西&#xff08;如人需要喝水吃饭温度等情况&#xff0c;才能或者&#xff09; 现在我们要解决这三个问题 这里V开头的&#xff0c;都是电源管脚 这里解释一下&#xff1a; 这里要注意哪些是电路电压&#xff0c;哪…