学习笔记:《Foundation models for generalist medical artificial intelligence》

目录

一、GMAI模型的概念与优势

二、GMAI模型面临的挑战

1.验证

2.社会偏见

3.隐私

4.规模

5.技术挑战

三、结论:

参考文献


最近在《Nature》杂志上发表的一篇名为《Foundation models for generalist medical artificial intelligence》的文章,详细探讨了通用医学人工智能(GMAI)基础模型的概念、应用前景以及相关挑战。本篇文章旨在作为这篇论文的学习笔记,帮助读者更好地理解 GMAI 模型的价值和未来挑战。

一、GMAI模型的概念与优势

GMAI模型是一类先进的基础模型,具有解析多种数据模态、快速学习新任务和利用领域知识的能力。这些模型可以广泛应用于医疗保健领域的各种任务,如辅助诊断、治疗建议、患者沟通等。与传统医学 AI 相比,GMAI 模型更具灵活性,可以在新环境中保持相关性,并跟上新兴疾病和技术的发展,而无需不断从头开始重新训练。

图1 GMAI 模型流程概述[1]
(a)一个 GMAI 模型通过自监督学习等技术在多种医学数据模态上进行训练。为实现灵活的交互,可以将图像或电子病历数据等数据模态与语言(以文本或语音数据形式)配对。接下来,GMAI 模型需要访问各种医学知识来源,以执行医学推理任务,解锁可用于下游应用的丰富功能。生成的 GMAI 模型随后可以实时执行用户指定的任务。为此,GMAI 模型可以从知识图谱或数据库等来源检索上下文信息,利用正式的医学知识对以前未见过的任务进行推理。(b)GMAI 模型为临床各学科的众多应用奠定了基础,每个应用都需要进行仔细的验证和监管评估。

二、GMAI模型面临的挑战

1.验证

由于 GMAI 模型的多功能性,对它们进行全面验证将是一项艰巨的任务。开发者需要设计全面的验证方法,以确保这些模型在各种任务和环境中均能表现出良好的性能。

2.社会偏见

GMAI 模型可能在训练过程中获取偏见,从而对边缘化群体造成伤害。因此,开发者、供应商和监管机构必须迅速识别并修复这些偏见,确保 GMAI 模型在各种人群中的表现不会受到影响。

3.隐私

GMAI 模型的发展和使用对患者隐私构成严重威胁。模型可能访问丰富的患者信息,包括临床测量、分子特征、人口统计信息以及行为和感应跟踪数据。此外,由于大型模型更容易记住训练数据并将其直接呈现给用户,因此 GMAI 模型可能会暴露训练数据集中的敏感患者数据。为了保护患者隐私,需要通过去标识化和限制收集的个人信息来减少数据泄露造成的损害。

4.规模

近年来,基础模型的规模急剧增加,导致了数据收集和模型训练的成本上升。规模化的模型需要大量训练数据,这些数据不仅昂贵,而且对环境产生了很大负担。在开发 GMAI 模型时,数据收集和访问将是一个特殊的挑战。这些模型需要涵盖医学领域的大量专业数据,同时确保数据的多样性、匿名性和兼容性。此外,数据收集和共享过程需要遵守各种政策和法规。

5.技术挑战

GMAI 模型的规模也带来了技术挑战。除了训练成本高昂外,这些模型可能需要专用的高端硬件才能部署,这对医院来说可能是一个难题。为了解决这个问题,可以通过知识蒸馏等技术来减小模型的规模,使其更容易在实际约束条件下部署。

三、结论:

GMAI 模型有潜力彻底改变医疗保健领域。这些模型可以支持临床医生开展各种基本任务、克服沟通障碍、提高医疗质量并减轻临床医生的行政负担。然而,要实现 GMAI 模型的巨大潜力,研究人员和临床利益相关者需要从一开始就仔细考虑这些挑战,以确保 GMAI 能够始终为临床实践带来价值。

图2 GMAI 三个潜在应用的示意图[1]
(a)GMAI 可以实现多功能且自解释的床边决策支持。(b)基于实际的放射科报告配备可点击链接,以便于可视化每个发现。(c)GMAI 有潜力对在模型开发过程中从未遇到过的现象进行分类。在增强过程中,通过利用医学领域知识和地形背景上下文,对罕见的异常发现进行逐步推理解释。111

参考文献

[1]Moor, M., Banerjee, O., Abad, Z.S.H. et al. Foundation models for generalist medical artificial intelligence. Nature 616, 259–265 (2023). https://doi.org/10.1038/s41586-023-05881-4

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/13820.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Flutter 布局探索 | 如何分析尺寸和约束

theme: cyanosis 前言 本文来分享一下,通过查看源码和布局信息解决的一个实际中的布局小问题,也希望通过本文的分享,当你遇到布局问题时,可以靠自己的脑子和双手解决问题。 如下所示,将 TextField 作为 AppBar 组件的 …

拆解Open ODS View和HANA Composite Provider

这两个也不是新面孔了。 那么OODS和HCPR到底他俩怎么用?既然大家都是虚拟的,不占地方。那这俩infoprovider到底有啥区别? 首先就是目的不同。 HCPR是可以用Union和Join。也就是老的Multiprovider和InfoSet。Union就是说两个数据集的行能被…

【OS实验】【学习笔记】

文章目录 零、实验参考实验1 熟悉实验环境实验2 操作系统的引导实验3 系统调用实验4 进程运行轨迹的跟踪与统计实验5 基于内核栈切换的进程切换实验6 信号量的实现和应用实验7 地址映射与共享实验8 终端设备的控制实验9 proc文件系统的实现Reference 零、实验参考 &#x1f52…

【华为机考】专题突破 第一周:单调栈 739 、503 、901、84

刷题顺序参考于 《2023华为机考刷题指南:八周机考速通车》 前言 单调栈:分为单调递增和单调递减栈。(栈内元素成递增或者递减性): 单调递增栈:从栈底到栈顶数据是从大到小,即 栈内的元素从栈顶 到栈底 是递增的&#x…

【手把手刷CCF】202303-2-垦田计划100分(超简单思路,含详细解释注释与代码)

文章目录: 故事的开头总是极尽温柔,故事会一直温柔……💜一、🌳代码如下:二、🌵解题思路❤️❤️❤️忙碌的敲代码也不要忘了浪漫鸭! 故事的开头总是极尽温柔,故事会一直温柔……&am…

SpringBoot集成WebSocket实现及时通讯聊天功能!!!

1&#xff1a;在SpringBoot的pom.xml文件里添加依赖: <!-- websocket --> <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-websocket</artifactId> </dependency> 2&#xff1a;在配置中…

java 拼接字符串的方法

1.拼接字符串的方法&#xff0c;先要将字符串转化为数字类型&#xff0c;再根据需要拼接。这样可以避免直接拼接导致的错误。 2.将字符串转化为数字类型&#xff0c;这个就是一个循环。可以使用循环的方法&#xff0c;但是循环次数不宜太多&#xff0c;否则容易出错。 3.可以使…

ERTEC200P-2 PROFINET设备完全开发手册(7-1)

7. 配置模块及自定义模块 7.1.1 PN设备的基本模型 初次接触PN的开发者&#xff0c;最容易出现的错误就是设备的实际配置与TIA的组态不一致。为了开发的过程更加顺利&#xff0c;非常有必要掌握PN设备的基础模型。PN设备的基本模型如下图描述&#xff1a; PN设备的基本构成是插…

论文的总体结构及质量控制

要写出一篇高质量AI领域的论文&#xff0c;首先要搞清楚论文由哪几部分组成&#xff0c;即论文的总体结构。同时&#xff0c;还要了解AI论文的质量评价与质量控制的指标。这样做的目的是为了弄明白AI论文的结构以及什么样的AI论文才是好的论文。 通常一篇AI论文的总体结构主…

ZVL3网络分析仪

ZVL3 Rohde&Schwarz ZVL3 3G矢量网络分析仪|罗德与施瓦茨 9KHz至3GHz 罗德与施瓦茨Rohde&Schwarz 性能特点&#xff1a; 频率范围 9kHz至3GHz/6 GHz(典型值为5kHz) 测量时间(201个测量点&#xff0c;以校准的双端口) <75ms 数据传输(201个测量点) 在100Mbit/sLAN…

DFS与BFS|树与图的遍历:拓扑排序

深度优先搜索DFS DFS每次往最深处搜&#xff0c;搜到叶子节点就返回&#xff0c;然后继续搜&#xff0c;特点&#xff1a;走到头才返回&#xff0c;返回并不是返回最开始&#xff0c;而是每次返回上一层之后&#xff0c;再看这一层能不能往下搜 DFS有回溯和剪枝。返回上一层的过…

OpenCV实例(七)汽车检测

OpenCV实例&#xff08;七&#xff09;汽车检测 1.概述2.代码实例3.代码功能 作者&#xff1a;Xiou 1.概述 对于图像和视频检测中的目标类型并没有具体限制&#xff0c;但是&#xff0c;为了使结果的准确度在可接受范围内&#xff0c;需要一个足够大的数据集&#xff0c;包括…

《Spring MVC》 第四章 域对象、视图、转发和重定向

前言 介绍Spring MVC的域对象、视图、转发和重定向 1、域对象共享数据 Spring MVC 提供了多种域对象共享数据的方式&#xff0c;其中最常用的方式如下&#xff1a; 1.1、使用 Servlet API 向 request 域对象中共享数据 服务端代码&#xff1a; RequestMapping("toLo…

为什么企业都需要搭建搭建一个内部知识库?

企业内部知识管理是指企业通过各种手段收集、整理、管理和传播企业内部的知识&#xff0c;以提高企业的竞争力和创新能力。在实践中&#xff0c;企业内部知识管理往往需要建立一个内部知识库&#xff0c;以更好地实现知识的共享和管理。本文将从以下几个方面探讨为什么企业内部…

【SWAT水文模型】ArcSWAT输入准备

ArcSWAT输入准备 1 必需的ArcSWAT空间数据集1.1 数字高程模型&#xff08;DEM&#xff09;1.2 土地覆盖/土地利用类型1.3 土壤数据 2 可选的ArcSWAT空间数据集2.1 DEM Mask2.2 Streams2.3 User- Defined Watersheds 3 ArcSWAT表格和文本文件3.1 子流域出口位置表(dBase 表)3.2 …

掏空腰包,日子难过,机缘转岗软件测试,这100个日夜的心酸只有自己知道...

我今年27岁&#xff0c;原本从事着土木工程相关的工作&#xff0c;19年开始有了转行的想法... 大学刚毕业那年&#xff0c;我由于学的是土木工程专业&#xff0c;自然而然的从事了和土木工程相关的工作&#xff0c;房贷、车贷&#xff0c;在经济的高压下&#xff0c;当代社会许…

Idea 配置 maven 离线使用

首先&#xff0c;项目中的依赖已经下载到本地仓库&#xff0c;在没有网络或者没办法连通公司的maven仓库时&#xff0c;需要配置离线使用。 1. 配置 setting.xml 在 maven 使用的 setting.xml 文件中&#xff0c;加入以下配置。 默认在 maven安装目录下的 conf 文件夹下 。 &…

没看错!一行python代码就可以帮您获取图片中的文字信息

最近工作中有需求需要用python对图片中的文字进行识别&#xff0c;调研了一下&#xff0c;选择了tesseract&#xff0c; 目前在github上有50.5k个star&#xff01;python可以调用&#xff0c;安装也十分方便&#xff0c;pip install pytesseract 即可。如果没有Pillow 包&…

关于yolov8的一些理解

文章目录 1.前言2.创新点及工作3. 网络结构3.1 BackBone3.1.1 C2F3.1.2 结构微调3.1.2 SPPF 3.2 Neck3.3 Head 4.正样本匹配策略4.1 静态分配策略&动态分配策略4.2 TaskAlignedAssigner 5.损失函数5.1 概述5.2 Distribution Focal Loss 6.总结 1.前言 YOLOv8 是 ultralyti…
最新文章