[Nature 2026]AFLoc 多模态视觉-语言模型型 医疗影像场景的病灶定位，人工智能医学应用 无标注、强泛化、高精度

摘要
AFLoc是2026年发表于《Nature Biomedical Engineering》的零标注多模态视觉-语言模型，主打医疗影像场景的病灶定位，通过多层级语义对齐技术，无需人工标注即可将临床报告文本与医学影像跨模态关联，性能远超现有模型，部分指标甚至超越人类放射科医生

AFLoc 多模态视觉 - 语言模型深度研究报告

摘要

AFLoc（Annotation-Free pathology Localization）是 2026 年 1 月发表于《Nature Biomedical Engineering》的零标注多模态视觉 - 语言模型，主打医疗影像场景的病灶定位，通过多层级语义对齐技术，无需人工标注即可将临床报告文本与医学影像跨模态关联，实现零样本跨模态迁移，性能远超现有多模态模型，部分指标甚至超越人类放射科医生基准(49)。

1. 研究背景与核心技术痛点

1.1 传统特征提取与多模态方案的行业瓶颈

• 标注成本壁垒：医疗影像的像素级 / 边界框级标注高度依赖专业放射科医生，单张胸部 CT 肺结节标注需 30 分钟，规模数据集标注耗时数月，标注成本占模型总开发成本的 60%-80%，成为技术落地的核心门槛(49)。

• 现有多模态 VLM 方案的局限：以 CLIP、GLoRIA 为代表的传统视觉 - 语言模型仅关注全局语义对齐，完全忽略医疗影像特有的「病灶局部细粒度特征」与临床报告「多层级语义描述」的匹配关系；MedKLIP、BioViL 等医疗专用 VLM 虽优化了领域语义，但仍依赖图像级弱标签，且无法精准关联影像空间位置与临床术语，在多模态泛化场景中表现受限(49)。

• 模态泛化性不足：现有方案大多只能处理单一模态影像，无法跨 X 线、眼底照、病理切片等多模态通用，更无法在无额外训练条件下完成零样本迁移。

1.2 AFLoc 的技术定位

AFLoc 是一款无标注、强泛化、高精度的医疗向多模态视觉 - 语言模型，其技术核心是「多层级语义结构对比学习」，彻底摆脱对人工标注的依赖，天然适配医疗行业的多模态、高标注成本、强临床落地需求；同时其跨模态对齐逻辑，也为通用多模态特征提取提供了全新的技术范式(49)。

2. AFLoc 核心架构原理与多模态融合机制

AFLoc 采用双编码器 + 多层级语义对齐架构，技术流程分为「多模态编码 - 多层级对比学习 - 推理定位 - 后处理」四大核心环节，其中三级跨模态对齐机制是实现特征提取融合的核心创新(49)。

2.1 双编码器多模态特征提取

模型独立处理视觉、文本两个模态，将不同类型的输入数据映射到同一个高维稠密语义空间中，保障后续跨模态特征的相似度计算可行性。

（1）视觉编码器：多层级空间特征提取

采用 ResNet-50 作为骨干网络，专门针对医疗影像提取三个层级的空间粒度特征，区别于传统模型仅提取全局特征的设计：

• 浅层局部特征：从第三个下采样阶段（layer2）输出，保留高分辨率空间细节，主打捕捉病灶的边缘、纹理、细微边界等细粒度视觉信息，用于与文本的单词级语义精准对齐(49)；

• 深层局部特征：从第四个下采样阶段（layer3）输出，具备更强的高层级语义抽象能力，同时保留基础空间位置信息，用于与文本的句子级语义关联匹配(49)；

• 全局特征：对 ResNet-50 最后一层卷积输出执行全局平均池化，生成单张影像的全局语义向量，完整代表整张影像的整体视觉内容，用于与临床报告的全局语义对齐(49)；

• 维度适配优化：所有层级的视觉特征，都会通过独立的 1×1 卷积投影层，统一映射到与文本特征完全一致的语义维度，保障后续跨模态相似度计算的精度(49)。

（2）文本编码器：多粒度语义特征拆解

采用医疗领域专用的 BioClinicalBERT 作为文本编码器（消融实验证明，其临床语义理解效果显著优于 LLaVA-Med 等通用大语言模型），将自由格式的临床报告，拆解为四级粒度语义特征，精准匹配医疗影像的空间特征层级：

• 子词级特征：先对临床报告进行 Tokenize 分词，取 BioClinicalBERT 最后 4 层网络输出的平均值，作为基础子词级语义表示；

• 单词级特征：将属于同一个医学术语的所有子词特征，执行均值聚合或求和聚合，生成精准匹配病灶术语的单词级语义向量（如 “胸腔积液”“肺实变” 这类专属临床术语）(49)；

• 句子级特征：以临床报告中的句号、[SEP] 分隔符为划分依据，将整份报告拆分为单条影像学描述语句，对语句内所有单词级特征执行平均聚合，生成对应解剖区域描述的句子级语义向量(49)；

• 报告级特征：对整份报告的所有单词级特征做全局平均聚合，生成代表完整诊断语义的全局文本向量，与视觉全局特征进行顶层对齐(49)；

• 语义去偏设计：文本编码器的输出层不设置偏置（Bias）项，避免引入额外的类别先验分布，保障跨模态特征相似度计算的纯粹几何意义 —— 这一设计，是 AFLoc 适配医疗场景的关键细节(49)。

2.2 核心创新：三级跨模态语义融合对齐机制

AFLoc 开创性地在医疗多模态场景引入三级粒度对齐的对比学习框架，将视觉的空间层级特征，与文本的语义层级特征，精准映射到同一个联合语义空间中 —— 这一设计，既保证了细粒度病灶的精准定位，又兼顾了整体临床诊断的宏观语义逻辑(49)。

具体技术实现逻辑：

• 局部对齐计算：针对词级、句级对齐任务，模型会计算视觉局部特征与文本对应粒度特征的余弦相似度矩阵，随后采用 InfoNCE 对比损失函数，强化正确的「病灶区域 - 临床术语」对匹配度，同时批量拉低负样本对的相似度，避免特征混淆(49)；

• 全局对齐计算：针对报告级顶层对齐任务，同样采用对称 InfoNCE 损失，分别计算 “影像全局特征→文本全局特征”“文本全局特征→影像全局特征” 两个方向的匹配损失，最大化全局语义的对齐精度(49)；

• 消融实验验证：多组对照实验数据显示，若仅保留单一粒度对齐（如仅保留词级或仅保留报告级），模型的定位性能会大幅下降 —— 这一结果，直接验证了多粒度层级融合对齐的技术必要性(49)。

2.3 推理定位与后处理流程

AFLoc 的推理输入为「医学影像 + 病灶描述提示词」，无需额外人工标注，完整定位流程为：

1. 特征提取阶段：视觉编码器提取输入影像的三层级空间特征，文本编码器对用户输入的临床提示词（如 “左下叶肺炎”“右侧胸腔积液”）进行多粒度语义编码；

2. 跨模态相似度计算：将视觉局部特征与文本对应粒度的特征，送入提前训练好的相似度计算模块，生成与影像尺寸完全匹配的热力图，直观展示病灶的高概率区域；

3. 分类筛选：基于全局特征的对齐相似度，给出该影像的疾病分类阳性 / 阴性结果；

4. 定向后处理优化：为了匹配临床实际阅片需求，模型设置了专属触发逻辑 —— 仅在分类预测结果为阳性时，才会输出定位热力图；随后通过行业通用的硬阈值处理，将热力图转换为像素级的二值分割掩码，直接覆盖在原始影像上，供临床医生参考(49)。

3. AFLoc 的跨领域应用案例

AFLoc 目前主打医疗多模态场景，但其层级化跨模态融合技术，具备向通用 NLP/CV 结合场景迁移的底层潜力；已公开的落地验证场景，覆盖三类典型医疗核心多模态任务，均取得了显著效果(49)。

3.1 核心落地场景：无标注医疗影像病灶定位

这是 AFLoc 的原生设计场景，完全无需人工标注训练数据，仅依赖医院天然存储的「影像 - 临床报告」配对数据完成训练，即可精准定位多种模态、多种类型的病灶，完美匹配大规模筛查、基层赋能的核心需求。

（1）胸部 X 线影像定位

作为最常用的医疗影像模态，胸部 X 线影像的病灶定位是临床的核心痛点 ——AFLoc 在覆盖 34 种常见胸部疾病、8 个主流公开数据集（包括 MIMIC-CXR、RSNA Pneumonia、NIH ChestXray14、COVID Rural 等）上完成了大规模验证，在 IoU（交并比）、Dice 系数、CNR（对比噪声比）三项核心定位指标上，均显著优于 GLoRIA、BioViL、MedKLIP 等行业前沿方法(49)。

• 典型数据集表现：在 RSNA Pneumonia（肺炎）数据集上，AFLoc 的 IoU 达到 0.342，Dice 系数达到 0.484，CNR 达到 1.538，相比次优方法的性能提升幅度分别为 7.9%、4.1%、18.3%(49)；在 MS-CXR 数据集上，使用精准临床提示词时，IoU 相比 GLoRIA 提升超过 6%；

• 超越人类基准的验证结果：在 CheXlocalize 数据集的 5 种关键病理（肺实变、胸腔积液、气胸、肺不张、肺结节）定位任务中，AFLoc 的多项指标直接超越了放射科医生的平均阅片水平(49)；在 100 例标准化测试的读者研究中，AI 辅助后的医生平均 IoU 从 0.498 提升至 0.567，阅片时间缩短 20.5%。

（2）零样本跨模态泛化应用

这是 AFLoc 区别于现有医疗多模态模型的核心技术亮点 —— 在胸部 X 线影像上完成预训练后，模型无需任何额外训练数据，即可直接迁移到其他医疗影像模态进行病灶定位：

• 视网膜眼底图像：在眼科核心病灶定位任务中，模型精准识别出了脉络膜新生血管（CNV）、玻璃膜疣（drusen）等典型眼底病变，定位精度显著优于行业专用的 ConVIRT 模型；这类病灶的早期区域面积小、边界对比度低，是传统人工阅片和 AI 方案都难以精准捕捉的难点(49)；

• 组织病理学切片：在前列腺癌 Gleason 评分分级任务中，模型对异常肿瘤组织的定位精度，超过了行业内专门针对病理图像设计的 PLIP 和 CONCH 专用模型(49)；

• 新发疾病适配验证：在未经任何 COVID-19 相关数据训练的情况下，模型可以通过匹配临床报告中的病毒性肺炎描述，精准定位新冠肺炎患者的胸部 X 线病灶区域，表现出极强的零样本泛化能力(49)。

3.2 延伸应用场景

基于其先进的多层级跨模态融合能力，AFLoc 的技术方案还具备进一步拓展到更多通用多模态场景的潜力，典型的待落地规划场景包括：

• 大规模人群疾病筛查：在胸部 X 线体检、眼底疾病筛查等流量级健康管理场景中，作为 AI 预筛系统自动标注可疑病灶、生成初步诊断提示；以中国每年约 5 亿人次胸部 X 线检查的市场规模计算，即使仅覆盖 10% 的体检场景，每年也可为放射科医生节省数百万小时的阅片时长(49)；

• 基层医疗诊断赋能：在影像科专家资源短缺的偏远地区、基层医院，模型可提供接近三甲医院水平的影像初筛能力；更重要的是，模型对硬件的适配门槛极低 —— 仅需普通级别的服务器资源即可运行，无需昂贵的高性能 GPU 集群，完全适配基层医疗环境的硬件条件(49)；

• 多模态教学辅助工具：模型生成的病灶热力图，可以作为医学影像教学的交互式可视化工具；相比传统的静态图谱式教学，学生可以直观看到 “临床术语→对应病灶区域” 的关联关系，显著提高学习效率(49)；

• 罕见病影像诊断支持：由于模型完全不需要人工标注数据，天然适配罕见病诊断场景的约束 —— 传统监督学习模型需要积累足够的标注病例才能落地，而 AFLoc 仅需阅读包含罕见病影像学描述的临床报告，即可自主学习到罕见病的视觉特征，辅助医生定位罕见病病灶区域(49)。

4. 性能表现与量化指标分析

AFLoc 的性能，从「定位精度、分类能力、临床效率、泛化能力」四个维度进行了量化评估，所有实验结果均来自公开主流数据集的标准化测试，且与行业内顶级前沿方法进行了直接横向对比(49)。

4.1 病灶定位性能

定位精度是医疗影像病灶定位任务的核心评价指标，AFLoc 在所有测试数据集上的表现，均优于现有最先进的无监督和自监督学习方法；核心实验数据汇总如下：

注：

1. 表中所有实测值，均来自 AFLoc 官方论文公开的多次实验统计结果；其中 IoU（交并比）、Dice 系数是评估病灶定位精度的核心指标，数值越高，代表预测病灶区域与医生标注的真实区域的重合度越高；CNR（对比噪声比）反映病灶区域与周围正常组织的对比度差异，数值越高，代表模型识别病灶的抗干扰能力越强(49)；

2. 在 MS-CXR 数据集上，模型使用精准临床提示词时的性能提升幅度，显著高于使用简单病理名称的提示词 —— 这一结果，验证了临床术语的精细度，对 AFLoc 这类多模态模型的落地性能存在显著正向影响(49)。

4.2 零样本疾病分类性能

除了核心的病灶定位任务，AFLoc 在零样本疾病分类任务上的表现，也完全达到了行业内专用监督模型的水平 —— 在完全不使用任何标注数据进行微调的前提下，其分类性能优于大部分需要标注数据训练的专用模型。

• 在胸部 X 线多分类任务的 CXR-LT 长尾数据集上（涵盖 26 种胸部疾病，样本分布极不均衡），模型的零样本平均 AUROC 值达到 0.802；

• 在 NIH ChestXray14 数据集上，模型的零样本 AUROC 值达到 0.831，这一结果，与经过全量标注数据训练的专用模型性能基本持平(49)；

• 在眼底影像的病变分类任务中，模型的零样本平均 AUROC 值达到 0.914，优于行业内其他多模态方案的表现。

4.3 临床场景落地效率验证

一项技术方案的临床落地价值，不仅在于算法的高精度，更在于其对实际工作流的正向影响；针对这一维度，研究团队设计了严格的对照实验来验证：

• 实验方案：选取 2 名拥有 7 年以上临床经验的放射科医生，对 100 例随机抽取的 MIMIC-CXR 数据集影像进行独立阅片，记录诊断得分和阅片时长；随后，在 AFLoc 辅助下，重新阅读相同的影像数据集，对比两组结果的差异(49)；

• 实测结果：在 AI 辅助场景下，医生的平均诊断得分从 10.80 提升到 11.74，平均阅片时长从 27.92 秒缩短至 22.20 秒，单例阅片效率提升幅度达到 20.5%(49)；

• 实际意义：这一结果证明，AFLoc 的定位输出，可以帮助医生快速聚焦高概率病灶区域，在大幅提升诊断准确率的同时，有效缩短阅片时长；更重要的是，模型的输出结果，不会干扰医生的最终临床决策 —— 完全符合医疗行业的临床落地安全规范(49)。

4.4 跨模态泛化性能

AFLoc 的跨模态泛化能力，是其区别于现有医疗多模态模型的核心技术竞争力；在胸部 X 线影像上完成统一预训练后，模型无需任何额外的针对性训练，即可直接迁移到眼底照相、病理切片两种完全不同模态的影像上完成病灶定位任务。

• 在眼底影像的脉络膜新生血管、玻璃膜疣两种病灶的定位任务中，AFLoc 的精度比行业内次优方法高出约 10%；

• 在前列腺癌病理切片的 Gleason 评分分级任务中，模型对异常肿瘤组织的定位精度，超过了专门针对病理图像设计的 PLIP 和 CONCH 模型；

• 这一泛化性能的技术底层逻辑是：AFLoc 学习到的并非某一种模态影像的专属视觉特征，而是「病灶」这一通用病理概念的跨模态表征 —— 这一技术突破，为后续构建覆盖全医疗影像模态的统一多模态平台，提供了可行性验证(49)。

5. 同类多模态模型的优劣势对比

为了客观评估 AFLoc 的技术竞争力，将其与行业内主流的通用多模态模型、医疗专用多模态模型，从技术架构、核心性能、落地适配性等维度进行横向对比(49)。

5.1 与主流多模态模型的技术对比

参考依据：AFLoc 与其他多模态模型的技术对比数据，均来自官方论文的实验对比结果；其中 CLIP、BLIP、MedKLIP 的性能基准，来自行业公开的同等条件下重复实验结果(49)。

5.2 AFLoc 的技术优势

从技术架构、落地性能、场景适配性三个维度来看，AFLoc 的核心技术优势可以总结为四点：

1. 真正的零标注学习范式：彻底摆脱了对像素级、边界框级人工标注的依赖 —— 仅使用医院信息系统中天然存储的、无需额外加工的「影像 - 临床报告」配对数据完成预训练，从根本上解决了医疗影像 AI 模型开发过程中，标注成本高、专业资源稀缺、数据隐私管控严格的行业核心痛点(49)；

2. 独创的多层级跨模态融合对齐逻辑：区别于传统模型仅做全局特征对齐的设计思路，AFLoc 的三级对齐机制，在技术层面精准匹配了医疗影像「局部病灶细节 - 整体解剖结构」与临床报告「术语级描述 - 完整诊断结论」的天然层级对应关系 —— 这是该模型在定位精度上实现对其他模型的量级超越，甚至部分指标超过人类放射科医生的核心技术支撑(49)；

3. 极强的零样本跨模态泛化能力：模型学习到的是病理病灶的通用跨模态表征，而非某类影像的专属特征；因此在胸部 X 线上完成预训练后，无需任何额外微调，即可直接适配眼底影像、病理切片等不同模态的病灶定位任务 —— 这一特性，大幅降低了多模态医疗场景的模型部署成本(49)；

4. 原生适配临床实际落地需求：模型的后处理逻辑、输出形式，完全贴合放射科医生的日常阅片流程；例如，仅在分类结果为阳性时输出定位掩码、生成可直接叠加在原始影像上的病灶热力图，这一设计在显著提升医生诊断效率的同时，完全保留了医生的最终临床决策权限，天然具备临床落地安全基础(49)。

5.3 技术局限性

AFLoc 在技术层面仍存在一定的优化空间，在论文中，研究团队也明确了当前版本的几项核心技术局限：

1. 三维影像模态覆盖缺失：目前模型仅验证了二维医疗影像（胸部 X 线、眼底照片、病理切片）的定位任务，尚未扩展到临床更常用的三维容积影像模态（如 CT、MRI）；这类影像的空间结构信息更复杂，对应的临床报告描述也更加繁琐，如何将当前的二维对比学习框架，适配到三维体素级特征提取，是团队后续需要攻克的核心技术难点(49)；

2. 性能依赖临床报告质量：模型的跨模态对齐效果，高度依赖训练数据中临床报告的标准化程度 —— 如果报告书写不规范、专业术语使用不统一，或存在影像 - 报告配对匹配误差，对比学习的特征对齐效果会受到直接影响，进而降低定位精度；此外，不同地区、不同医院的报告书写风格差异，也会导致模型在不同机构间的部署性能出现波动(49)；

3. 缺少大规模前瞻性临床验证：目前公开的验证结果，均来自回顾性公开数据集和小规模读者对照研究；模型在真实临床工作流中的长期实际表现 —— 包括对医生诊断决策的影响、对患者临床预后的改善效果、以及在高并发临床场景中的运行稳定性，仍需要多中心、大样本量的前瞻性随机对照试验进行严格验证(49)；

4. 多语言泛化性不足：当前版本的文本编码器，主要基于英文临床报告完成训练和调优；在中文、日文等非英文的临床报告场景中，由于不同语言的医学表述逻辑、术语缩写风格存在显著差异，模型的跨模态对齐性能可能出现下降；这也限制了模型在非英文医疗场景中的直接落地(49)；

5. 监管审批路径不清晰：作为一款不依赖人工标注数据、具备持续迭代学习能力的 AI 模型，其监管审批路径尚不明确 —— 现有的医疗 AI 审批框架，大多要求模型在固定标准数据集上进行完整的性能验证；而 AFLoc 的持续学习特性，意味着模型的性能可能随着新数据的训练而不断演变，这也对现有的医疗器械 AI 监管规范提出了新的挑战(49)。

6. 未来技术改进方向

针对现有局限性，结合行业内医疗多模态技术的最新发展趋势，AFLoc 的研究团队在官方论文中明确了后续五个核心技术迭代方向：

1. 扩展三维医疗影像模态支持：将当前的多层级对比学习框架，从二维影像空间，直接扩展到 CT、MRI 等三维容积影像模态；重点研发方向包括：适配三维卷积网络的多层级空间特征提取技术、跨模态的体素级特征对齐技术，以及将临床报告描述，直接映射到三维影像病灶区域的定位技术，最终实现体素级的精准病灶定位(49)；

2. 开展多中心前瞻性临床验证：联合国内多家三甲医院、医疗影像设备厂商，以及行业内的权威医疗 AI 验证机构，设计大样本量、多中心的真实世界前瞻性临床试验，验证模型在真实临床工作流中的泛化性能、稳定性，以及对临床诊断流程的实际价值，获取足够的临床效果验证数据，支撑后续的医疗监管审批；

3. 对接大语言模型，构建端到端诊断流程：将 AFLoc 的视觉 - 语言特征对齐能力，与主流大语言模型（LLM）的临床文本理解能力进行深度整合；以 “病灶定位” 为技术起点，通过跨模态特征联动，直接从医学影像中提取病灶特征，结合临床报告中的病史信息，最终生成标准化的完整影像诊断报告 —— 实现从原始影像输入，到临床诊断报告输出的全流程自动化，进一步简化临床工作流；

4. 开发多语言版本文本编码器，强化跨语言泛化能力：采用多模态对比学习技术，对文本编码器进行多语言医学场景适配，支持中文、日文、韩文等非英文语言的临床报告理解；此外，团队还计划在训练数据中，纳入多中心、多地区的不同风格临床报告样本，进一步强化模型在不同医疗场景下的泛化性能；

5. 构建符合医疗安全规范的持续学习框架：研发基于医疗领域专用联邦学习技术的模型持续更新迭代方案，在严格保障患者数据隐私安全的前提下，让模型可以持续从医院的真实临床新数据中进行增量学习，不断强化自身的特征提取精度；同时，为了解决持续学习中的监管合规难题，团队还计划嵌入专门的性能监控模块，记录每一次模型迭代前后的性能变化幅度，保证迭代后的模型性能稳定可控，符合医疗行业的监管安全要求(49)。

7. 结论

AFLoc 是 2026 年多模态视觉 - 语言模型领域的里程碑式技术突破 —— 其核心技术价值，并非简单地对现有多模态技术方案进行 “增量优化”，而是通过多层级语义结构对比学习这一独创的技术框架，彻底重构了医疗影像场景下的特征提取与跨模态关联逻辑，从技术根源上解决了长期限制医疗多模态 AI 落地的 “标注依赖” 行业核心痛点。

从技术性能维度来看，AFLoc 的表现完全达到了行业顶级水平：在多个主流公开数据集上，该模型的病灶定位性能显著优于 GLoRIA、BioViL、MedKLIP 等行业前沿方法；在部分关键病理类型的定位任务中，其实测精度甚至超越了人类放射科医生的平均阅片水平；更难得的是，其天然具备的零样本跨模态泛化能力，可以适配从胸部 X 线、眼底照片到病理切片的全二维医疗影像场景，这是此前任何一种多模态模型都无法实现的技术突破。

从行业落地的维度来看，AFLoc 的技术方案，为医疗 AI 的规模化部署提供了全新的技术路径：它不仅降低了 AI 模型开发的成本和门槛，更重要的是，其输出形式完全贴合临床医生的既有阅片流程 —— 从技术层面实现了 “临床效果提升 + 工作流适配” 的双重平衡。

从技术演进的维度来看，当前版本的 AFLoc，还存在着三维模态覆盖缺失、多语言泛化性不足等明显的技术局限，距离 “统一医疗影像 AI 平台” 的最终技术目标，仍有相当长的迭代距离。但需要强调的是，它的出现，标志着多模态视觉 - 语言模型，正式从 “实验室技术验证” 阶段，跃升到了 “垂直行业大规模落地验证” 阶段 —— 其多层级跨模态融合的技术范式，不仅为医疗影像分析提供了强大的技术支撑，也为后续通用多模态特征提取技术在其他高价值行业场景中的落地，提供了极具参考性的技术范本。

这一研究的行业意义，远超医疗 AI 的单一范畴：它证明了 “无标注多模态预训练” 不是单纯的技术行业热点，而是真正可落地的行业级技术方案，为后续多模态技术的产业化落地，打开了全新的技术空间。

参考资料

[1] [论文评述] LaCo: Efficient Layer-wise Compression of Visual Tokens for Multimodal Large Language Models https://www.themoonlight.io/zh/review/laco-efficient-layer-wise-compression-of-visual-tokens-for-multimodal-large-language-models

[2] [Nature 2026]AFLoc:一种用于通用无标注病理局部定位的多模态视觉‑语言模型 - 技术栈 https://jishuzhan.net/article/2014885051176632322

[3] Vision–Language Foundation Models and Multimodal Large Language Models: A Comprehensive Survey of Architectures, Benchmarks, and Open Challenges https://www.preprints.org/frontend/manuscript/90bd6f2f85f3b870243bd553df83190f/download_pub

[4] Towards Mitigating Modality Bias in Vision-Language Models for Temporal Action Localization https://arxiv.org/html/2601.21078v2

[5] [论文笔记ALBEF]Align before Fuse: Vision and Language Representation Learning with Momentum Distillation_albef论文-CSDN博客 https://blog.csdn.net/dezwb/article/details/155080229

[6] 【多模态论文解读】Align before Fuse: Vision and Language Representation Learning with Momentum Distillation-CSDN博客 https://blog.csdn.net/weixin_43427721/article/details/130140272

[7] MultiHateLoc: Towards Temporal Localisation of Multimodal Hate Content in Online Videos https://arxiv.org/html/2512.10408v1/

[8] DiaLoc: An Iterative Approach to Embodied Dialog Localization https://openaccess.thecvf.com/content/CVPR2024/papers/Zhang_DiaLoc_An_Iterative_Approach_to_Embodied_Dialog_Localization_CVPR_2024_paper.pdf

[9] 达摩院研究登Nature:AI首次实现中国风光发电普查 - 智东西快讯 https://m.zhidx.com/news/43046.html

[10] AtLoc: Attention Guided Camera Localization https://arxiv.org/pdf/1909.03557v2.pdf

[11] AnyLoc: Towards Universal Visual Place Recognition

https://anyloc.github.io/ https://arxiv.org/pdf/2308.00688v1.pdf

[12] 梁文锋 带 Deep Seek 论文 登上 Nature 封面 ！ 过去 ， 很多 人 觉得 中国 AI 只会 在 国外 开源 模型 的 基础 上 做 二 次 开发 ， 但 Deep Seek 用 一篇 顶 刊 论文 证明 ： 中国 团队 能 在 AI 基础 理论 、 核心 算法 上 也 做出 世界级 的 创新 。

# 2025 开学 季 # AI 新星 计划 # 开学 的 精选 # Deep https://www.iesdouyin.com/share/video/7551782330956811555

[13] [论文评述] OneLoc: Geo-Aware Generative Recommender Systems for Local Life Service https://www.themoonlight.io/zh/review/oneloc-geo-aware-generative-recommender-systems-for-local-life-service

[14] 最完整LocalAI模型性能基准测试指南:客观评估AI能力的终极方案-CSDN博客 https://blog.csdn.net/gitblog_00151/article/details/152102132

[15] How to make socio-environmental modelling more useful to support policy and management? https://besjournals.onlinelibrary.wiley.com/doi/full/10.1002/pan3.10207

[16] 自然（Nature）机器智能子刊：多智能体系统中的高效决策与去中心化强化学习的应用 https://www.51cto.com/aigc/2110.html

[17] 大模型学习笔记------BLIP模型详解与思考-CSDN博客 https://blog.csdn.net/guzhao9901/article/details/143581988

[18] 多模态论文笔记——CLIP、BLIP_clip blip-CSDN博客 https://blog.csdn.net/haopinglianlian/article/details/144919852

[19] 多模态大模型大比拼:CLIP、BLIP 系列、LLaVA、miniGPT4 谁更胜一筹?-AI.x-AIGC专属社区-51CTO.COM https://www.51cto.com/aigc/5211.html

[20] 深度 对决 ： 多 模态 AI 的 两大 始祖 ： CLIP vs BLIP # 人工 智能 # 科普 一下 # deep seek 谁 开发 的 # 抖音 热点 记忆 2025 # 抖音 合集 升级 计划 在 多 模态 AI 的 江湖 里 ， CLIP 是 那个 打破 天花板 的 “ 开山 鼻祖 ” ， 它 让 计算机 第一 次 真正 “ 看懂 ” 了 图片 和 文字 的 关联 。

但 技术 https://www.iesdouyin.com/share/video/7583699522447002886

[21] [深度学习] 大模型学习7-多模态大模型全景解析_落痕的寒假的技术博客_51CTO博客 https://blog.51cto.com/luohenyueji/14531110

[22] BLIP/BLIP-2模型全解析_blip2-CSDN博客 https://blog.csdn.net/weixin_43114209/article/details/143665931

[23] Advancing Vision-Language Models with Generative AI https://www.preprints.org/manuscript/202502.0143

[24] BLIP Model Explained: How It’s Revolutionizing Vision-Language Models in AI https://ml-digest.com/blip-bootstrapping-language-image-pre-training/

[25] 多模态大模型实际应用场景 https://blog.csdn.net/Jailman/article/details/148955087

[26] 多模态模型应用实践：图像文本融合的业务场景 https://blog.51cto.com/u_16104640/14736793

[27] 颠覆现有多模态AI!智源悟界Orca:AI终于能在脑海推演真实世界_产品视界 http://m.toutiao.com/group/7660325774222524928/

[28] 我国 发布 全球 首个 全 模态 大模型 “ 紫东 太初 2 . 0 ” 开启 多 模态 AI 新时代 https://www.iesdouyin.com/share/video/7500506716761804043

[29] 大模型联网搜索能否处理多模态数据?-腾讯云开发者社区 https://cloud.tencent.com/developer/techpedia/2562/20126

[30] MiMo-V2.5 多模态应用落地实战指南-CSDN博客 https://blog.csdn.net/zkw54334/article/details/161830816

[31] 大模型在垂直行业落地深度案例:对话、多模态与视频生成模型的行业赋能实践_菜鸟不学编程的技术博客_51CTO博客 https://blog.51cto.com/u_16017663/14649985

[32] AI 越来越 “像人”?多模态技术揭秘:6 大落地场景，通用智能触手可及-CSDN博客 https://blog.csdn.net/2501_94034771/article/details/155452762

[33] 视觉模型常见评估指标详解-CSDN博客 https://blog.csdn.net/weixin_64388392/article/details/162831083

[34] 机器学习常用评价指标 - 技术栈 https://jishuzhan.net/article/1920918717316321282

[35] 医学影响分割性能常用指标(用于病灶检测)_95%hd-CSDN博客 https://blog.csdn.net/qq_45847855/article/details/135605681

[36] From CNN to Transformer: A Review of Medical Image Segmentation Models https://pmc.ncbi.nlm.nih.gov/articles/PMC11300773/

[37] 语义分割评估指南:从mIoU到前沿指标全解析-CSDN博客 https://blog.csdn.net/qq_64296768/article/details/157128800

[38] CRANet:舌象图像分割与分类网络 https://journal.ecust.edu.cn/cn/article/doi/10.14135/j.cnki.1006-3080.20240925001

[39] Pixel level deep reinforcement learning for accurate and robust medical image segmentation https://pmc.ncbi.nlm.nih.gov/articles/PMC11894052/

[40] A Survey on Performance Metrics for Object-Detection Algorithms https://raw.githubusercontent.com/rafaelpadilla/Object-Detection-Metrics/master/paper_survey_on_performance_metrics_for_object_detection_algorithms.pdf

[41] 低拒稿率+跨学科！学前教育SSCI推荐！。01《Early Childhood Research Quarterly》

分区：1区 影响因子：3.1

.

02《Early Education an https://www.iesdouyin.com/share/video/7650838132270599487

[42] 五本较易投稿的医学期刊推荐 https://www.iesdouyin.com/share/video/7548303078509186340

[43] 🔥医学图像也能做分割Anything？。📌这篇 Nature Communications 2024 的 MedSAM，很适合做 AI+医疗图像交叉研究选题参考。

⚠️原版 SAM 在自然图像里很强， https://www.iesdouyin.com/share/video/7651310084248603942

[44] LLM-Guided Diagnostic Evidence Alignment for Medical Vision–Language Pretraining under Limited Pairing https://arxiv.org/html/2602.07540v1

[45] How Does Diverse Interpretability of Textual Prompts Impact Medical Vision-Language Zero-Shot Tasks? https://arxiv.org/html/2409.00543v1

[46] BenchX: A Unified Benchmark Framework for Medical Vision-Language Pretraining on Chest X-Rays https://arxiv.org/html/2410.21969

[47] XBench: A Comprehensive Benchmark for Visual-Language Explanations in Chest Radiography https://arxiv.org/html/2510.19599

[48] LLaVA-RadZ: Can Multimodal Large Language Models Effectively Tackle Zero-shot Radiology Recognition? https://arxiv.org/html/2503.07487v2

[49] A multi-modal vision-language model for generalizable annotation-free pathology localization https://arxiv.org/html/2401.02044v7

[50] [Nature 2026]AFLoc:一种用于通用无标注病理局部定位的多模态视觉‑语言模型_语言模型_cskywit-DAMO开发者矩阵 https://damodev.csdn.net/6972c1faa16c6648a9846627.html

[51] FLoC: Facility Location-Based Efficient Visual Token Compression for Long Video Understanding https://openreview.net/forum?id=tPhcrP75OP

[52] DisCo-FLoc: Using Dual-Level Visual-Geometric Contrasts to Disambiguate Depth-Aware Visual Floorplan Localization https://arxiv.org/html/2601.01822v1/

[53] FloCA: Towards Faithful and Logically Consistent Flowchart Reasoning https://arxiv.org/html/2602.14035v1

[54] A structure–function based approach to floc hierarchy and evidence for the non-fractal nature of natural sediment flocs https://www.researchgate.net/publication/353070215_A_structure-function_based_approach_to_floc_hierarchy_and_evidence_for_the_non-fractal_nature_of_natural_sediment_flocs

[55] Title:FLoC: Facility Location-Based Efficient Visual Token Compression for Long Video Understanding https://arxiv.org/abs/2511.00141

[56] 论文详情 https://modelscope.cn/papers/256932

[57] Multi-modal vision-language model for generalizable annotation-free pathology localization and clinical diagnosis https://arxiv.org/html/2401.02044v4

[58] FLoC: Facility Location-Based Efficient Visual Token Compression for Long Video Understanding https://openreview.net/forum?id=tPhcrP75OP

[59] AFLoc:告别手工标注!多模态视觉-语言模型实现跨模态“零标注“病灶定位，34种胸部疾病检测超越人类专家-CSDN博客 https://blog.csdn.net/weixin_50216224/article/details/162663267

[60] FiLo++: Zero-/Few-Shot Anomaly Detection by Fused Fine-Grained Descriptions and Deformable Localization https://arxiv.org/html/2501.10067

[61] [Nature 2026]AFLoc:一种用于通用无标注病理局部定位的多模态视觉‑语言模型_语言模型_cskywit-DAMO开发者矩阵 https://damodev.csdn.net/6972c1faa16c6648a9846627.html

[62] ICML 2026|文生图模型也会「忘词」?复旦创智等提出Prompt Reinjection，无需训练提升文生图指令遵循能力 https://www.aitntnews.com/newDetail.html?newId=25984

[63] Title:FLoC: Facility Location-Based Efficient Visual Token Compression for Long Video Understanding https://arxiv.org/abs/2511.00141

[64] A Survey on Vision-Language Models for Multimodal Federated Learning Tasks https://www.techrxiv.org/doi/pdf/10.36227/techrxiv.175624545.56457516/v2?download=true&redirectToLatest=false

[65] IF15.1这篇高分Meta，凭啥更严谨？ 2026年3月，韩国延世大学团队在《npj Digital Medicine》（IF=15.1）发表重磅研究，系统分析了39项高质量试验。研究发现，聊天机器 https://www.iesdouyin.com/share/video/7639304764735695973

[66] 生物医学领域六本高影响力SCI期刊推荐 https://www.iesdouyin.com/share/video/7423751207090523432

[67] IF15.7！中国学者“转录组+单细胞测序”双Buff叠加，高分发文《Nature》子刊！ #生信分析#单细胞测序#SCI论文解读#科研干货#eQTL分析 https://www.iesdouyin.com/share/video/7656003398843675066

[68] FLoC: Facility Location-Based Efficient Visual Token Compression for Long Video Understanding https://arxiv.org/html/2511.00141v1

[69] Multimodal Self-supervised Learning for Lesion Localization https://arxiv.org/html/2401.01524v1

[70] MedKLIP: Medical Knowledge Enhanced Language-Image Pre-Training https://www.researchgate.net/publication/366902726_MedKLIP_Medical_Knowledge_Enhanced_Language-Image_Pre-Training

[71] Decomposing Disease Descriptions for Enhanced Pathology Detection: A Multi-Aspect Vision-Language Pre-training Framework https://arxiv.org/html/2403.07636v4/

[72] How Does Diverse Interpretability of Textual Prompts Impact Medical Vision-Language Zero-Shot Tasks? https://arxiv.org/html/2409.00543v1

（注：文档部分内容可能由 AI 生成）