一、前言

传统YOLO（YOLOv8/YOLO11）属于闭集检测，只能识别训练集中预定义类别，无人机航拍、工业巡检等场景经常出现未知目标，无法零样本识别。

YOLO-World、YOLOE是基于YOLO架构的实时开放词汇目标检测模型，支持文本自定义类别零样本检测，无需重新训练即可识别任意新物体，完美适配无人机航拍、边缘嵌入式部署场景。

二、YOLO-World 完整解析

2.1 基础信息

论文：YOLO-World: Real-Time Open-Vocabulary Object Detection（2024）

主干：YOLOv8 Darknet 骨干网络

核心定位：纯文本提示实时开放集检测，CNN轻量化开放词汇基线模型

2.2 整体网络架构

三大核心模块：

1.视觉检测分支

YOLOv8原生Backbone+PAN多尺度特征金字塔，提取图像多尺度特征，负责小目标、大目标分层特征提取，支持S/M/L/X轻量化多尺度模型。

2.CLIP文本编码分支

固定预训练CLIP Transformer文本编码器，推理时输入文本prompt，转换为文本语义嵌入向量。

3.RepVL-PAN 跨模态融合模块（核心创新）

可重参数化视觉语言融合网络，使用T-CSP层融合图像、文本特征，采用区域-文本对比损失，让图像目标区域特征与对应文本语义向量空间对齐。

2.3 推理两种模式

1.在线推理（动态文本）

每次推理实时运行CLIP编码器，适合频繁更换检测类别场景；缺点：边缘设备推理额外占用显存、增加延迟。

2.离线词汇重参数推理

提前编码固定场景类别文本嵌入，重参数融合进网络权重，推理时无需加载CLIP，速度提升，但无法动态更换类别。

2.4 YOLO-World 优缺点

优势

1. 纯CNN架构，相比GLIP、Grounding DINO等Transformer开放集模型速度大幅提升；

2. 基于成熟YOLOv8，上手简单，微调门槛低；

3. 支持离线重参数，固定场景可实现接近原生YOLO推理速度。

缺陷

1.仅支持文本提示，无视觉参考图检测、无内置通用词汇模式；

2. 在线推理必须携带完整CLIP文本分支，RK3588等边缘板显存占用高、帧率暴跌；

3. 仅支持目标检测，无实例分割能力；

4. 零样本小目标精度较差，无人机远距离微小目标漏检严重；

5. 训练资源消耗大，小规模航拍数据集微调收敛慢。

2.5 极简推理代码（Ultralytics）

from ultralytics import YOLOWorld # 加载预训练模型 model = YOLOWorld("yolo-world-l.pt") # 自定义检测类别 classes = ["drone", "bird", "power line", "car"] model.set_classes(classes) # 图片推理 results = model.predict("uav_image.jpg", conf=0.25) results[0].show()

三、YOLOE完整解析

3.1 基础信息

论文：YOLOE: Real-Time Seeing Anything（ICCV2025 CCF A类）

主干：兼容YOLOv8/YOLO11轻量化主干

核心定位：统一多提示开放词汇检测+分割一体化模型，专为边缘设备优化，YOLO-World迭代升级版

3.2 三大核心创新（碾压YOLO-World）

1.RepRTA 可重参数化区域文本对齐

解决YOLO-World推理携带CLIP的算力开销问题：

训练阶段：完整CLIP编码文本，轻量化MLP学习文本嵌入映射；

重参数融合：推理时将文本分支权重合并进标准检测头；

推理零额外开销：推理阶段无独立文本编码器，速度和原生YOLO11完全一致，显存占用降低40%以上，完美适配RK3588嵌入式。

2.三种全场景提示模式（YOLO-World仅支持文本）

1.文本Prompt：输入任意文字自定义目标（同YOLO-World）；

2.视觉Prompt：上传参考图片框选目标，检测画面同类物体；

3.无Prompt内置词汇：内置1200+通用类别，无需输入文本直接识别画面所有物体。

3.检测+实例分割一体化

单模型同时输出目标框+像素级掩码，无需额外分支，无人机航拍目标分割、轮廓提取一步完成。

3.3 YOLOE 性能指标对比

3.4 YOLOE 优缺点

优势

1. 推理无CLIP额外开销，轻量化模型可在RK3588实时跑无人机视频流；

2. 三种提示模式，适配航拍未知小目标、巡检多场景；

3. 检测+分割一体，单模型完成多任务；

4. ICCV顶会工作，论文创新度更高，适合ICASSP投稿；

5. 小目标零样本识别能力更强，远距离航拍物体漏检更少。

缺陷

1. 论文发布时间较新，开源生态成熟度略低于YOLO-World；

2. 复杂多文本混合提示微调需要少量数据集。

3.5 YOLOE 极简推理代码

from ultralytics import YOLOE # 加载YOLOE轻量化模型 model = YOLOE("yoloe11-s.pt") # 模式1：文本提示（无人机航拍目标） model.set_prompt_text(["small bird", "transmission tower", "vehicle"]) res = model("uav_view.jpg") res[0].show() # 模式2：无内置词汇，自动识别画面所有物体 # model.set_prompt_free() # 模式3：视觉参考图提示 # model.set_prompt_image("reference_target.jpg")

四、YOLO-World vs YOLOE 全方位对比表

五、无人机小目标+边缘部署选型建议

1.做ICASSP论文、嵌入式无人机检测项目：优先选择YOLOE

重参数化推理无额外算力损耗，NPU加速后帧率数据更有说服力；

内置分割、多提示模式，可创新航拍小目标多尺度融合、频域降噪优化；

ICCV顶会模型，对比SOTA时创新优势明显，审稿人认可度更高。

2.仅做固定类别文本检测、不涉及边缘硬件部署：可选YOLO-World

仅适合PC端离线图片处理，不推荐无人机实时航拍场景。

六、总结

1. YOLO-World是第一代实时开放词汇YOLO，实现基础文本零样本检测，但存在推理开销大、功能单一、边缘部署困难等硬伤；

2. YOLOE作为迭代升级版，通过RepRTA重参数化解决推理算力痛点，新增视觉提示、实例分割、内置词汇三大能力，精度、速度、部署友好度全面超越YOLO-World；

3. 针对无人机嵌入式小目标检测、ICASSP信号/硬件加速类论文，YOLOE是最优基线模型，YOLO-World仅作为对比实验对照组使用。