1. 项目概述

在工业4.0和智能制造的大背景下，车辆零部件的质量检测正经历着从人工目检向自动化、智能化检测的转型。传统人工检测方式存在效率低、主观性强、成本高等问题，而基于深度学习的机器视觉技术为解决这些问题提供了新的可能性。

本项目开发的车辆零部件表面缺陷检测系统，采用YOLOv11目标检测算法结合强化学习预处理技术，实现了在复杂工业环境下的高精度缺陷识别。系统主要特点包括：

• 平均单图检测时间50ms左右
• 支持12种常见缺陷类型识别
• 具备缺陷分级（重度/中度/轻度）功能
• 集成图像分割技术精确定位缺陷
• 提供完整的检测报告生成功能

2. 系统架构设计

2.1 整体架构

系统采用模块化设计，主要包含三个核心模块：

1. 图像预处理模块：基于RELLIE模型，负责处理不同光照条件下的输入图像
2. 缺陷检测模块：采用YOLOv11模型，实现缺陷检测与分割
3. 用户界面模块：基于PyQt5开发，提供完整的操作界面和报告生成功能

系统工作流程如下：

1. 摄像头/图像输入
2. 图像预处理（光照调整、噪声消除等）
3. 缺陷检测与分割
4. 结果可视化与报告生成

2.2 技术选型考量

选择YOLOv11作为核心检测算法主要基于以下考虑：

• 实时性需求：相比两阶段检测器（如Faster R-CNN），YOLO系列具有更快的推理速度
• 精度平衡：YOLOv11在保持较高检测精度的同时，模型体积相对较小
• 工业适配性：支持ONNX格式，便于工业部署

预处理选用RELLIE模型的原因：

• 产线环境光照条件复杂多变
• 需要处理金属件反光、阴影等问题
• 强化学习能自适应不同光照场景

3. 数据集构建与处理

3.1 数据集概况

项目构建了包含25个类别、总计48765张图像的专业数据集，主要覆盖以下缺陷类型：

• 表面划痕
• 磨损
• 尺寸偏差
• 装配错位

数据集来源包括：

• 东北大学专业采集
• Kaggle公开数据集
• 实际产线采集样本

3.2 标注规范与工具

采用Labelme进行数据标注，主要考虑因素：

1. 标注类型：使用多边形标注精确勾勒缺陷轮廓
2. 标签格式：保存为JSON文件，便于后续处理
3. 质量控制：
   • 每张图像由两名标注员独立完成
   • 设置标注一致性检查机制
   • 定期进行标注质量抽查

标注过程中特别注意：

• 对于微小缺陷（<5像素），采用放大标注方式
• 复杂背景下的缺陷需要完整标注可见部分
• 反光区域需区分真实缺陷与光学假象

4. 模型训练与优化

4.1 YOLOv11模型配置

基于官方实现进行以下改进：

# 模型配置示例 model = YOLOv11( backbone='CSPDarknet53', neck='PANet', head='YOLOv11Head', input_size=(640, 640), num_classes=25, anchors=[[10,13], [16,30], [33,23],...] ) # 训练参数 optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4) scheduler = CosineAnnealingLR(optimizer, T_max=100) loss_fn = YOLOv11Loss( box_loss_weight=0.05, cls_loss_weight=0.5, obj_loss_weight=1.0 )

关键训练技巧：

• 采用Mosaic数据增强提升小目标检测能力
• 使用CIoU Loss改进边框回归精度
• 引入标签平滑处理类别不平衡问题

4.2 预处理模块实现

RELLIE预处理模块主要处理以下场景：

1. 低光照增强：提升暗区细节可见性
2. 高光抑制：降低金属反光干扰
3. 阴影消除：避免阴影被误检为缺陷

预处理效果对比：

5. 系统实现细节

5.1 用户界面设计

采用PyQt5实现跨平台GUI，主要界面包括：

1. 登录/注册界面：

   • 基于QHBoxLayout和QVBoxLayout构建
   • 实现用户权限管理功能

2. 主操作界面：

   • 实时视频显示区域
   • 检测结果可视化面板
   • 参数调节控件组
   • 历史记录查询功能

3. 报告生成界面：

   • 支持CSV格式导出
   • 包含缺陷统计图表
   • 可生成PDF格式总结报告

5.2 核心功能实现

实时检测流程

def detect_process(frame): # 图像预处理 processed = preprocessor.process(frame) # 缺陷检测 detections = detector.detect(processed) # 结果后处理 results = postprocessor.process(detections) # 可视化 visualized = visualizer.draw_results(frame, results) return visualized, results

报告生成逻辑

1. 数据收集：整理检测结果元数据
2. 统计分析：计算缺陷分布、频率等
3. 可视化：生成直方图、饼图等
4. 报告组装：使用python-docx构建完整文档

6. 性能评估与优化

6.1 关键性能指标

6.2 实际应用效果

在产线测试中，系统表现出以下优势：

• 检测一致性达98.7%，远高于人工检测的85%
• 平均每个零部件的检测成本降低60%
• 缺陷漏检率从人工的5%降至0.8%

典型问题及解决方案：

1. 金属反光干扰：

   • 增加偏振滤镜
   • 优化预处理算法参数

2. 微小缺陷漏检：

   • 采用多尺度检测策略
   • 提升小目标样本比例

3. 类别混淆：

   • 改进损失函数权重
   • 增加困难样本挖掘

7. 部署与使用指南

7.1 环境配置建议

硬件要求：

• GPU：NVIDIA GTX 1660及以上
• CPU：4核以上
• 内存：16GB以上

软件依赖：

# 核心依赖 pip install torch==1.12.1+cu113 -f https://download.pytorch.org/whl/torch_stable.html pip install opencv-python==4.5.5.64 pip install PyQt5==5.15.7

7.2 典型部署方案

1. 单机部署：

   • 适用于小型产线
   • 直接运行python主程序
   • 连接工业相机或图像源

2. 服务器+终端部署：

   • 模型部署在服务器
   • 多个终端通过API调用
   • 支持分布式检测

3. 嵌入式部署：

   • 使用TensorRT加速
   • 部署在Jetson等边缘设备
   • 适合移动检测场景

8. 扩展与改进方向

在实际应用中，可以考虑以下优化方向：

1. 模型轻量化：

   • 尝试YOLOv11-tiny版本
   • 使用模型剪枝/量化技术

2. 多模态检测：

   • 结合红外成像
   • 增加3D点云数据

3. 产线集成：

   • 与MES系统对接
   • 开发PLC控制接口

4. 持续学习：

   • 建立在线更新机制
   • 支持增量学习新缺陷

从工程实践角度看，有几个值得注意的经验：

1. 工业现场的光照条件可能比预期更复杂，建议部署前进行充分的环境测试
2. 对于高反光零部件，机械结构调整（如相机角度）有时比算法优化更有效
3. 模型在实际产线中的表现可能与测试环境有差异，需要建立持续监控机制