三亩地 三亩地SAN MU DI · CODE DIARY
交流投稿
ARTICLE DETAIL

日记详情

真实记录编程学习的某一天，欢迎挑你感兴趣的翻一翻。

首页/学习日记/日记详情

基于YOLO的交通信号灯检测：从数据到网页部署的完整实践

发布时间：2026/8/7 5:59:23 三亩地 编程学习日记
基于YOLO的交通信号灯检测：从数据到网页部署的完整实践

1. 项目概述：从“看见”到“理解”的交通感知革命

在智能交通系统（ITS）的宏大版图中，交通信号灯的自动检测与识别是一个看似基础、实则至关重要的“卡脖子”环节。无论是自动驾驶车辆的环境感知、交通流量监控，还是辅助驾驶系统的安全预警，准确、实时地“看懂”信号灯的状态，是实现车路协同、提升道路安全与效率的基石。传统的计算机视觉方法，如基于颜色阈值分割或形状模板匹配，在光照变化、天气干扰、遮挡以及复杂城市背景面前，往往显得力不从心，鲁棒性严重不足。这正是深度学习，特别是以YOLO系列为代表的目标检测算法大显身手的舞台。

这个项目——“基于深度学习的交通信号灯检测系统（网页版+YOLOv8/v7/v6/v5代码+训练数据集）”，正是为了解决这一核心痛点而生。它不仅仅是一个算法演示，而是一套从数据到模型，再到最终可交互应用的完整工程解决方案。其核心价值在于，它封装了从模型训练、评估到部署的完整链路，并提供了网页前端界面，使得非专业开发者也能直观地体验和测试信号灯检测的效果。通过集成YOLOv5到v8等多个主流版本，项目为研究者和工程师提供了横向对比与选型的便利，而附带的训练数据集则大大降低了入门和复现的门槛。

简单来说，这个项目能做什么？它能接收一张图片或一段视频流，自动定位画面中所有交通信号灯的位置（用边界框标出），并精确识别其当前状态：红灯、绿灯、黄灯，或是其他特定标识（如转向灯）。其输出的结果可以直接用于下游任务，例如控制自动驾驶车辆的启停、分析路口通行效率、或为交通管理平台提供实时数据。无论是计算机视觉的初学者想亲手训练一个模型，还是嵌入式开发者寻求轻量级部署方案，亦或是交通领域的研究人员需要一套可靠的基准测试工具，这个项目都提供了一个极佳的起点和参考框架。

2. 系统核心架构与设计思路拆解

2.1 为什么选择YOLO系列作为检测核心？

在目标检测的众多算法中，从早期的R-CNN系列到后来的SSD、RetinaNet，YOLO（You Only Look Once）以其独特的“单阶段”（one-stage）设计和卓越的速度-精度平衡，在工业界获得了压倒性的青睐。对于交通信号灯检测这一要求实时性高、目标相对规整的任务，YOLO的优势尤为明显。

核心优势分析：

  1. 实时性：YOLO将目标检测视为一个回归问题，单次前向传播即可预测所有目标的边界框和类别，其推理速度远超两阶段检测器（如Faster R-CNN）。在车载或边缘计算设备上，每秒数十甚至上百帧的处理能力是基本要求。
  2. 全局上下文理解：YOLO在做出预测时会“看”到整张图片，这有助于避免基于滑动窗口或区域提议的方法可能产生的局部误判。对于信号灯检测，这能有效减少因车辆局部反光、树叶遮挡部分灯体而导致的漏检或错检。
  3. 架构的持续演进：从YOLOv5的易用性和工程化完善，到YOLOv6针对工业场景的深度优化，再到YOLOv7在精度上的新突破，以及YOLOv8引入的锚框（Anchor-Free）设计和更灵活的模型结构，该系列始终保持活力。本项目集成多版本，正是为了让使用者能根据自身对精度、速度、模型大小的需求，做出最合适的选择。

版本选型考量：

  • YOLOv5：社区生态最成熟，资料最丰富，部署工具链（如ONNX, TensorRT, CoreML）支持最好，是快速原型开发和工业部署的“安全牌”。
  • YOLOv6：由美团团队推出，在Backbone和Neck设计上做了大量优化，在相近精度下往往有更快的推理速度，特别适合对实时性要求苛刻的嵌入式平台。
  • YOLOv7：在COCO等通用数据集上达到了新的SOTA（State-Of-The-Art）精度，其提出的“可训练的bag-of-freebies”策略，在不增加推理成本的情况下提升了性能。若你的数据集场景复杂，对精度有极致追求，v7是很好的选择。
  • YOLOv8：Ultralytics公司的最新力作，采用了锚框（Anchor-Free）检测头，简化了训练流程（无需聚类先验锚框），并提供了更清晰的代码结构和更丰富的任务支持（检测、分割、分类、姿态估计）。对于新项目，从v8开始学习曲线可能更平滑。

注意：版本并非越新越好。v8的锚框设计可能在某些小目标密集场景下需要调整训练策略；v5的庞大社区意味着遇到任何问题都更容易找到解决方案。选择时务必结合你的硬件条件、精度要求和部署环境综合判断。

2.2 网页版前端：模型能力的“展示橱窗”与“测试平台”

一个只有命令行交互的模型，其价值和应用范围是受限的。本项目提供的网页版前端，利用如Flask、FastAPI或Streamlit等轻量级Web框架搭建，实现了以下关键价值：

  1. 降低使用门槛：用户无需安装复杂的Python环境或理解命令行参数，通过浏览器上传图片/视频，点击按钮即可看到检测结果，极大提升了模型的易用性和可展示性。
  2. 实现交互式调试：前端可以设计参数调节面板，例如调整模型置信度阈值（confidence threshold）和NMS（非极大值抑制）阈值。开发者可以实时观察不同参数下检测结果的变化，快速找到最优配置。
  3. 支持多样化输入/输出：除了静态图片，前端可以集成实时摄像头视频流处理、视频文件上传检测，以及将结果以JSON格式导出，方便与其他系统（如车辆控制系统、交通管理平台）进行集成。
  4. 模型A/B测试：可以设计前端同时加载v5、v8等多个训练好的模型，对同一张图片进行并行推理和结果对比，直观展示不同版本模型的性能差异，辅助选型决策。

技术栈选择建议：

  • 后端：推荐使用FastAPI。它比Flask异步性能更好，自动生成交互式API文档（Swagger UI），非常适合构建需要高效处理请求的AI服务接口。
  • 前端：可以使用简单的HTML+JavaScript，或者基于Vue.js/React构建更丰富的交互界面。对于快速原型，Streamlit是另一个绝佳选择，它允许你完全用Python脚本构建数据应用，开发效率极高。
  • 通信：前端通过HTTP POST请求将图片（Base64编码或表单文件）发送到后端API。后端加载YOLO模型进行推理，将检测结果（边界框坐标、类别、置信度）序列化为JSON返回，前端再用Canvas绘制边界框和标签。

2.3 训练数据集：模型效果的“天花板”

在深度学习中，数据质量在很大程度上决定了模型性能的上限。一个针对交通信号灯的优质数据集需要解决以下挑战：

  1. 场景多样性：必须涵盖白天、夜晚、黄昏、黎明、晴天、阴雨、雾天、雪天等不同光照和天气条件。信号灯在逆光、强光照射下的成像效果截然不同。
  2. 视角与距离多样性：包含远、中、近景，以及正对、侧对、仰视、俯视等多种拍摄角度。自动驾驶车辆的前置摄像头与路口监控摄像头的视角差异巨大。
  3. 目标状态完整性：不仅要包含红、绿、黄三色圆形信号灯，还应涵盖行人信号灯、倒计时显示器、箭头转向灯等，并且要区分灯是亮起（激活）状态还是熄灭状态。
  4. 标注质量与一致性：边界框（Bounding Box）应紧密贴合信号灯外壳，类别标签准确无误。对于部分遮挡或模糊的目标，也需要进行标注，并可以引入“困难样本”（difficult）标签。

本项目所提供数据集的价值：它节省了研究者最耗时费力的数据收集和标注工作。一个典型的优质信号灯数据集（如TTL100K、Bosch Small Traffic Lights Dataset或自建数据集）应包含数万张精细标注的图片。项目提供的数据集很可能已经过清洗和标准化处理（如统一为YOLO格式的txt标注文件），使用者可以直接用于模型训练，快速验证算法在本任务上的可行性。

数据格式解析（YOLO格式）： 每个图片对应一个同名的.txt标注文件。文件中每一行代表一个目标，格式为：<class_id> <x_center> <y_center> <width> <height>。

  • class_id: 类别索引（如0: red, 1: green, 2: yellow）。
  • x_center, y_center: 边界框中心点的归一化坐标（除以图片宽度和高度）。
  • width, height: 边界框的归一化宽高。 这种格式简洁高效，是YOLO系列的标准输入。

3. 核心模块深度解析与实操要点

3.1 数据预处理与增强策略：打造模型的“火眼金睛”

直接使用原始数据训练模型往往效果不佳。数据预处理和增强是提升模型泛化能力、防止过拟合的关键步骤，对于交通信号灯这种小目标、易受环境干扰的任务尤为重要。

标准化预处理流程：

  1. 图像尺寸统一：YOLO模型通常要求输入尺寸为固定大小（如640x640）。需要使用保持长宽比的填充（Padding）或直接拉伸（Resize）将图片调整至目标尺寸。对于信号灯检测，建议使用灰条填充（Letterbox）的方式，即在图片周围添加灰色像素，以避免直接拉伸导致小目标变形失真。
  2. 归一化（Normalization）：将像素值从0-255缩放到0-1之间，或进行减均值除标准差的操作。这有助于加速模型收敛，提升训练稳定性。
  3. 标注文件同步转换：对图片进行几何变换（如缩放、裁剪）时，其对应的边界框坐标必须进行完全同步的数学变换，确保标注始终准确对应图像内容。

针对性的数据增强（Data Augmentation）：通用增强（如随机翻转、旋转、裁剪）之外，必须引入针对交通场景的特殊增强：

  • Mosaic增强：将四张训练图片随机拼接成一张。这能极大地丰富单张图片的背景和上下文，让模型在单次迭代中学习到更多样化的场景，对小目标检测效果提升显著。
  • MixUp增强：以一定比例混合两张图片及其标签。这可以看作是一种正则化手段，能提高模型的鲁棒性。
  • 色彩空间扰动：随机调整图像的亮度、对比度、饱和度和色调（Hue）。这是模拟不同天气和光照条件的核心手段。例如，降低亮度并添加噪声可以模拟夜晚场景；调整色调可以模拟不同色温的路灯照明。
  • 模拟遮挡：随机在图像上添加灰色方块或模拟雨滴、污渍的噪声。这能提升模型对部分遮挡信号灯的检测能力。

实操心得：增强强度需要谨慎调节。过强的色彩扰动可能让红灯变成橙色，导致标签错误；过度的Mosaic可能让原本清晰的目标变得过小。建议在训练初期使用中等强度的增强组合，通过验证集精度来反馈调整。YOLOv5/v8的配置文件（如data.yaml和hyp.yaml）中都有详细的增强参数，可以从默认值开始微调。

3.2 模型训练的超参数调优艺术

训练一个YOLO模型不仅仅是运行train.py那么简单，超参数的设置直接影响最终模型的性能。

学习率（Learning Rate）：这是最重要的超参数。过大导致训练震荡甚至发散，过小则收敛缓慢。YOLO通常使用余弦退火（Cosine Annealing）或带热重启（Warmup）的调度策略。

  • Warmup：在训练初期（如前3个epoch）使用一个非常小的学习率线性增长到初始学习率。这有助于稳定训练初期不稳定的梯度。
  • 余弦退火：学习率随着训练过程，像余弦曲线一样从最大值下降到接近零。这有助于模型在训练后期更精细地收敛到最优解附近。

批次大小（Batch Size）：受GPU内存限制。在内存允许的情况下，使用较大的批次大小（如16, 32）有助于训练更稳定，梯度估计更准确。如果只能使用小批次，可以适当累积梯度（Gradient Accumulation）来模拟大批次的效果。

优化器选择：YOLOv5/v8默认使用SGD with momentum。对于信号灯检测任务，这通常是个好选择，因为它最终收敛的模型泛化能力可能更好。也可以尝试AdamW（Adam with weight decay），它可能收敛更快，但需要仔细调整学习率和权重衰减参数，否则可能过拟合。

损失函数（Loss Function）：YOLO的损失一般由三部分组成：

  1. 边界框回归损失（Box Loss）：如CIoU Loss，同时考虑重叠面积、中心点距离和长宽比，比传统的IoU Loss更精准。
  2. 目标置信度损失（Obj Loss）：判断网格内是否有目标。
  3. 分类损失（Cls Loss）：判断目标属于哪个类别。 对于信号灯检测，由于目标相对规整且类别少，分类损失通常不是难点，重点应关注边界框回归的精度。可以观察训练日志中各项损失的下降曲线是否平滑。

关键调参步骤：

  1. 基线训练：使用默认超参数在数据集上训练一个基准模型。
  2. 分析验证集结果：使用模型在验证集上生成预测，可视化分析主要的错误类型：是漏检（Recall低）多，还是误检（Precision低）多？是边界框不准，还是类别分错？
  3. 针对性调整：
    • 如果漏检多：可能是模型对小目标不敏感。可以尝试减小模型下采样倍数（如将stride=32降低），或使用专门针对小目标设计的检测头（如YOLOv8的P2小目标层）。同时，可以增强数据中“困难样本”的权重。
    • 如果误检多：可能是背景复杂被误判为信号灯。可以尝试增加数据增强中的随机裁剪，让模型看到更多样的背景；或者在推理时提高置信度阈值。
    • 如果边界框不准：可以尝试调整损失函数中边界框损失的权重，或者使用更先进的IoU变种如EIoU、SIoU。

3.3 模型导出与跨平台部署考量

训练好的PyTorch模型（.pt文件）通常不能直接用于生产环境。我们需要将其转换为适合部署的格式。

1. 导出为ONNX格式ONNX（Open Neural Network Exchange）是一个开放的模型交换格式。将YOLO模型导出为ONNX是部署的第一步，因为它可以被多种推理引擎加载。

# YOLOv5 示例 python export.py --weights best.pt --include onnx --opset 12 # YOLOv8 示例 yolo export model=best.pt format=onnx opset=12
  • Opset版本：需确保与目标推理引擎兼容。opset 12是一个广泛支持的版本。
  • 动态维度：导出时可以指定输入图片尺寸为动态（如-1, 3, -1, -1），以便在推理时接受不同尺寸的输入，但某些后端引擎对动态尺寸支持不佳，固定尺寸（如1, 3, 640, 640）效率更高。
  • 简化ONNX模型：使用onnx-simplifier工具可以优化ONNX图结构，移除冗余操作，有时能提升推理速度。

2. 针对不同平台的优化

  • TensorRT (NVIDIA GPU)：这是NVIDIA平台性能优化的终极武器。将ONNX模型通过TensorRT的解析器转换为TensorRT引擎（.engine文件），可以利用层融合、精度校准（FP16/INT8）、内核自动调优等技术，获得数倍甚至数十倍的性能提升。INT8量化能进一步大幅提升速度，但需要校准数据集来减少精度损失。
  • OpenVINO (Intel CPU/GPU)：对于Intel的CPU或集成显卡，OpenVINO工具套件能提供最优性能。它同样支持模型优化、量化和异构计算。
  • CoreML (Apple Devices)：对于iOS/macOS部署，需要将模型转换为CoreML格式。可以使用coremltools库进行转换。
  • TensorFlow Lite (Android/边缘设备)：对于移动端和嵌入式设备，TFLite是标准格式。转换过程可能稍复杂，需要先将PyTorch模型转到ONNX，再转到TensorFlow，最后转为TFLite，或者寻找直接转换的工具链。

3. 网页后端部署优化在网页版系统中，模型推理是性能瓶颈。优化策略包括：

  • 模型轻量化：选择YOLO的较小变体（如YOLOv8n, YOLOv5s）。也可以使用剪枝（Pruning）、知识蒸馏（Knowledge Distillation）等技术进一步压缩模型。
  • 异步处理与队列：使用像Celery这样的任务队列，将耗时的推理任务放入后台 worker 处理，避免阻塞Web请求，提升用户体验。
  • GPU推理与批处理：如果服务器有GPU，务必使用GPU进行推理。并且，可以将短时间内收到的多个请求的图片组合成一个批次（Batch）进行推理，能极大提升GPU利用率和吞吐量。

4. 从零开始的完整实操流程

4.1 环境搭建与项目初始化

工欲善其事，必先利其器。一个稳定、可复现的环境是项目成功的基石。

步骤一：创建并激活Python虚拟环境强烈建议使用虚拟环境来隔离项目依赖，避免包冲突。

# 使用 conda (推荐，尤其对于PyTorch) conda create -n traffic_light_det python=3.8 conda activate traffic_light_det # 或使用 venv python -m venv traffic_light_det_env # Windows traffic_light_det_env\Scripts\activate # Linux/Mac source traffic_light_det_env/bin/activate

步骤二：安装PyTorch根据你的CUDA版本（nvidia-smi查看）去 PyTorch官网 获取安装命令。例如，对于CUDA 11.8：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

如果没有NVIDIA GPU，则安装CPU版本。

步骤三：克隆项目并安装依赖假设项目代码托管在GitHub上。

git clone <项目仓库地址> cd traffic_light_detection_system pip install -r requirements.txt

requirements.txt文件应包含所有必要依赖，如ultralytics(for YOLOv8),opencv-python,flask/fastapi,pillow等。如果项目未提供，你需要根据代码手动安装。

步骤四：准备数据集将项目提供的数据集解压，并按照YOLO格式组织目录。典型结构如下：

datasets/ └── traffic_lights/ ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/

然后，创建一个data.yaml配置文件，指明路径和类别：

# data.yaml path: ./datasets/traffic_lights # 数据集根目录 train: images/train # 训练集图片相对路径 val: images/val # 验证集图片相对路径 # 类别数 nc: 3 # 类别名称列表 names: ['red', 'green', 'yellow']

4.2 模型训练、验证与可视化分析

步骤一：启动训练以YOLOv8为例，训练命令非常简洁：

yolo train data=data.yaml model=yolov8n.pt epochs=100 imgsz=640 batch=16
  • model=yolov8n.pt: 使用预训练的YOLOv8nano权重初始化。yolov8s.pt,yolov8m.pt等对应更大更精确的模型。
  • epochs=100: 训练轮数。根据数据集大小调整，通常100-300轮。
  • imgsz=640: 输入图像尺寸。
  • batch=16: 批次大小，根据GPU内存调整。

训练开始后，控制台会打印损失曲线和评估指标。更重要的，训练过程会在runs/train/exp目录下生成大量可视化结果。

步骤二：监控训练过程

  • 损失曲线(results.png): 观察train/box_loss,train/cls_loss,val/box_loss等曲线是否平稳下降。如果验证集损失在后期上升，可能是过拟合。
  • 性能指标：关注metrics/precision(B),metrics/recall(B),metrics/mAP50(B),metrics/mAP50-95(B)。
    • mAP50: 在IoU阈值为0.5时的平均精度，是主要参考指标。
    • mAP50-95: 在IoU阈值从0.5到0.95（步长0.05）的平均值，是更严格的指标。
  • 验证集预测样本(val_batchX_labels.jpg&val_batchX_pred.jpg): 直接查看模型在验证集批次上的预测效果，与真实标签对比，直观发现模型存在的问题。

步骤三：模型验证与测试训练结束后，使用最佳模型（通常是runs/train/exp/weights/best.pt）在测试集上做最终评估：

yolo val model=runs/train/exp/weights/best.pt data=data.yaml

这会输出详细的评估报告，包括每个类别的精确率、召回率和mAP。

4.3 网页应用前后端集成实战

后端（FastAPI）核心代码示例：

from fastapi import FastAPI, File, UploadFile from fastapi.responses import JSONResponse, HTMLResponse from fastapi.staticfiles import StaticFiles import cv2 import numpy as np from PIL import Image import io from ultralytics import YOLO app = FastAPI() # 加载训练好的模型 model = YOLO('runs/train/exp/weights/best.pt') @app.post("/predict/") async def predict(file: UploadFile = File(...)): # 读取上传的图片 contents = await file.read() image = Image.open(io.BytesIO(contents)).convert('RGB') image_np = np.array(image) # 使用YOLO模型进行推理 results = model(image_np, conf=0.25, iou=0.45) # 可调节置信度和IoU阈值 # 解析结果 detections = [] for r in results: boxes = r.boxes for box in boxes: cls_id = int(box.cls[0]) conf = float(box.conf[0]) bbox = box.xyxy[0].tolist() # [x1, y1, x2, y2] detections.append({ "class": model.names[cls_id], "confidence": conf, "bbox": bbox }) return JSONResponse(content={"detections": detections}) # 挂载前端静态文件 app.mount("/", StaticFiles(directory="static", html=True), name="static")

前端（HTML + JavaScript）核心交互示例：

<!DOCTYPE html> <html> <body> <input type="file" id="imageInput" accept="image/*"> <button onclick="predict()">检测信号灯</button> <br> <img id="preview" style="max-width: 640px;"> <canvas id="canvas" style="position: absolute; left: 0; top: 0;"></canvas> <script> async function predict() { const fileInput = document.getElementById('imageInput'); const formData = new FormData(); formData.append('file', fileInput.files[0]); const response = await fetch('/predict/', { method: 'POST', body: formData }); const result = await response.json(); // 在图片上绘制检测框 const img = document.getElementById('preview'); const canvas = document.getElementById('canvas'); const ctx = canvas.getContext('2d'); canvas.width = img.width; canvas.height = img.height; result.detections.forEach(det => { const [x1, y1, x2, y2] = det.bbox; ctx.strokeStyle = det.class === 'red' ? '#FF0000' : det.class === 'green' ? '#00FF00' : '#FFFF00'; ctx.lineWidth = 2; ctx.strokeRect(x1, y1, x2 - x1, y2 - y1); ctx.fillStyle = ctx.strokeStyle; ctx.fillText(`${det.class} ${(det.confidence*100).toFixed(1)}%`, x1, y1 > 10 ? y1 - 5 : 10); }); } </script> </body> </html>

将前端代码保存为static/index.html，运行FastAPI应用后，即可通过浏览器访问上传图片并查看检测结果。

5. 常见问题排查与性能优化技巧实录

5.1 训练阶段典型问题与解决方案

问题1：损失（Loss）不下降或为NaN。

  • 可能原因与排查：
    1. 学习率过高：这是最常见原因。尝试将学习率（lr0）降低一个数量级（例如从0.01降到0.001）。
    2. 数据标注错误：检查标注文件。是否存在坐标超出[0,1]范围？类别ID是否超出定义？可以使用python -c "from utils.plots import plot_labels; plot_labels('path/to/your/labels')"（YOLOv5）可视化标注框，查看是否有异常。
    3. 数据预处理错误：确认图片和标注文件是否一一对应且读取正常。检查图片格式（如损坏的JPEG）和颜色通道（是否为RGB）。
    4. 梯度爆炸：可以尝试使用梯度裁剪（gradient_clip_valin YOLOv8）。
  • 解决方案：从一个极小的学习率（如1e-5）和简单的数据增强开始，确保损失能正常下降。然后逐步调高学习率和增强强度。

问题2：验证集mAP很低，但训练集损失正常。

  • 可能原因：模型过拟合。它记住了训练集的噪声和特定模式，但无法泛化到新数据。
  • 解决方案：
    1. 增强数据多样性：增加数据增强的强度和随机性，特别是Mosaic和MixUp。
    2. 引入正则化：增大权重衰减（weight_decay）系数；使用DropOut层（如果模型支持）；尝试更早的停止训练（Early Stopping）。
    3. 简化模型：换用更小的模型（如从YOLOv8m换到YOLOv8s）。
    4. 检查数据分布：确保训练集和验证集的数据分布（场景、时间、天气）基本一致。如果验证集全是夜晚图片而训练集全是白天，效果肯定差。

问题3：某一类信号灯（如黄灯）的检测精度特别低。

  • 可能原因：样本不均衡。数据集中黄灯的图片数量远少于红灯和绿灯。
  • 解决方案：
    1. 数据层面：收集更多黄灯样本，或使用数据增强专门针对黄灯样本进行过采样。
    2. 算法层面：在损失函数中为黄灯类别设置更高的类别权重（class weight）。YOLO通常支持在配置文件中设置。
    3. 后处理层面：在推理时，可以针对黄灯类别单独设置一个较低的置信度阈值，以提高召回率，但需谨慎，以免增加误检。

5.2 推理部署阶段性能瓶颈与优化

问题1：网页端推理速度慢，响应延迟高。

  • 排查方向：
    1. 模型本身速度：使用yolo predict model=best.pt source='test.jpg'测试单张图片的端到端时间。如果在本机就很慢，考虑换用更轻量的模型（如YOLOv8n）。
    2. 图片预处理/后处理耗时：检查代码中是否有在CPU上进行的、未优化的图像处理操作（如多次 resize、格式转换）。尽量使用OpenCV或NumPy的向量化操作。
    3. Web框架开销：对于高并发场景，确保使用异步框架（如FastAPI +async/await），并启用GPU推理的批处理功能。
  • 优化技巧：
    • 模型量化：将FP32模型量化为INT8，推理速度可提升2-4倍，精度损失通常很小。使用TensorRT或OpenVINO的量化工具。
    • 启用半精度：在支持Tensor Core的GPU上，使用FP16精度推理，速度提升明显，内存占用减半。
    • 使用ONNX Runtime或TensorRT：相比原生PyTorch推理，这些优化后的推理引擎能带来显著的加速。

问题2：在树莓派等边缘设备上内存不足或速度无法满足实时性。

  • 解决方案：
    1. 模型极致压缩：使用专为边缘设备设计的超轻量模型，如YOLOv5n, YOLOv8n，或进一步使用模型剪枝、量化技术。
    2. 降低输入分辨率：将模型输入尺寸从640x640降至320x320，能大幅减少计算量和内存占用，但会牺牲对小目标的检测能力。需要权衡。
    3. 使用TFLite或NCNN：这些是针对移动和嵌入式平台高度优化的推理框架。将模型转换为TFLite格式，并利用其硬件加速委托（Delegate），如GPU、DSP或NPU。
    4. 帧采样：如果不是每帧都必须处理，可以每3帧或5帧处理一帧，以降低平均负载。

5.3 检测效果不佳的现场调优技巧

即使训练指标很好，在实际新场景中也可能表现不佳。以下是一些现场调优的“急救包”：

  1. 调整置信度阈值（Confidence Threshold）：这是最直接有效的参数。默认0.25可能不适合所有场景。在光线良好、背景简单的场景，可以提高到0.4-0.5以减少误检；在夜晚或复杂场景，可以降低到0.15-0.2以避免漏检。
  2. 调整NMS阈值（IoU Threshold）：默认0.45。当信号灯密集排列（如多个倒计时灯）时，如果两个预测框IoU过高会被误删。可以适当降低NMS阈值（如0.3），但需注意可能保留过多重叠框。
  3. 加入后处理逻辑：
    • 区域限制（ROI）：如果摄像头视角固定，可以只对图像中可能出现信号灯的区域（如上方1/3部分）进行检测，减少计算量和背景干扰。
    • 逻辑过滤：利用交通规则。例如，同一根灯杆上，红灯和绿灯通常不会同时亮起。可以添加规则，对同一位置附近检测到的矛盾状态进行逻辑判断和筛选。
    • 时序平滑：对于视频流，可以对连续帧的检测结果进行平滑滤波（如卡尔曼滤波或简单的移动平均），避免状态闪烁，使输出更稳定。
  4. 针对性微调（Fine-tuning）：如果新场景与原始训练集差异巨大（例如从中国场景切换到欧洲场景，信号灯样式不同），最快的解决方法是收集少量（几十到几百张）新场景的图片，在原有模型基础上进行少量轮次（10-30个epoch）的微调。这比从头训练快得多，且效果显著。

交通信号灯检测是一个典型的、具有明确商业价值的计算机视觉应用。通过这个项目，你不仅能够掌握YOLO目标检测的完整流程，更能深入理解从数据、模型到工程部署的每一个细节与挑战。在实际操作中，耐心地分析数据、科学地调整参数、巧妙地设计前后端，是通往一个稳健、高效检测系统的必经之路。记住，没有一个模型是万能的，但通过系统的工程方法，我们可以让模型在特定的场景下表现得足够可靠。

编程学习 学习日记 实战经验
← 返回列表