1. 项目概述

第一次接触DETR（Detection Transformer）时，我被这个将Transformer架构引入目标检测领域的创新思路所吸引。作为一个长期使用传统CNN检测框架的开发者，我决定从零开始完整跑通DETR的训练流程。这个过程充满了挑战——从环境配置、数据准备到模型训练，几乎每个环节都遇到了意想不到的问题。

2. 环境准备与依赖安装

2.1 基础环境搭建

我选择PyTorch 1.10作为基础框架，搭配CUDA 11.3进行GPU加速。这里有个关键细节：必须确保PyTorch版本与CUDA版本严格匹配。我最初使用了PyTorch 1.8 + CUDA 11.1的组合，结果在计算损失函数时出现了难以追踪的内存错误。

安装命令示例：

conda create -n detr python=3.8 conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=11.3 -c pytorch

2.2 依赖库的特殊处理

除了标准依赖外，DETR需要额外安装pycocotools。这里有个隐藏坑点：直接pip install pycocotools可能会失败。我最终采用的解决方案是：

pip install cython pip install git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI

3. 数据准备与格式转换

3.1 COCO数据格式解析

DETR强制要求使用COCO数据格式，这对习惯YOLO格式的开发者是个挑战。COCO格式的核心在于annotations中的JSON文件结构，必须包含以下关键字段：

{ "images": [{"id":, "file_name":, "width":, "height":}], "annotations": [{"id":, "image_id":, "category_id":, "bbox": [x,y,w,h], "area":, "iscrowd":}], "categories": [{"id":, "name":}] }

3.2 从YOLO到COCO的转换实战

我开发了一个转换脚本处理YOLO格式数据，关键步骤如下：

1. 解析YOLO的txt标注文件，注意坐标需要从归一化值转换回绝对坐标
2. 为每个图像生成唯一的image_id
3. 处理类别映射关系（YOLO使用序号，COCO需要明确的类别名）
4. 确保bbox格式为[x_min, y_min, width, height]

关键提示：转换后务必验证bbox坐标是否超出图像边界，这是后续训练出现NaN损失的常见原因

4. 模型训练实战

4.1 配置文件调整

DETR的默认配置针对COCO数据集优化，对于自定义数据集需要调整：

{ "lr": 1e-4, # 小数据集建议降低到1e-5 "epochs": 300, # 实际训练可能提前停止 "batch_size": 4, # 根据GPU内存调整 "num_classes": 你的类别数+1 # 加上背景类 }

4.2 训练过程中的关键监控

我建议实时监控以下指标：

1. 分类损失（class_error）：反映目标识别准确度
2. 框回归损失（bbox_loss）：反映定位精度
3. GIoU损失（giou_loss）：反映框形状匹配度
4. 验证集mAP：每5个epoch验证一次

5. 典型问题与解决方案

5.1 损失值为NaN

这是最常见的问题，可能原因包括：

• 学习率过高（解决方案：降至1e-5）
• 数据标注错误（解决方案：检查bbox坐标）
• 梯度爆炸（解决方案：添加梯度裁剪）

5.2 验证指标不提升

可能原因：

• 数据量不足（解决方案：增加数据增强）
• 模型容量不足（解决方案：尝试更大的backbone）
• 学习率策略不当（解决方案：改用cosine衰减）

6. 模型优化技巧

6.1 数据增强策略

除了默认的随机裁剪和翻转，我发现以下增强特别有效：

• ColorJitter（颜色扰动）
• RandomErasing（模拟遮挡）
• MixUp（提升小目标检测）

6.2 学习率调优

通过实验发现的分阶段学习率策略：

1. 前10epoch：1e-5（预热）
2. 10-100epoch：1e-4（主训练）
3. 100epoch后：1e-5（微调）

7. 部署注意事项

7.1 模型导出

使用torch.jit.trace导出时需注意：

model.eval() example = torch.rand(1, 3, 800, 800) traced_script_module = torch.jit.trace(model, example) traced_script_module.save("detr_model.pt")

7.2 推理优化

对于生产环境，建议：

1. 使用TensorRT加速
2. 对输入图像进行等比例缩放（保持长宽比）
3. 后处理时根据置信度阈值过滤结果

8. 进阶改进方向

对于追求更高性能的开发者，可以考虑：

1. 替换backbone为ResNet-101或Swin Transformer
2. 采用Deformable DETR改进小目标检测
3. 引入知识蒸馏压缩模型大小

整个项目从环境搭建到最终部署耗时约3周，最大的收获是深入理解了Transformer在视觉任务中的工作机制。建议初学者从COCO预训练模型开始微调，再逐步尝试完整训练流程。