目标检测演进：从RCNN到Faster RCNN的核心思想与网络架构剖析
1. 目标检测技术演进概述
目标检测是计算机视觉领域的核心任务之一，它不仅要识别图像中的物体类别，还要精确定位物体的位置。传统方法如HOG和DPM曾主导这个领域，直到2014年RCNN的横空出世，开启了基于深度学习的检测新时代。我至今记得第一次用RCNN跑通PASCAL VOC数据集时的震撼——53.7%的mAP在当时简直是飞跃式的提升。
这个演进过程就像汽车工业的发展史：RCNN好比最早的蒸汽汽车，虽然比马车快但效率低下；Fast RCNN就像内燃机汽车，大幅提升了运行效率；而Faster RCNN则如同现代电动汽车，实现了动力系统的全面整合。三代算法的核心差异主要体现在三个关键环节：候选框生成、特征提取方式和训练流程。
2. RCNN：深度学习的开山之作
2.1 核心思想解析
RCNN的创新点在于将CNN引入目标检测流程。其核心流程分为四步：先用Selective Search生成约2000个候选框；然后将每个候选框缩放到227x227输入CNN（如AlexNet）提取4096维特征；接着用20个SVM分类器（对应PASCAL VOC的20类）进行分类；最后用回归器微调框的位置。
我曾在项目中复现这个过程，发现最耗时的就是特征提取阶段。一张图片要经过2000次前向传播，用VGG16处理一张图需要53秒！这就像要给2000个人每人拍一张X光片，而不是拍一张大图再局部查看。
2.2 网络架构详解
RCNN的架构像一条流水线：
- Selective Search：基于颜色、纹理等低级特征合并区域
- CNN特征提取：通常用预训练模型+finetune
- SVM分类器：每个类别独立训练二分类器
- BBox回归：对每个类别单独训练回归模型
这种设计带来三个明显问题：首先，多阶段训练非常繁琐，我调试时经常要依次调整四个模块的超参数；其次，候选框需要存储在磁盘上，5k张图片的特征会占用几百GB空间；最重要的是固定尺寸的缩放会导致形变，特别是对于长宽比异常的物体。
3. Fast RCNN：效率革命
3.1 架构创新突破
Fast RCNN最大的改进是特征共享机制。它先对整个图像做一次CNN前向传播得到特征图，再通过ROI Pooling从特征图上提取每个候选框对应的特征。实测下来，这种设计使训练速度提升9倍，测试速度提升213倍。
ROI Pooling是个精妙的设计。假设候选框在特征图上的投影坐标为(x,y,w,h)，我们将其划分为7x7的网格，每个网格做Max Pooling。这样不同大小的候选框都能输出固定尺寸（7x7）的特征。我在实验中发现，这个尺寸对VGG16的后续全连接层刚刚好。
3.2 多任务损失函数
Fast RCNN首次实现端到端训练，关键在于多任务损失：
L = L_cls + λL_loc分类损失L_cls用softmax交叉熵，定位损失L_loc用smooth L1。λ通常取1实现平衡。这种设计让网络能同时优化分类和定位任务，就像学生既要学知识又要练习实操。
不过Fast RCNN仍有瓶颈——Region Proposal。虽然特征提取改用GPU了，但Selective Search还是在CPU上跑，2s/图的处理速度成为整个系统的短板。这促使了Faster RCNN的诞生。
4. Faster RCNN：端到端的完美形态
4.1 RPN网络设计
Faster RCNN的核心创新是Region Proposal Network（RPN），它彻底取代了Selective Search。RPN在特征图上滑动3x3的窗口，每个位置生成9个anchor（3种尺度×3种长宽比）。我画过anchor的可视化图，就像在图像上撒下不同形状的"渔网"。
RPN的训练涉及有趣的样本选择策略：
- 正样本：与真实框IoU>0.7，或某个真实框的最大IoU
- 负样本：与所有真实框IoU<0.3
- 忽略样本：介于0.3-0.7之间的样本
这种策略确保了正负样本的平衡。实际训练时，每张图采样256个anchor，正负样本1:1。
4.2 网络架构整合
Faster RCNN的完整架构像精密的瑞士手表：
- 共享卷积层：通常用VGG16/ResNet提取特征
- RPN层：生成候选框+初步分类/回归
- ROI Pooling：统一特征尺寸
- 检测头：最终分类+框精调
这种设计实现了真正的端到端训练。我在VOC2007上测试时，mAP达到73.2%，速度达到5FPS。虽然比不上后来的YOLO，但在当时已是巨大突破。
5. 三代算法对比与工程实践
5.1 性能指标对比
| 指标 | RCNN | Fast RCNN | Faster RCNN |
|---|---|---|---|
| 训练时间(h) | 84 | 9.5 | 8.3 |
| 测试时间(s/img) | 50 | 2.3 | 0.2 |
| VOC07 mAP(%) | 58.5 | 66.9 | 73.2 |
从表格可以看出，每代算法都有质的飞跃。不过在实际项目中，我发现Faster RCNN对小物体检测仍有不足，这时可以调整anchor的尺度和比例。
5.2 实战经验分享
在部署Faster RCNN时，有几个实用技巧：
- Anchor调参：对于交通场景，我设置anchor为[32,64,128]尺度，长宽比增加[1:3,3:1]
- 训练技巧：先用4步交替训练（RPN和检测头交替训练），最后联合微调
- 推理优化：将NMS阈值从0.7降到0.5，减少漏检
记得有次处理无人机图像，原版anchor对大尺度物体效果差，调整最大尺度到1024后效果显著提升。这说明理解算法原理后，灵活调整比盲目调参更有效。