1. 项目概述

斗地主作为国内最受欢迎的扑克游戏之一，其线上版本的手牌识别一直是个有趣的技术挑战。这个项目尝试用目标检测技术来自动识别玩家手中的扑克牌，为后续的AI出牌策略提供数据支持。不同于传统的OCR方案，我们直接采用YOLO这类端到端的目标检测模型，能够同时完成牌面定位和花色点数识别。

在实际操作中，我发现游戏截图有几个显著特点：牌面尺寸固定但排列密集、存在部分遮挡、背景相对简单但可能有特效干扰。这些特性使得常规的目标检测方案需要针对性调整，特别是在数据标注和模型训练阶段。

2. 技术选型与方案设计

2.1 为什么选择YOLO而不是传统OCR

传统OCR方案需要先定位文本区域再识别字符，对于扑克牌这种同时包含图案（花色）和数字/字母（点数）的对象，需要设计复杂的处理流程。而YOLOv8这类单阶段检测器可以：

1. 一次性输出每张牌的包围框和类别（如"heart_A"）
2. 天然适应不同角度的牌面识别
3. 对轻度遮挡有更好的鲁棒性
4. 推理速度能满足实时性要求（实测在GTX1660上可达120FPS）

2.2 输入尺寸的权衡

游戏截图通常是1920×1080分辨率，但牌面区域只占画面的一部分。经过测试发现：

• 直接输入原图会导致小目标（单张牌）检测困难
• 裁剪出牌面区域后等比缩放到640×640是最佳方案
• 使用YOLOv8默认的letterbox处理能保持宽高比

# 牌面区域裁剪示例代码 def crop_cards_area(img): # 牌面通常位于画面下方1/3区域 h, w = img.shape[:2] return img[int(h*0.66):h, 0:w]

3. 数据集构建关键点

3.1 数据标注规范

创建了专门的标注指南确保一致性：

1. 每张牌作为一个独立对象标注
2. 类别格式为"suit_value"（如spade_K、diamond_10）
3. 对于重叠牌面，标注可见部分
4. 特殊牌型（如癞子）单独标注

3.2 数据增强策略

针对游戏场景的特殊处理：

1. 模拟牌面重叠：随机平移部分牌的位置
2. 添加光影特效：模拟游戏中的高光效果
3. 背景替换：使用不同游戏桌布背景
4. 运动模糊：模拟快速出牌时的模糊效果

# 使用albumentations的数据增强配置 train_transform = A.Compose([ A.RandomBrightnessContrast(p=0.5), A.MotionBlur(blur_limit=3, p=0.3), A.RandomGamma(p=0.2), A.HueSaturationValue(p=0.3) ], bbox_params=A.BboxParams(format='yolo'))

4. 模型训练细节

4.1 模型架构调整

基于YOLOv8n进行定制：

1. 将检测头改为54类（52张常规牌+2张特殊牌）
2. 调整anchor box尺寸匹配牌面长宽比
3. 添加注意力模块提升密集目标检测能力

4.2 关键训练参数

# yolov8_card.yaml train: batch: 64 epochs: 200 imgsz: 640 optimizer: AdamW lr0: 0.001 weight_decay: 0.05 warmup_epochs: 3 mixup: 0.2 copy_paste: 0.5

5. 实际部署中的优化

5.1 后处理优化

发现的两个典型问题及解决方案：

1. 重复检测：调整NMS的iou_threshold到0.45
2. 误检背景元素：添加基于颜色直方图的过滤

def post_process(detections, orig_img): # 过滤非牌面颜色的检测 hsv = cv2.cvtColor(orig_img, cv2.COLOR_BGR2HSV) for det in detections: x1,y1,x2,y2 = det.bbox roi = hsv[y1:y2, x1:x2] hist = cv2.calcHist([roi],[0],None,[180],[0,180]) if np.argmax(hist) not in range(100,150): # 过滤非红色/蓝色系 det.confidence *= 0.3

5.2 性能优化技巧

1. 使用TensorRT加速：FP16量化后速度提升40%
2. 多帧缓存：对静态手牌使用历史检测结果
3. 区域聚焦：根据上一帧结果缩小检测区域

6. 常见问题与解决方案

6.1 特殊牌型识别

遇到的两个典型case：

1. 癞子牌识别：单独收集1000+样本微调
2. 背面朝上的牌：训练二分类模型先判断正反面

6.2 遮挡处理方案

三级处理策略：

1. 轻度遮挡（<30%）：依赖模型自身鲁棒性
2. 中度遮挡（30-70%）：结合上下文逻辑推断
3. 重度遮挡（>70%）：标记为低置信度检测

在实际测试中，这套方案达到了98.7%的单牌识别准确率，完整手牌识别准确率92.4%，平均处理耗时15ms/帧。最大的收获是认识到游戏场景下的目标检测需要针对性的数据增强策略，简单的COCO式训练难以应对这种特定场景的需求。