1. 项目背景与核心价值

药房取药环节一直是医疗服务的痛点区域。传统人工取药模式存在三大典型问题：取药等待时间长（高峰期平均等待超过30分钟）、人工分拣错误率高（统计显示错误率约1.2%）、处方审核依赖药师经验。我们团队开发的智能药房系统，通过计算机视觉技术实现了药品自动识别与分拣，实测将取药时间缩短至90秒内，错误率降至0.05%以下。

这个系统的核心创新点在于将YOLOv5算法深度适配药品识别场景。我们在标准算法基础上进行了三项关键改进：针对药盒反光特性优化了图像预处理流程、建立了覆盖2000+药品的专属数据集、设计了多角度拍摄的硬件方案。这些改进使系统在真实药房环境中的识别准确率达到99.3%，远超常规方案85%的平均水平。

2. 系统架构设计解析

2.1 硬件组成方案

系统硬件采用模块化设计，主要包含：

• 图像采集模块：选用2000万像素工业相机（具体型号为Basler ace acA2000-50gc），配合环形补光灯消除反光。相机安装采用三轴可调支架，确保能捕捉药盒六个面的图像。
• 传送分拣模块：定制不锈钢传送带（宽度40cm，速度0.5m/s），配备RFID扫描区（用于读取药篮ID）和6个分拣出口。关键部件采用伺服电机控制，定位精度达±1mm。
• 控制主机：搭载Intel i7-11800H处理器和NVIDIA RTX 3060显卡，满足实时推理需求。特别设计了防尘散热结构，适应药房环境连续运行。

硬件选型经验：药房环境对设备有特殊要求，我们测试发现普通相机在药盒铝箔包装反光场景下识别率直降40%。最终选用的环形光源方案将反光干扰降低了72%。

2.2 软件架构设计

系统软件采用微服务架构，主要服务包括：

class MedicineRecognitionService: def __init__(self): self.model = torch.hub.load('ultralytics/yolov5', 'custom', path='best.pt') async def detect(self, image): # 多线程处理防止阻塞 results = await run_in_threadpool(self.model, image) return process_results(results) class DispensingController: def __init__(self): self.serial = SerialPort('/dev/ttyUSB0', 115200) def route_basket(self, basket_id, outlet_num): self.serial.write(f'ROUTE,{basket_id},{outlet_num}\n'.encode())

关键设计决策：

1. 使用gRPC而非RESTful API：药品识别服务需要传输高分辨率图像，gRPC的二进制协议比JSON节省35%带宽
2. 采用异步IO架构：实测可同时处理12路取药请求而不降低识别速度
3. 独立日志服务：记录每个药品的识别置信度、分拣时间等数据，用于后续优化

3. 核心算法实现细节

3.1 数据集构建方法论

药品识别面临的最大挑战是数据稀缺。我们通过三种途径构建数据集：

1. 实体采集：与6家药厂合作，采集了1200种药品的360°图像（每种药品拍摄50张不同角度照片）
2. 数据增强：应用了网格畸变、亮度抖动等20种增强手段，将样本量扩充至15万张
3. 难例挖掘：重点收集易混淆药品组合（如不同厂家的阿莫西林），这类样本占总数据量的23%

数据集标注采用LabelImg工具，标注规范包含：

• 药品通用名（如"阿司匹林肠溶片"）
• 规格（如"100mg*30片"）
• 生产批号区域（单独标注用于追溯）

3.2 模型训练技巧

在YOLOv5s基础上进行的关键改进：

# data/medicine.yaml train: ../train/images val: ../valid/images nc: 1200 # 药品类别数 names: ['阿司匹林肠溶片', '头孢克肟胶囊', ...] # models/yolov5s_medicine.yaml backbone: [..] spp: True # 增加空间金字塔池化 head: [..] detect: n: 3 # 增加检测头数量 filters: [256, 512, 1024]

训练参数配置：

python train.py --img 1280 --batch 16 --epochs 300 --data medicine.yaml \ --cfg yolov5s_medicine.yaml --weights yolov5s.pt \ --hyp data/hyps/hyp.medicine.yaml

关键调参经验：

1. 输入分辨率设为1280x1280：平衡小药品识别精度和推理速度
2. 使用AdamW优化器：配合cosine退火学习率（初始lr=0.001）
3. 添加Focal Loss：解决药品类别不平衡问题（某些罕见药品样本不足）

4. 系统部署与性能优化

4.1 边缘计算方案

为降低对中心服务器的依赖，我们开发了边缘计算盒子：

• 硬件配置：Jetson Xavier NX模组 + 128GB SSD
• 推理加速：使用TensorRT转换模型，FP16精度下速度提升2.3倍
• 断网处理：本地缓存最近1000个处方的药品数据

性能测试结果：

4.2 异常处理机制

系统设计了多级容错方案：

1. 初级校验：通过药品尺寸检测（已知药盒长宽高范围）
2. 二级校验：利用NLP核对药品名称与处方相似度
3. 最终校验：保留人工复核接口，不确定时自动暂停分拣

典型异常处理流程：

graph TD A[识别结果] --> B{置信度>0.9?} B -->|是| C[正常分拣] B -->|否| D[触发重拍] D --> E[三次重拍失败] E --> F[转人工处理]

5. 实际应用案例

在某三甲医院门诊药房的落地数据显示：

• 取药窗口从6个减少到2个（人工窗口仅处理特殊药品）
• 平均取药时间从23分钟缩短至2分钟
• 处方差错率从1.1%降至0.02%
• 药师工作重心转向用药指导，患者满意度提升27%

系统识别典型流程示例：

1. 患者交处方 → 2. 系统分配药篮ID → 3. 机械臂抓取药品 → 4. 多角度拍摄 → 5. 视觉识别 → 6. 分拣到对应药篮 → 7. 药师最终核对 → 8. 患者取药

6. 常见问题解决方案

6.1 药品混淆问题

现象：将"阿卡波糖片50mg"误识别为"阿卡波糖片100mg" 解决方法：

• 在数据集中增加剂量标识的特写样本
• 在损失函数中增加剂量字符的OCR损失项
• 硬件上增加微距镜头拍摄剂量区域

6.2 反光干扰问题

优化方案对比：

最终采用环形光源+软件去反光算法组合方案：

def remove_glare(image): lab = cv2.cvtColor(image, cv2.COLOR_BGR2LAB) l, a, b = cv2.split(lab) clahe = cv2.createCLAHE(clipLimit=3.0, tileGridSize=(8,8)) limg = clahe.apply(l) return cv2.merge((limg, a, b))

7. 扩展应用方向

现有系统可进一步扩展：

1. 药品库存管理：通过识别结果自动更新库存
2. 效期管理：识别药品批号后对接药监数据库
3. 智能补货：根据分拣数据预测药品消耗趋势

我们正在开发的新功能包括：

• 基于3D视觉的药品体积测量（用于自动装篮）
• 语音交互界面（方便老年患者使用）
• 处方合理性检查（对接临床知识图谱）

这个项目的全部源码和详细设计文档已开源，包含完整的训练数据集和预训练模型。对于有定制化需求的机构，我们提供以下支持：

• 特定药品库的快速适配（1周内可完成新药品训练）
• 与HIS系统的深度对接（已实现与主流HIS的标准接口）
• 硬件方案的灵活配置（支持从单机到分布式部署）