1. 项目背景与核心思路

去年在社区义诊时，我发现中医问诊环节最耗时的就是舌诊环节。传统中医需要反复观察舌苔颜色、厚薄、润燥等特征，而患者往往因为伸舌姿势不规范影响判断。这让我萌生了一个想法：能否用AI图像识别技术来辅助舌诊？

经过三个月的开发迭代，我基于通义千问大模型和SpringBoot+Vue技术栈，完成了一套舌诊AI系统。这个项目的核心创新点在于：

• 使用通义千问的视觉理解能力分析舌象图片
• 结合中医诊断学知识构建提示词工程
• 前后端分离架构实现移动端快速接入

2. 技术架构详解

2.1 整体架构设计

系统采用典型的前后端分离架构：

[移动端/Web端] → [Nginx反向代理] → [SpringBoot API服务] → [通义千问API] ← [MySQL数据库]

关键组件说明：

• 前端：Vue3 + Element Plus实现响应式界面
• 网关：Nginx配置SSL证书和负载均衡
• 后端：SpringBoot 2.7 + MyBatis-Plus
• AI服务：通义千问qwen-vl-plus多模态模型

2.2 通义千问集成方案

阿里云的千问模型提供了OpenAI兼容接口，这使得集成过程异常简单。核心配置如下：

// 配置OpenAI客户端 OpenAI client = new OpenAI( apiKey: "sk-your-api-key", baseUrl: "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1" ); // 构建多模态请求 List<ChatMessage> messages = new ArrayList<>(); messages.add(new ChatMessage( role: "user", content: Arrays.asList( new ImageUrl("data:image/jpeg;base64," + base64Image), new Text("请分析这张舌象图片：舌质颜色、舌苔特征、舌体形态") ) ));

关键提示：北京地域的WorkspaceId需要从百炼控制台获取，API调用量超过500次/分钟后会自动触发限流。

3. 核心功能实现

3.1 舌象分析模块

通过prompt engineering构建专业诊断提示词：

你是一名资深中医专家，请根据舌象图片分析： 1. 舌质颜色（淡红/红/绛/紫等） 2. 舌苔特征（薄白/白腻/黄腻/少苔等） 3. 舌体形态（胖大/瘦小/齿痕等） 4. 综合诊断建议（体质判断、调理方向） 要求： - 使用中医专业术语 - 对特征描述需精确到具体部位 - 给出可信度评分（0-100%）

实测发现增加以下约束能提升准确率：

• 要求模型分点列示特征
• 限定输出为JSON格式
• 添加"如果不确定请声明"的提示

3.2 前后端交互设计

前端上传图片后，后端处理流程：

sequenceDiagram 前端->>后端: POST /api/tongue-analysis (multipart/form-data) 后端->>通义千问: 发送base64编码图片 通义千问-->>后端: 返回结构化分析结果 后端->>数据库: 存储诊断记录 后端-->>前端: 返回JSON格式结果

关键接口定义：

@PostMapping("/tongue-analysis") public Result<TongueAnalysis> analyzeTongue( @RequestParam("image") MultipartFile image, @RequestParam("symptoms") String symptoms) { // 图片预处理 BufferedImage img = ImageIO.read(image.getInputStream()); String base64 = Base64.getEncoder().encodeToString(compressImage(img)); // 调用AI分析 ChatCompletionRequest request = buildRequest(base64, symptoms); ChatCompletionResult result = client.createCompletion(request); // 结果解析 return Result.success(parseResult(result)); }

4. 效果优化实践

4.1 准确率提升方案

经过200例临床测试，发现以下优化手段最有效：

1. 图片预处理

   • 使用OpenCV进行颜色校正（白平衡）
   • 背景去除保留舌体ROI区域
   • 分辨率统一缩放至512x512

2. 模型微调

   • 收集500组标注数据
   • 使用qwen-vl的finetune接口微调
   • 关键参数：

     finetune_params = { "learning_rate": 3e-5, "epochs": 10, "batch_size": 8 }

3. 结果校验

   • 设置特征置信度阈值（>70%）
   • 对矛盾特征进行逻辑校验
   • 添加人工复核接口

4.2 性能优化技巧

1. 缓存策略

   • 对相同图片hash值缓存结果
   • 使用Redis设置30分钟过期

2. 异步处理

   @Async public void asyncAnalyze(TongueTask task) { // 长时间分析任务 }

3. 连接池配置

   spring: datasource: hikari: maximum-pool-size: 20 connection-timeout: 30000

5. 典型问题排查

5.1 图片上传失败

现象：前端报413 Request Entity Too Large

解决方案：

1. Nginx配置调整：

   client_max_body_size 10M;

2. SpringBoot配置：

   spring.servlet.multipart.max-file-size=10MB spring.servlet.multipart.max-request-size=10MB

5.2 模型返回空结果

可能原因：

1. API Key过期
2. 图片base64编码错误
3. 地域配置不匹配

排查步骤：

# 测试API连通性 curl -X POST "https://${BASE_URL}/chat/completions" \ -H "Authorization: Bearer ${API_KEY}" \ -d '{"model":"qwen-vl-plus","messages":[{"role":"user","content":"ping"}]}'

5.3 高并发场景下的稳定性

实测单机（4核8G）性能表现：

• QPS 50时平均响应时间：1.2s
• QPS 100时出现超时

优化方案：

1. 增加限流策略：

   @RateLimiter(value = 50, key = "#userId")

2. 使用消息队列削峰：

   rabbitTemplate.convertAndSend("tongue.queue", task);

6. 项目成果与展望

目前系统已在3家社区医院试运行，累计完成2000+次舌象分析。典型诊断准确率达到82%（对比副主任医师诊断结果）。

未来优化方向：

1. 增加脉象问诊模块
2. 开发微信小程序版本
3. 引入更多中医大模型对比验证

整个开发过程中最深的体会是：AI不是要替代医生，而是成为医生的"智能听诊器"。当技术真正解决临床痛点时，传统医学就会焕发新的生命力。