【AI问数】大模型选型与微调：AI问数的LLM落地实战
4 大选型维度 | 多模型 路由策略 | 99.97% 可用性 | Spider 权威Benchmark |
AI问数对LLM的选型要求：中文理解强、SQL生成能力突出(Spider/Bird跑分)、上下文窗口足够(16K+)、支持私有化部署。鲲溟KM AI采用多模型路由：主模型+专用模型+备用模型三层配置。
一、LLM选型四大维度
| 维度 | 要求 | 权重 | 说明 |
|---|---|---|---|
| 中文理解 | 极强 | 30% | 业务问题多为中文，需深度理解 |
| SQL生成 | Spider/Bird跑分高 | 30% | 核心能力，直接影响准确率 |
| 上下文窗口 | 16K+ | 20% | 复杂查询需要长上下文 |
| 私有化部署 | 支持 | 20% | 企业合规要求 |
二、多模型路由架构
| 模型层 | 模型 | 职责 | 故障切换 |
|---|---|---|---|
| 主模型 | GPT-4o/Claude 3.5 | 复杂查询+分析 | 自动切换备用 |
| 专用模型 | 微调SQL模型 | 简单查询(快+省) | 自动切换主模型 |
| 备用模型 | 通义千问/文心 | 国内合规+容灾 | 自动切换主模型 |
FAQ Q: AI问数该选什么LLM？ A: 四大维度：中文理解、SQL生成能力(Spider跑分)、上下文窗口(16K+)、私有化部署支持。 Q: 为什么要多模型路由？ A: 主模型处理复杂任务，专用模型处理简单任务(更快更省)，备用模型容灾，实现99.97%可用性。 |
鲲溟智能官网KM Ai｜企业级 AI Workforce 产品矩阵｜鲲溟智能