TID质量竞争大会分享议题｜科大讯飞：端到端大模型效果评测，从人工周级到自动化天级
大模型应用正在加速进入真实业务场景，随之而来的一个重要问题是：
大模型效果到底该怎么评？
过去，很多评测工作依赖人工经验完成。面对少量样本、单一场景时，这种方式还能支撑；但当大模型应用开始进入内容创作、智能问答、业务助手、复杂任务处理等场景后，评测需求快速增加，传统人工评测方式开始面临效率、标准和可复用性上的挑战。
在本届 TID质量竞争大会 上，科大讯飞股份有限公司 AI工程院高级测试工程师陈明，将带来议题：
《端到端大模型效果评测：从人工周级到自动化天级的工程实践》
这场分享将围绕大模型效果评测的工程化困境、端到端评测体系建设，以及内容创作等业务场景中的实践经验展开。
对于正在关注AI测试、大模型评测、AI应用质量保障和智能化测试工程建设的团队来说，这是一场非常值得关注的分享。
讲师介绍
陈明，科大讯飞股份有限公司 AI工程院高级测试工程师。
本次在TID质量竞争大会中，陈明将结合大模型效果评测相关实践，分享从人工评测到自动化评测的工程化探索。
议题将重点关注大模型效果评测在真实业务中的痛点、体系化建设思路、典型场景实践，以及评测能力后续演进方向。
为什么大模型效果评测越来越重要？
随着大模型能力不断提升，越来越多业务开始将大模型能力嵌入具体产品和流程中。
但在实际应用中，团队很快会发现： 大模型能生成内容，不代表生成结果稳定可用； 大模型能完成任务，不代表效果可以持续评估； 一次测试效果不错，也不代表后续版本升级后仍然可靠。
尤其在端到端场景中，评测对象不再只是一次模型回答，而可能涉及完整任务链路、用户体验、业务目标和结果质量。
这也让大模型评测从单点验证，逐渐走向更系统化的工程问题。
大模型效果评测面临哪些挑战？
从议题介绍来看，本次分享会重点讨论大模型效果评测中的工程化困境。
其中比较典型的问题包括以下几个方面。
- 评测需求快速增长
大模型应用场景越来越多，评测对象也越来越复杂。
不同业务、不同任务、不同版本，都可能需要进行效果验证。 如果完全依赖人工评测，很容易出现周期长、效率低、响应慢的问题。
这也是议题中提到“从人工周级到自动化天级”的重要背景。
- 评测标准不容易统一
大模型效果评测并不只是判断“对”或“错”。
在很多场景中，生成结果可能涉及准确性、完整性、可读性、业务适配度、用户体验等多个方面。
不同角色对结果的判断标准可能不同，这就需要更清晰的评测框架和统一的评测口径。
- 端到端效果更难评估
大模型应用落到业务中，最终呈现给用户的往往不是一个单独模型能力，而是一整套产品体验。
因此，端到端评测需要关注的不只是模型输出本身，还要关注完整业务流程中的最终效果。
这也是本次议题标题中“端到端大模型效果评测”值得关注的地方。
- 评测能力需要持续演进
大模型应用不是一次上线就结束。
随着模型版本升级、业务场景变化、用户反馈积累，评测集、评测流程和评测能力也需要持续迭代。
从议题介绍来看，本次分享也会涉及线上数据回流、评测集持续进化，以及Skill & Agent评测能力扩展等方向。
本场分享有哪些看点？
看点一：从人工评测到自动化评测的工程化思考
“从人工周级到自动化天级”，是本次议题最直接的关键词。
这背后关注的不只是效率提升，更是大模型评测如何从人工经验走向工程化流程。
对于正在做AI应用评测的团队来说，这部分内容有很强的参考价值。
看点二：端到端效果评测如何支撑业务场景
本次分享会结合内容创作场景进行案例介绍，并涉及旅游规划场景、大版本升级评测等实践内容。
这些场景都具有一定复杂性，不再是简单的单轮问答评测，而更接近真实业务中的大模型应用形态。
通过这些案例，听众可以更直观地理解端到端评测在业务中的价值。
看点三：评测体系如何从工具化走向平台化
从议题介绍来看，本次分享不仅会讲评测流程，也会关注评测框架、混合评测策略、技术架构和评测集演进。
这说明大模型效果评测已经不只是单个工具或单次任务，而是在逐步走向体系化、平台化。
对于正在建设AI质量能力的团队来说，这一点很值得关注。
看点四：Skill与Agent评测能力的后续扩展
随着大模型应用从问答生成走向更复杂的任务执行，Skill与Agent相关评测也会成为新的质量挑战。
本次议题中也提到，后续会关注Skill & Agent评测能力扩展。
这对于正在探索智能体应用、工具调用、多步骤任务执行的团队来说，是一个值得提前关注的方向。
这场分享的价值在哪里？
对于企业和研发测试团队来说，大模型效果评测的价值，不只是判断某一次结果好不好。
更重要的是，它能够帮助团队：
提升评测效率，减少重复人工投入； 统一评测标准，让结果更具参考价值； 支撑版本升级，帮助团队更快识别效果变化； 沉淀评测数据和经验，形成可复用的方法体系； 服务更多AI应用场景，为后续平台化建设打基础。
随着大模型在业务中的使用越来越深入，效果评测也会成为AI应用质量保障中非常关键的一环。
适合哪些人关注？
这场分享适合以下几类人重点关注：
正在做大模型应用落地的研发团队； 关注AI测试和大模型评测的质量团队； 负责智能化测试平台建设的技术团队； 关注内容生成、智能助手、业务Agent效果评估的产品和测试负责人； 希望了解大模型评测工程化实践的研发效能团队。