AI时代测试方向AI for Testing和Testing for AI

📅 2026/7/21 7:09:55 👁️ 阅读次数 📝 编程学习
AI时代测试方向AI for Testing和Testing for AI

测试目前有两个方向:AI for Testing(用AI测试)和Testing for AI(测AI产品)

AI测试学习地图

一、AI for Testing

以下是AI for Testing框架,AI驱动的全链路自动化测试流水线

Skill技能:稳定的流程写成说明书加规则库加脚本库,打包给AI,让AI能反复并稳定的执行

专家Agent:角色卡+工具库+工作流程规范,包含:AGENT.md、SOUL.md、USER.md、skills等

多Agent协同:如果一个Agent什么都干,容易顾此失彼,执行层由子Agent执行,一是为了保持主Agent上下文干净,二是避免上下文太长,大模型注意力分散

workflow:Agent灵活但是不稳定,不可控,所以测试流程需要workflow工作流,通过预定义的一条代码路径来编排模型和工具的系统,AI只负责在每个节点上面干活,不能自己去改路线。

AI x 测试全流程:AI渗漏到测试中的每个环节,比如AI生成测试用例接口自动化,UI自动化,造数,根因分析,如果只是让每个环节都用上AI,肯定是不够用的,我们需要做到AI测试的工程化,所有我们不能只依赖codex,openclaw这类的通用agent通过skill完成零散的任务,我们需要直接调用AI模型,结合公司的技术栈,自主的去设计和开发测试Agent,在代码里要自己调度任务,对过程数据进行处理落库,确保每一次的执行都可追踪可回溯,最后把这个Agent作为测试质量的节点接入到流水线中,成为发布管控的一环,最终要实现端到端的AI测试,让QA从大量重复的工作里面释放出来,把精力放在风险判断、质量标准和关键结果确认上面。

二、Testing for AI

第一部分是借助AI完成测试任务,广义的AI测试还包含,用AI测试生成内容,叫做AI评测,

AI评测与传统软件测试区别:

传统的软件测试通常由相对明确的预期结果,可以通过断言判断对错,但是生成式AI具有概率性,同样的输入可能得到不同的答案,很多任务是没有唯一标准答案的,整套测试方案发生平易

传统测试AI测评
测试用例评测数据集
断言评分器Grader
通过/失败分数与通过率
执行一轮采样N次看评测统计结果
回归测试重跑测试集