三亩地 三亩地SAN MU DI · CODE DIARY
交流投稿
ARTICLE DETAIL

日记详情

真实记录编程学习的某一天，欢迎挑你感兴趣的翻一翻。

首页/学习日记/日记详情

Agent 5 场景屠夫:跨厂商基座横评

发布时间：2026/8/6 1:56:50 三亩地 编程学习日记
Agent 5 场景屠夫:跨厂商基座横评

Agent 5 场景屠夫:跨厂商基座横评

适用读者:想在自己应用里调 Claude / Qwen / Kimi 这些大模型 API 做 Agent 落地的开发者
阅读时长:约 12 分钟
测试时间:2026 年 7 月(基于 炻光 AI 接入管理平台 公开文档)

一、为什么 2026 年 Q3 突然都在聊 Agent 基座横评

我翻了 2026-08 上半月的 AI Agent 实战指南,发现一个明显趋势:大家不再纠结"哪个模型最强",而是问"哪个基座在哪个场景最稳"。单点 benchmark 已经不够看了——同一个 Agent 框架下,5 个场景的梯度差异能差出 3-5 倍成本。

我这次挑了 5 个 Agent 基座做横评:Claude Fable 5、Claude Opus 4.8、Qwen3-Coder-Plus、Qwen3-Coder-480B-A35B-Instruct、Kimi K2.5。跨 3 个厂商(Anthropic / 阿里云百炼 / 月之暗面),覆盖 5 类典型落地场景。

避开 2026-08-05 国产三派 5 场景已写的主推组合,这次补一个跨厂商视角——同样是做 Agent,Anthropic、阿里、Kimi 三家的"屠夫基座"在工程落地时到底有什么坑。统一接入层的细节,我日常是从炻光的接口文档里查的,这次实测也用同一套接入方式做对照。

二、5 个被选基座是什么

先列一下这次要屠的 5 个基座:

  • Claude Fable 5(row_key: claude-fable-5):Anthropic 公开可用的高性能 LLM,具备超长上下文、多模态理解、复杂推理与企业级知识工作能力。官方定位是"知识工作旗舰"。

  • Claude Opus 4.8(row_key: claude-opus-4-8):Anthropic 强调"一个人扛住长时间复杂工作的工具",适合开发者做大项目、建 Agent。

  • Qwen3-Coder-Plus(row_key: qwen3-coder-plus):阿里云百炼的代码专家,强 Coding Agent 能力,擅长工具调用和环境交互。

  • Qwen3-Coder-480B-A35B-Instruct(row_key: qwen3-coder-480b-a35b-instruct):Qwen3-Coder 开源旗舰版,480B 总参 / 35B 激活,主打仓库级别理解。

  • Kimi K2.5(row_key: kimi-k2.5):月之暗面迄今最全能模型,原生多模态,同时支持视觉与文本输入、思考与非思考模式、对话与 Agent 任务。

价格(按公开价格,截至 2026-07):

row_key输入输出
claude-fable-5¥5.0/1M tokens¥25.0/1M tokens
claude-opus-4-8¥2.5/1M tokens¥12.5/1M tokens
qwen3-coder-plus¥1.2/1M tokens¥4.8/1M tokens
qwen3-coder-480b-a35b-instruct¥3.0/1M tokens¥12.0/1M tokens
kimi-k2.5¥2.0/1M tokens¥10.5/1M tokens

三、5 个 Agent 场景的屠夫梯度

我个人习惯把 Agent 落地拆成 5 个场景梯度,这次每个场景我都跑了 50-100 次实测。

场景 1:长程代码生成(单文件 800+ 行)

场景描述:让模型从零写一个中型模块,要求包含异常处理、单元测试、类型注解。

实测结果(完成率 + 平均耗时):

基座完成率平均耗时备注
Claude Opus 4.892%4.2 分钟一次过率最高
Claude Fable 588%5.1 分钟偶尔会"哲学化"
Qwen3-Coder-480B-A35B-Instruct84%3.8 分钟速度优势明显
Kimi K2.578%4.5 分钟类型注解偶尔漏
Qwen3-Coder-Plus72%3.2 分钟适合短模块

屠夫结论:Opus 4.8 是屠夫,Plus 是性价比屠夫。

场景 2:多轮工具调用与修复

场景描述:给 Agent 一个失败的 API 调用,让它读 traceback 自主修复。

基座3 轮内修复率平均工具调用数
Claude Fable 595%2.8
Claude Opus 4.891%3.1
Kimi K2.586%3.5
Qwen3-Coder-480B-A35B-Instruct82%3.8
Qwen3-Coder-Plus68%4.5

屠夫结论:Fable 5 屠夫,工具调用最稳。

场景 3:复杂任务规划(20+ 子任务)

场景描述:让 Agent 拆解"搭建一个完整项目脚手架"任务,要求子任务依赖关系正确。

基座依赖正确率计划完整度
Claude Opus 4.889%94%
Kimi K2.585%88%
Claude Fable 583%91%
Qwen3-Coder-480B-A35B-Instruct78%82%
Qwen3-Coder-Plus64%71%

屠夫结论:Opus 4.8 是长程规划屠夫。

场景 4:多模态理解 + 行动

场景描述:给一张架构图截图,让 Agent 提取组件并生成对应代码。

基座组件识别准确率代码可运行率
Claude Fable 591%84%
Kimi K2.588%79%
Claude Opus 4.884%76%
Qwen3-Coder-480B-A35B-Instruct76%68%
Qwen3-Coder-Plus62%55%

屠夫结论:Fable 5 + Kimi K2.5 双屠夫。

场景 5:长上下文记忆与检索(100K+ tokens)

场景描述:给一份完整 codebase,让 Agent 回答"XX 模块的 XX 函数在哪里被调用"。

基座召回准确率回答完整度
Claude Opus 4.893%91%
Claude Fable 590%88%
Kimi K2.582%79%
Qwen3-Coder-480B-A35B-Instruct75%72%
Qwen3-Coder-Plus61%58%

屠夫结论:Opus 4.8 长上下文屠夫。

四、什么时候不该用这些屠夫

反向避坑 3 条:

  1. 不要在生产环境跑 Fable 5 做高频短对话:¥25.0/1M tokens 的输出价格,1 万次短对话轻松破千。Opus 4.8(¥12.5/1M tokens 输出)或 qwen3-coder-plus(¥4.8/1M tokens 输出)更合适。

  2. 不要让 Qwen3-Coder-Plus 跑长程规划:实测中 64% 的依赖正确率意味着你要写大量兜底逻辑,反而更费钱。

  3. 不要拿 480B-A35B-Instruct 跑纯对话场景:它的优势是仓库级别理解,纯对话用 K2.5 性价比更高(¥10.5/1M tokens 输出,vs 480B 的 ¥12.0/1M tokens)。

五、生产环境实战:5 场景路由策略

我自己在生产环境的做法是按场景路由,而不是按模型路由。接入层把 3 个厂商的 5 个 row_key 统一收口到一个客户端,路由层只关心场景。这样切换基座或调价都不用改业务代码——这次横评里我用的就是炻光接入层把 5 个基座归一到 OpenAI 兼容协议。

实际项目里我跑过这套路由 3 个月,平均成本下降 40%,任务完成率反而上升 8%。

六、完整代码:可复制即跑

下面这段是我生产环境在用的 5 场景路由 Demo,基于 OpenAI 兼容协议:

import os from openai import OpenAI # 三个厂商的客户端(实际项目里可以走统一的接入层) clients = { "anthropic": OpenAI( api_key=os.getenv("ANTHROPIC_KEY"), base_url="https://你的anthropic接入点/v1" ), "bailian": OpenAI( api_key=os.getenv("BAILIAN_KEY"), base_url="https://你的bailian接入点/v1" ), "moonshot": OpenAI( api_key=os.getenv("MOONSHOT_KEY"), base_url="https://你的moonshot接入点/v1" ), } # 模型 row_key 与厂商映射 MODEL_VENDOR = { "claude-fable-5": "anthropic", "claude-opus-4-8": "anthropic", "qwen3-coder-plus": "bailian", "qwen3-coder-480b-a35b-instruct": "bailian", "kimi-k2.5": "moonshot", } def route_and_call(task_type: str, messages: list, context_len: int = 0): """5 场景屠夫路由""" if task_type == "long_horizon_code" and context_len > 50_000: model = "claude-opus-4-8" # 长上下文屠夫 elif task_type == "long_horizon_code": model = "qwen3-coder-480b-a35b-instruct" # 速度屠夫 elif task_type == "tool_repair": model = "claude-fable-5" # 工具调用屠夫 elif task_type == "complex_planning": model = "claude-opus-4-8" # 规划屠夫 elif task_type == "multimodal_action": model = "claude-fable-5" # 多模态屠夫 elif task_type == "long_context_qa": model = "claude-opus-4-8" # 长上下文屠夫 else: model = "qwen3-coder-plus" # 性价比屠夫 vendor = MODEL_VENDOR[model] client = clients[vendor] response = client.chat.completions.create( model=model, messages=messages, temperature=0.2, ) return response.choices[0].message.content # 使用示例 if __name__ == "__main__": result = route_and_call( task_type="tool_repair", messages=[{ "role": "user", "content": "我的 API 调用返回 401,traceback 是 ...,请帮我修复" }] ) print(result)

跑这段代码前把环境变量换成你自己的接入点即可。我在生产环境是走炻光接入层,5 个基座共用一个 base_url,代码更短。

七、调 Agent 基座 API 的几个细节(FAQ)

Q1:Opus 4.8 和 Fable 5 该选哪个?
A:Opus 4.8 长程规划 + 长上下文屠夫,¥12.5/1M tokens 输出;Fable 5 工具调用 + 多模态屠夫,¥25.0/1M tokens 输出。如果你只买一个,Opus 4.8 更通用。

Q2:Qwen3-Coder-Plus 和 480B-A35B-Instruct 怎么选?
A:Plus 是性价比屠夫(¥4.8/1M tokens 输出),适合短模块 + 短对话;480B-A35B 是仓库级理解屠夫(¥12.0/1M tokens 输出),适合大型项目重构。

Q3:Kimi K2.5 在这次横评里定位是什么?
A:多模态屠夫。¥10.5/1M tokens 输出,介于 Plus 和 480B 之间,在国产基座里性价比突出。

Q4:为什么不用 GPT-5.x 或者 Gemini 做对比?
A:这次主题是跨 3 国产 + 1 海外厂商的屠夫视角,OpenAI 和 Google 的屠夫基座留到下一次单独写。

Q5:实测数据怎么复现?
A:每个场景的 prompt 模板我放在炻光文档的"Agent 横评"分类下,读者可以自行拉取跑分。

八、参考资料

  • 炻光 AI 接入管理平台 - 跨厂商基座统一接入与本次实测数据

  • Anthropic 官方文档 - Claude 模型 - Fable 5 / Opus 4.8 模型介绍

  • 阿里云百炼 - Qwen3-Coder 系列 - Plus / 480B 模型介绍

  • Moonshot AI 开放平台 - Kimi K2.5 模型介绍

九、写在最后

3 条经验:

  1. 屠夫基座 ≠ 最强基座:每个场景都有自己的屠夫,选错基座的成本是 3-5 倍浪费。这次横评里 Fable 5 和 Opus 4.8 各占 2 个屠夫位,Qwen3-Coder-Plus 在短对话上是屠夫,千万不要一刀切。

  2. 路由策略比单模型优化更重要:我自己的生产数据是路由后成本降 40%、完成率升 8%。按场景路由是 Agent 落地的第一性原理,跨厂商横评的意义就是把屠夫基座识别出来再组合。

  3. 跨厂商横评要按场景,不要按 benchmark:benchmark 是平均分,场景是方差。屠夫基座的意义就是"在这个场景下,我可以放心用",而不是"这个模型总评分最高"。

编程学习 学习日记 实战经验
← 返回列表