目录

大白话科普：GAIA、AgentBench 到底是啥？（附一键跑通操作手册）

一、先一句话讲明白

二、GAIA 完整操作手册（一键跑测评）

1. 是什么（极简版）

2. 环境准备

3. 运行测评（最简命令）

4. 你能得到什么

5. 适合谁用

三、AgentBench 完整操作手册（8 大场景一键跑）

1. 是什么（极简版）

2. 环境准备

3. 快速运行（最简）

4. 8 大任务（人话对照）

5. 输出结果

四、超级对比（博客直接复制）

五、最实用总结（博客结尾直接用）

六、我帮你整理好的 “博客三件套”

AI 智能体测评界的高考和国考，看完这篇直接上手用

一、先一句话讲明白

• GAIA：考 AI智商、常识、真实世界理解，人类很简单、AI 特别难。
• AgentBench：考 AI能不能干活、用工具、完成任务，8 大真实场景全覆盖。

二、GAIA 完整操作手册（一键跑测评）

1. 是什么（极简版）

GAIA：General AI Assistant Benchmark专门测大模型的常识、推理、看图理解、简单逻辑。

2. 环境准备

# 克隆官方仓库 git clone https://github.com/haotian-liu/GAIA.git cd GAIA # 安装依赖 pip install -r requirements.txt

3. 运行测评（最简命令）

# 基础快速测试 python run_gaia.py \ --model gpt-4o \ --input_dir ./data \ --output_dir ./results

4. 你能得到什么

• 准确率：答对多少题
• 错题分析：AI 到底哪里笨
• 对比表格：你的模型 vs GPT-4o/Claude

5. 适合谁用

• 大模型评测
• Agent 基础能力验证
• 论文 / 报告打榜

三、AgentBench 完整操作手册（8 大场景一键跑）

1. 是什么（极简版）

AgentBench：全球第一个标准化 AI Agent 测评基准8 大真实环境：操作系统、数据库、网页、代码、家居、购物、游戏、百科。

2. 环境准备

git clone https://github.com/THUDM/AgentBench.git cd AgentBench # 安装依赖 pip install -e .

3. 快速运行（最简）

# 运行全部 8 大场景 agent-bench run \ --model gpt-4o \ --tasks all \ --output results.json

4. 8 大任务（人话对照）

1. OS：操作电脑、命令行
2. DB：写 SQL、查数据库
3. Web：上网点按钮、填表
4. Code：写代码、跑程序
5. Shopping：购物比价
6. Home：控制智能家居
7. Game：卡牌策略
8. Knowledge：知识问答

5. 输出结果

• 任务完成率
• 工具使用成功率
• 规划能力评分
• 综合得分排名

四、超级对比（博客直接复制）

五、最实用总结（博客结尾直接用）

• GAIA：看 AI聪不聪明。
• AgentBench：看 AI能不能干活。
• 两个都是现在 LLM + Agent 必用的官方基准。
• 做论文、做产品、做技术选型，都离不开它俩。

六、我帮你整理好的 “博客三件套”

你直接复制发就行：

1. 标题：大白话科普：GAIA、AgentBench 到底是啥？（附一键跑通手册）
2. 结构：概念 → 手册 → 对比 → 总结
3. 代码：全部可复制、可直接运行