GPT-5.6-sol vs GPT-5.5 新题实测:概率状态机和日志聚合代码谁更稳?
GPT-5.6-sol vs GPT-5.5 新题实测:概率状态机和日志聚合代码谁更稳?
这篇是模型对比系列的新一轮 CSDN 版。为了避免重复上一轮的滑轮物理题和依赖背包题,这次我换了两道新题:
- 一道偏概率状态机的等待时间题:偏置硬币直到第一次出现
HHTH。 - 一道偏工程代码的日志聚合题:统计模型调用日志里的 token、cost、cache hit rate 和 top users。
测试对象仍然是:
gpt-5.6-sol gpt-5.5先说结论:两个模型这轮都能做对核心任务。概率题两者都给出正确数值12.6547,但都没有主动给出我预设的精确分数7162950/566029;代码题两者都输出了可运行 Python,并通过同一组本地测试。
一、测试环境
接口:
https://cn.crazyrouter.com/v1/chat/completions结果文件:
.tmp/model_compare_gpt56sol_gpt55_round7_round8_results.json代码产物目录:
.tmp/model_compare_gpt56sol_gpt55_round7_round8_artifacts记录字段:
| 字段 | 用途 |
|---|---|
http_status | 判断 API 请求是否成功 |
finish_reason | 判断输出是否自然结束 |
completion_tokens | 输出 token 消耗 |
reasoning_tokens | 推理 token 消耗 |
visible_content_chars | 可见输出长度 |
| 本地测试 | 编程题是否真的能跑 |
二、概率题:偏置硬币直到出现 HHTH
题目:
一枚偏置硬币每次独立抛掷,P(H)=0.62,P(T)=0.38。 连续抛掷直到第一次出现模式 HHTH 为止。 要求: 1. 求停止时所需抛掷次数的期望值。 2. 必须用状态方程或马尔可夫状态推导。 3. 说明在状态 HH 后如果再抛出 H,为什么仍然留在 HH 状态。 4. 解释为什么不能直接写成 1 / P(HHTH)。参考答案:
E[N] = 7162950 / 566029 ≈ 12.6547这题的关键不是算P(HHTH),而是处理模式重叠。状态可以定义为当前后缀与目标HHTH的最长匹配前缀:
S0 = 空 S1 = H S2 = HH S3 = HHT S4 = HHTH,吸收态容易错的点是:
在 HH 状态后继续抛出 H,得到 HHH。 HHH 的后缀里与 HHTH 前缀匹配最长的是 HH。 所以状态仍然是 HH,不是退回 H 或空状态。三、概率题实测结果
| 模型 | max_tokens | finish_reason | completion_tokens | reasoning_tokens | 可见输出 | 耗时 | 结论 |
|---|---|---|---|---|---|---|---|
gpt-5.6-sol | 3200 | stop | 1705 | 655 | 1644 | 39.3s | 数值正确,未给精确分数 |
gpt-5.5 | 3200 | stop | 1433 | 516 | 1322 | 28.2s | 数值正确,未给精确分数 |
gpt-5.6-sol给出的等价公式是:
E[N] = 1/(p^3 q) + 1/p ≈ 12.6547gpt-5.5也给出了同样的状态转移和数值:
E0 ≈ 12.6547这说明两个模型都理解了HHTH的状态重叠;但如果文章或报告要求精确分数,仍然需要单独检查输出格式,不能只看小数。
四、编程题:模型调用日志聚合
第二题是一个更接近生产后端的 Python 函数:
aggregate_model_usage(events,window_start,window_end)输入是模型调用日志,每条日志可能包含:
ts user model status input_tokens output_tokens cached_tokens cost要求包括:
只统计 window_start <= ts < window_end 的事件 缺失 user 归 unknown 缺失 model 归 unknown total_events 统计窗口内全部事件 success_events 只统计 status == 200 失败事件只计入 requests 和 failed_events,不累计 token/cost by_model 统计 requests/success/tokens/cost/cache_hit_rate top_users 返回成功事件 cost 最高的前 3 个用户 cost 和 cache_hit_rate 保留 6 位小数 不修改输入对象本地测试覆盖了这些场景:
时间窗口边界:[start, end) 失败事件不累计 token 和 cost 缺失 user/model 的归类 cache_hit_rate = cached_tokens / input_tokens top_users 按 cost 降序,cost 相同按 user 字典序 输入对象不被修改 空窗口返回空统计五、编程题实测结果
| 模型 | max_tokens | finish_reason | completion_tokens | reasoning_tokens | 可见输出 | 耗时 | 本地测试 |
|---|---|---|---|---|---|---|---|
gpt-5.6-sol | 7600 | stop | 1767 | 125 | 5929 | 34.1s | 通过 |
gpt-5.5 | 7600 | stop | 2330 | 113 | 7349 | 45.6s | 通过 |
代码产物:
.tmp/model_compare_gpt56sol_gpt55_round7_round8_artifacts/gpt_5_6_sol_code_007_usage_aggregator_max_7600.py .tmp/model_compare_gpt56sol_gpt55_round7_round8_artifacts/gpt_5_5_code_007_usage_aggregator_max_7600.py本地测试核心样例:
events=[{"ts":"2026-07-11T00:00:00Z","user":"alice","model":"gpt-5.5","status":200,"input_tokens":100,"output_tokens":50,"cached_tokens":20,"cost":0.30},{"ts":"2026-07-11T00:10:00Z","user":"bob","model":"gpt-5.5","status":500,"input_tokens":999,"output_tokens":999,"cached_tokens":999,"cost":9.99},{"ts":"2026-07-11T00:20:00Z","user":"bob","model":"gpt-5.6-sol","status":200,"input_tokens":200,"output_tokens":80,"cached_tokens":50,"cost":0.80},{"ts":"2026-07-11T00:40:00Z","user":"carol","status":200,"input_tokens":50,"output_tokens":10,"cached_tokens":25,"cost":0.20},]期望结果里,失败事件只计入请求数,不应把999tokens 和9.99cost 算入成功消耗。这类边界如果没测,很容易在运营报表里把成本放大。
六、横向对比
| 维度 | gpt-5.6-sol | gpt-5.5 |
|---|---|---|
| 概率题状态建模 | 正确 | 正确 |
| 概率题数值 | 12.6547正确 | 12.6547正确 |
| 是否给出精确分数 | 未主动给出 | 未主动给出 |
| 概率题耗时 | 39.3s | 28.2s |
| 日志聚合代码 | 本地测试通过 | 本地测试通过 |
| 代码题耗时 | 34.1s | 45.6s |
| 输出完整性 | finish_reason=stop | finish_reason=stop |
这轮没有出现“一个模型做对、另一个模型做错”的情况。更准确的结论是:
概率状态机题:两者都正确,gpt-5.5 更快。 日志聚合代码题:两者都通过本地测试,gpt-5.6-sol 更快、输出更短。七、复现实测时要注意什么
第一,不要只看 HTTP 200。
至少要记录:
finish_reason completion_tokens reasoning_tokens visible_content_chars第二,数学/概率题不要只看小数。
这轮两个模型都给出了12.6547,但都没有主动给出精确分数。如果你的评测要求精确表达,需要额外检查。
第三,代码题必须保存成文件跑测试。
“看起来有函数”不等于可用。尤其是日志聚合这种题,缺失字段、失败请求、窗口边界、排序 tie-break 都要靠测试兜住。
八、CSDN 图床检查
本文图片使用可外链 URL:
https://media.crazyrouter.com/task-artifacts/playground/user-1/images/2026/07/10/gpt56sol_gpt55_round7_csdn_card-bd17be99d7c6.png本文没有使用 GitHub raw 图片链接。
九、结论
这轮新题的结论比较克制:
gpt-5.6-sol 和 gpt-5.5 都能完成概率状态机推导和日志聚合代码。 概率题上 gpt-5.5 更快;代码题上 gpt-5.6-sol 更快。 两者都没有主动输出精确分数,所以严谨评测仍然要做答案格式检查。如果你要把模型接入生产报表或内部评测系统,建议把“本地测试是否通过”放在文章结论之前。模型说自己写完了不重要,代码跑过边界用例才重要。