三亩地 三亩地SAN MU DI · CODE DIARY
ARTICLE DETAIL

日记详情

真实记录编程学习的某一天,欢迎挑你感兴趣的翻一翻。

异步 RAG 延迟复盘:把一次排查变成下次的规则

异步 RAG 延迟复盘:把一次排查变成下次的规则

异步 RAG 延迟复盘:把一次排查变成下次的规则

延迟复盘要留下请求路径、超时位置和回退行为,下一次才有东西可比。示例场景不等同于线上事故。

先界定问题

异步 RAG 系统的端到端延迟优化 是否合适,取决于任务约束。先写清目标任务、可能失败的输入或依赖,以及通过条件,别把演示中的顺利路径当成生产能力。

处理与验证

先拆清主链路再谈优化。请求、检索、模型调用和输出校验应分别观测;任何优化都要保留关闭开关和回退路径。

准备覆盖正常请求、空结果、格式错误和依赖超时的样本。每次只调整一个变量,保存配置、样本版本和原始结果;先复现,再判断问题来自数据、配置、实现还是外部依赖。

对比结果应说明环境、并发方式、数据规模、预热和统计口径;缺少这些条件,就不要发布 P95、吞吐或“提升”结论。还要检查异常输入、重试是否放大负载,以及开关和旧路径能否回退。

← 返回列表