7 月总结：LLM 工作流自动化的探索与反思——从兴奋到冷静的工程沉淀

一、一个月的认知曲线：从"AI 能做什么"到"AI 该在哪里停"

7 月份 LLM 工作流自动化的实践经历了一条清晰的认知曲线。月初对 Agent 自主工作流充满期待——"让 AI 自己决定怎么做"。月中在多次深夜回滚后转为冷静——"AI 能做的事边界比预期窄得多"。月末形成了稳定的判断——"AI 的价值不在于替代人类决策，而在于加速人类的决策过程"。

这个认知转变不是对 AI 能力的否定，而是对 AI 角色的重新定位。AI 最适合的角色不是"决策者"，而是"信息聚合器"——收集和分析信息后交给人类决策。在 7 月实践的所有 LLM 工作流中，这个"人机协作"模式的可靠性比"全自动"高 3 倍。

二、LLM 工作流自动化的三个可信度层级

通过一个月内的 12 个生产级工作流实验，将 LLM 自动化的可信度分为三个层级：

层级一：确定性强的工作流（可信度 90%+）

特征：输入格式固定、输出有明确标准、不需要上下文推理

# 高可信度：结构化数据提取 # 输入：发票 PDF → 输出：JSON { company, amount, date, items } def extract_invoice_info(pdf_path: str) -> InvoiceData: """成功率 96%，失败主要是扫描件质量问题""" text = ocr_extract(pdf_path) result = llm.structured_extract( text, schema=InvoiceData, examples=INVOICE_EXAMPLES ) if result.confidence < 0.8: # 低置信度 → 人工复核 → 数据飞轮 return queue_for_manual_review(pdf_path) return result

层级二：需要上下文推理的工作流（可信度 70-85%）

特征：需要理解上下文、可能有多步骤查询、输出可能因 Prompt 措辞而变化

# 中可信度：客服意向识别和路由 def route_customer_query(query: str) -> RoutingDecision: """ 成功率 82% 主要失败模式： 1. 短查询缺少上下文（"退款" → 是问退款进度还是要退款？） 2. 多意图混合（"订单在哪 + 能改地址吗"） 3. 情绪化表达影响意图判断 """ intent = llm.classify(query, categories=INTENT_CATEGORIES) if intent.confidence < 0.9: return RoutingDecision( routing="human_agent", reason=f"Low confidence intent: {intent.confidence:.1%}" ) return RoutingDecision(routing=intent.department)

层级三：开放式决策工作流（可信度 < 70%）

特征：需要自主判断、多步骤动态决策、结果没有标准答案

这是全自动 Agent 最容易失败的领域。本月的经验是：在这些场景中使用"推荐模式"而非"自动执行模式"——AI 生成建议，人类做决策。

三、成本控制的实践经验

7 月份建立了 LLM 工作流的成本控制三原则：

原则一：API 调用的分层策略

# 按重要性分层选择模型 critical: - intent_detection: gpt-4o # 错误成本高 - content_moderation: claude-sonnet # 准确性要求高 standard: - faq_matching: gpt-4o-mini # 高频低成本 - text_summarization: gpt-4o-mini trivial: - spell_check: tiny_model # 本地模型 - format_validation: regex # 不用 LLM

原则二：语义缓存的 ROI

在 7 月的项目中，实现了请求级的语义缓存（对相似问题返回缓存结果）：

• 缓存命中率：31%
• API 费用节省：每月约 $120（日均 10000 次调用）
• 延迟降低：缓存命中时从 800ms 降到 5ms

原则三：Token 预算的硬性限制

class TokenBudget: def __init__(self, max_input: int = 2000, max_output: int = 500): self.max_input = max_input self.max_output = max_output self.alerts_triggered = 0 def check(self, input_tokens: int, output_tokens: int) -> bool: if input_tokens > self.max_input: self.alerts_triggered += 1 return False if output_tokens > self.max_output: self.alerts_triggered += 1 return False return True

四、本月最关键的反思

7 月最重要的认知不是"AI 能做到什么"，而是"AI 不应该在什么场景被信任"：

1. 不信任 AI 的数学计算——用工具调用（calculator tool）而非让 LLM 直接计算
2. 不信任 AI 的时效性判断——搜索工具 + LLM，而非 LLM 自己的知识
3. 不信任 AI 的拒绝判断——AI 可能不敢拒绝，需要硬编码的安全规则
4. 不信任 AI 的费用感知——Token 预算必须在 LLM 外部控制

五、总结

7 月份 LLM 工作流自动化的实践得出了一个稳重但准确的结论：

1. 全自动 Agent 的可靠性在 60-70%，对于大多数生产场景不够高
2. 人机协作模式的可靠性超过 90%，AI 收集分析信息 + 人类决策的架构是当前最佳平衡
3. 成本控制的三原则（分层选模型 + 语义缓存 + Token 预算）是生产必须
4. 从不信任 AI在关键时刻的判断——数学、时效性、拒绝和费用的决策必须外部化

资料说明

本文中的协议、版本、性能、成本和行业趋势应以可核验的一手资料为准。未标注统计口径的比例、时间表和预测仅作工程讨论，不应视为行业事实。可参考 0731 资料来源索引，并在发布前将具体来源贴到对应断言之后。