156、LangChain LCEL 表达式语言:用管道语法构建可流式、可异步的 Chain

📅 2026/7/7 12:46:32 👁️ 阅读次数 📝 编程学习
156、LangChain LCEL 表达式语言:用管道语法构建可流式、可异步的 Chain

156、LangChain LCEL 表达式语言:用管道语法构建可流式、可异步的 Chain

从一次线上事故说起

上个月,我负责的一个AI客服系统突然在高峰期崩溃了。用户发一条消息,后端要等十几秒才返回——不是模型慢,是Chain的调用方式太蠢了。我翻出日志,发现每个请求都在同步等待LLM输出完整结果,然后才做后处理。用户等得不耐烦,直接刷新页面,结果又触发一次请求,雪崩效应直接干趴了服务器。

当时我用的还是老式Chain写法,比如LLMChainSequentialChain,代码长这样:

# 别这样写,这是事故现场fromlangchain.chainsimportLLMChainfromlangchain.promptsimportPromptTemplate prompt