Speculative Decoding 深度解析：大模型推理加速的杀手锏
摘要：大模型推理速度慢？本文深入解析 Speculative Decoding（推测解码）技术——让小模型打草稿、大模型来审核，实现2-4倍无损加速。从直觉理解到数学原理，从工业实践到前沿研究方向，带你全面掌握这一AI推理领域的杀手级技术。
关键词：Speculative Decoding；大模型推理；LLM加速；Medusa；vLLM
一、为什么大模型推理这么慢？
2024-2025年，大语言模型的能力不断刷新认知。从GPT-4到Claude，从Llama到Qwen，模型越来越聪明。但有一个问题始终困扰着从业者——推理太慢了。
你在使用AI助手时，输入问题后，它一个字一个字地蹦出答案。对于70B参数的模型，即便在高端GPU上，生成速度也可能只有每秒20-30个token。
根本原因：计算密集型瓶颈
标准自回归解码是一个串行过程：每一步生成一个token，每一步都需要加载全部模型权重执行前向传播。
这意味着模型的巨大参数量（7B、70B、405B）在每一次解码时都要被完整访问一次——这是计算密集型操作，而非访存密集型。无论GPU显存带宽多大，都受限于计算单元的处理速度。
现有方案的局限
| 方案 | 加速效果 | 代价 |
|---|---|---|
| 量化(INT8/INT4) | 1.5-2x | 轻微精度损失 |
| Flash Attention | 1.3-1.5x | 无损，但主要优化显存 |
| PagedAttention | 提升吞吐量 | 无损，主要优化显存管理 |
| 模型蒸馏 | 改变模型结构 | 需要重新训练，能力下降 |
有没有一种方案，可以不牺牲模型能力、不修改模型结构，纯算法层面的加速？
有。这就是 Speculative Decoding（推测解码）。
二、核心思想：猜完了再验证
一个生活类比
想象你是一位教授，需要写一篇长论文：
- 方式一（标准解码）：你自己逐字写，每写一个字都反复推敲。质量高，但速度慢。
- 方式二（推测解码）：你让研究生先快速打个草稿，一口气写一段。然后你来审阅，从头到尾看一遍，决定哪些保留、哪些修改。
关键洞察：审阅一段话的速度远快于自己逐字写一段话。因为你只需要看一遍，而写需要反复构思。同理，大模型验证一个token和生成一个token的计算成本接近，但小模型生成token快得多。
如果小模型猜得足够准，一次验证就能确认多个token，整体速度就提升了。
算法流程
推测解码的执行分为两个阶段，交替进行：