如果你用过各类大语言模型，大概率对 “逐字蹦字” 的生成体验不陌生 —— 长文本生成时，用户等待的焦虑、高并发服务时的算力成本，始终是 LLM 落地的核心瓶颈。而投机解码（Speculative Decoding），正是当前工业界应用最广的无损加速方案：它不需要微调基础大模型，就能在完全不损失输出质量的前提下，将推理速度提升 2~5 倍，是 DeepSeek、OpenAI 等头部厂商生产服务的核心优化手段。

本文从最基础的自回归瓶颈讲起，拆解核心原理、扫清认知误区，梳理技术迭代脉络，一直讲到生产环境的系统级落地优化，帮你从零到一彻底搞懂这项 LLM 推理的核心技术。

一、先搞懂：为什么大模型生成天生就慢？

理解投机解码之前，先要搞清楚它解决的核心矛盾 ——自回归生成的串行瓶颈。
大语言模型的原生生成模式是自回归：每生成 1 个新 token，都必须把前面所有 token 作为输入，跑一次完整的前向传播；生成的新 token 再加入输入，才能算下一个。就像做按顺序填空的试卷，你必须填完第一空，知道答案了，才能填第二空，哪怕你早就知道后面的内容，也不能跳步。

这种模式带来两个致命问题：

1. 延迟线性增长：输出文本越长，用户等待时间越久，长文本生成的体验尤其差；
2. GPU 算力利用率低：单步生成的计算量很难吃满 GPU 的并行算力，尤其是短序列、高并发场景，大量算力被闲置。

过去的优化大多集中在算子优化、显存优化等底层工程，而投机解码跳出了这个框架，从生成逻辑本身入手，把 “串行生成” 改成了 “串行验证”，用并行算力换速度。

二、投机解码核心原理：用「猜 + 验」把串行变并行

投机解码的核心思路非常朴素：用一个轻量的小模型（草稿模型）快速猜出一段候选文本，再用大模型（目标模型）一次性并行验证所有候选，对的保留，错的截断，最后补一个正确的 token。

整个过程严格遵循数学规则，最终输出的概率分布和原生大模型完全一致，属于无损加速，没有任何质量损失。

2.1 完整四步流程：一个例子讲明白

我们用一个具象的场景走完全流程，直观感受它的工作逻辑：

• 已有上下文：「周末我写完作业，打算和朋友去」
• 目标模型（大模型）：跑 1 次前向需要 100ms，原生生成 1 个 token 就要 100ms
• 草稿模型（小模型）：跑 1 次前向需要 20ms，速度是大模型的 5 倍
• 每轮猜 2 个候选 token（草稿块长度 γ=2）

第一步：草稿生成 —— 小模型快速 “蒙答案”

草稿模型基于上下文，一次性输出 2 个候选 token：[公园, 散步]。

这一步的核心是 “快”：小模型参数量小、计算量低，用极短时间给出候选，哪怕准确率稍低也没关系。

第二步：并行验证 —— 大模型一次性 “判完所有题”

把「上下文 + 2 个候选 token」拼成完整序列，直接输入大模型，只跑 1 次前向传播，就能同时得到 2 个候选位置的真实概率分布：

• 第一个候选位置（对应 “公园”）：算出 “去” 之后接各个词的真实概率，其中 “公园” 的概率是 0.8
• 第二个候选位置（对应 “散步”）：算出 “去公园” 之后接各个词的真实概率，其中 “散步” 的概率是 0.3

这一步是投机解码的核心，也是大多数人最容易困惑的地方，我们放在第三节单独拆解。

第三步：逐位校验 —— 左到右拒绝采样，遇拒即停

按照规则从左往右依次验证，遇到第一个被拒绝的 token 就立刻停止，后面的全部作废：

1. 第一个候选「公园」：草稿模型给出的概率是 0.6，大模型给出的概率是 0.8，接受概率为min(1, 0.8/0.6)=1，直接接受；
2. 第二个候选「散步」：草稿模型给出的概率是 0.7，大模型给出的概率是 0.3，接受概率为0.3/0.7≈0.43，触发拒绝，这个词直接作废。

这个验证规则叫做拒绝采样，正是它保证了最终输出的分布和原生大模型完全一致：草稿猜高了的概率，会通过拒绝按比例修正回来。

第四步：生成奖励 token，完成本轮

最后一个候选被拒绝后，大模型直接用当前位置的真实概率分布，采样出一个正确的 token「玩」，作为本轮的 “奖励 token”。

本轮最终输出 2 个 token：接受的「公园」 + 奖励的「玩」，和原生大模型自回归生成的结果分布完全相同，没有质量损失。

2.2 算一笔账：速度是怎么提上来的？

• 投机解码本轮总耗时：草稿 20ms + 验证 100ms = 120ms，生成 2 个 token，单 token 平均耗时 60ms；
• 原生自回归生成 2 个 token：需要串行跑 2 次大模型，耗时 200ms，单 token 平均耗时 100ms。

仅一轮就实现了 40% 的速度提升。如果草稿猜得更准，比如 2 个候选全被接受，本轮就能输出 3 个 token（2 个接受 + 1 个奖励），单 token 耗时仅 40ms，速度提升 150%。

2.3 优化的三大核心杠杆

行业内所有投机解码的技术迭代，都围绕这个核心延迟公式展开：
L=Tdraft+TverifyτL=\frac{T_{draft }+T_{verify }}{\tau}L=τTdraft​+Tverify​​

• TdraftT_{draft}Tdraft​：草稿生成耗时，优化方向是让草稿生成更快；
• TverifyT_{verify}Tverify​：目标模型验证耗时，优化方向是减少无效验证的算力浪费；
• τ\tauτ：单轮平均接受的 token 数量，优化方向是让草稿猜得更准，接受长度更长。

三、核心解惑：为什么大模型一次前向能算出所有位置的分布？

这是理解投机解码的最大门槛，很多人会陷入一个误区：以为大模型输入一段文本，只会输出最后一个词的下一个词概率。但事实是：输入序列有多少个 token，大模型跑一次前向，就会同步输出多少个位置的「下一个词概率分布」。

这个特性由 Transformer 的并行计算机制 + 因果掩码共同决定。

3.1 每个位置都有独立的概率输出

Transformer 的自注意力是并行计算的：输入一段 N 个 token 的序列，模型会给每一个位置都生成一个独立的隐藏状态，再接上语言模型头（线性层 + softmax），算出对应位置的概率分布。

• 第 t 个位置输出的概率分布，含义固定为：模型只看到前 t 个 token 时，第 t+1 个 token 的完整概率分布。

3.2 因果掩码：保证不偷看未来，结果和串行完全一致

有人会问：我把后面的候选 token 一起输进去了，模型会不会 “偷看答案”，导致概率不准？

不会。自回归大模型训练时就加入了因果注意力掩码：第 t 个位置的计算，只能看到第 1 到 t 个 token，绝对看不到 t 之后的任何内容。

我们把前面的例子按位置编号，就一目了然：

输入完整序列（共 12 个 token）：
位置 1-10：「周末 我 写完 作业 ， 打算 和 朋友 去」→ 原始上下文
位置 11：「公园」→ 第一个候选 token
位置 12：「散步」→ 第二个候选 token

大模型一次前向输出 12 个位置的分布，我们只需要其中 2 个：

1. 位置 10 的输出分布：模型只看到前 10 个 token（到 “去”）时，下一个词的概率，对应第一个候选的验证基准；
2. 位置 11 的输出分布：模型看到前 11 个 token（上下文 +“公园”）时，下一个词的概率，对应第二个候选的验证基准。

因果掩码已经保证了：位置 10 的计算绝对看不到位置 11 的 “公园”，位置 11 的计算绝对看不到位置 12 的 “散步”。最终算出的分布，和串行跑两次大模型的结果 100% 完全一致。

3.3 为什么多输入几个 token，耗时几乎不变？

Transformer 的自注意力是天然的并行运算，GPU 的并行架构可以一次性处理所有位置的计算。序列长度从 10 涨到 12，计算量只增加了极少一部分，耗时几乎持平 —— 就像老师改 10 道题和改 12 道题，都是拿过来一次批完，耗时差不了多少，远比重做两遍卷子快。

这就是投机解码加速的底层本质：把大模型多次串行的小计算，合并成一次并行的大计算，用 GPU 的并行算力抵消串行延迟。

四、技术演进史：五代草稿模型的迭代逻辑

草稿模型是投机解码的核心变量，直接决定了 “猜得快不快” 和 “猜得准不准” 的权衡。过去三年，草稿模型经历了五代清晰的技术迭代，逐步逼近最优解。

第一代：独立小自回归模型

2023 年最初的投机解码方案，直接用一个参数量远小于目标模型的完整自回归 LLM 当草稿（比如用 7B 模型给 70B 模型打草稿）。

• 优势：实现简单，无需额外训练，直接复用现有小模型；
• 劣势：草稿生成是串行的，耗时随块长线性增长，只能用很短的候选块（通常 2~4 个 token），加速上限很低。

第二代：内嵌多头预测（Medusa / MTP）

为了摆脱串行瓶颈，出现了 “目标模型内嵌多 token 预测头” 的方案，代表是 Medusa、DeepSeek MTP。

• 核心思路：在目标模型的中间层加多个并行的预测头，第 k 个头直接预测未来第 k 个 token，单次前向就能输出多个候选；
• 优势：无需独立草稿模型，草稿延迟接近常数，和块长无关；
• 劣势：多头之间没有依赖，每个头只基于原始上下文预测，无法建模候选 token 之间的关联，越靠后的 token 准确率暴跌，后缀接受率衰减极快，长块收益很低。

第三代：特征注入自回归草稿（Eagle 系列）

为了提升草稿准确率，出现了深度自回归草稿架构，代表是 Eagle、Eagle3。

• 核心思路：用浅层 Transformer 做草稿模型，同时注入目标模型中间层的隐藏态特征，精准对齐目标模型的语义；
• 优势：自回归生成自带 token 间依赖，后缀接受率稳定，整体准确率高；
• 劣势：依然是串行生成，草稿耗时随块长线性增长，只能用极浅的网络（通常 1~2 层），模型容量有限，首 token 预测准确率上限低。

第四代：并行块生成（DFlash / DART）

2026 年前后，并行草稿模型成为主流，代表是 DFlash、DART，彻底解决了草稿生成的串行延迟问题。

• 核心思路：基于扩散式 / 掩码式并行生成，单次前向直接输出完整候选块，草稿延迟和块长几乎无关；
• 优势：可以用更深的草稿网络（5 层以上），首 token 准确率远超浅层自回归草稿，支持 16 甚至更长的候选块；
• 劣势：所有位置独立预测，完全没有块内 token 依赖，多模态冲突严重（比如前文生成 “of”，后文独立预测出 “problem”），后缀接受率快速衰减，长块边际收益极低。

第五代：半自回归架构（DSpark）

为了同时兼顾并行速度与自回归连贯性，半自回归架构成为当前的生产最优方案，代表就是 DeepSeek 提出的 DSpark。

• 核心设计：重并行主干 + 轻量串行头。主干用并行模型承担主要计算，保证低延迟；末尾叠加一个极轻量化的串行模块（Markov 头 / RNN 头），给并行输出的 logits 加上前缀依赖的偏置，注入块内因果关系；
• 核心优势：仅增加 0.2%-1.3% 的延迟开销，就解决了并行模型的后缀衰减问题，接受长度相比纯并行模型提升 15%-30%，同时保留了并行模型的高容量、低延迟优势，完美平衡了 “猜得快” 和 “猜得准”。

五、不止是算法：生产落地的系统级优化

早期投机解码的研究集中在草稿算法，但真实生产部署中，系统级调度才是决定最终收益的关键—— 很多实验室里效果好的长块方案，放到高并发服务里反而会降低整体吞吐。

5.1 两种验证模式的取舍

验证机制分为两类，适配完全不同的场景：

1. 标准链式验证：最通用的方案，单条候选链左到右验证。实现简单，验证开销和块长线性相关，无损性有严格保证，是高并发生产环境的首选；
2. 树状验证：草稿生成多分支的候选树，目标模型一次性验证所有路径。单轮接受长度上限高，但验证 token 数指数级增长，会严重占用批资源，仅适合低并发、单请求极致低延迟的场景。

5.2 验证调度的演进：从固定长度到全局最优

传统方案默认验证全部候选 token，这种固定长度策略在生产环境有两个致命缺陷：一是适配不了不同任务（代码接受率高、对话接受率低），二是适配不了动态负载（低负载算力闲置、高负载算力不足）。
调度方案也经历了两代演进：

1. 静态置信度裁剪：给草稿模型加一个轻量置信头，预测每个位置的接受概率，设置固定阈值，低于阈值的后缀直接裁剪。可以过滤大量无效后缀，但静态阈值无法适配动态的系统负载；
2. 硬件感知动态调度：以 DSpark 的调度器为代表，把验证长度选择转化为全局系统吞吐最大化的优化问题 —— 提前测试硬件的算力衰减曲线，把所有并发请求的候选 token 按置信度全局排序，从高到低依次加入验证批，当新增 token 无法提升全局吞吐时立刻停止。

这种方案可以实现：低负载时自动延长验证长度，吃满闲置算力；高负载时自动缩短验证长度，优先保证系统并发，彻底解决了传统多 token 投机在高并发下的 “吞吐断崖” 问题。

5.3 不能碰的红线：无损性的严格约束

很多方案看似提升了接受率，实则破坏了投机解码的无损性，导致输出分布偏移，这是生产落地的核心红线。

无损性的核心前提是非预见性：第 k 个 token 是否被纳入验证的决策，不能依赖第 k 个 token 本身的采样结果。一旦决策依赖了 token 本身，就会引入选择偏差—— 系统会倾向于保留 “后续置信度高的 token”，最终改变输出的边缘分布，和原生大模型结果不一致。

比如全局回溯调度：先采样完所有候选，再根据全块置信度选验证长度。这种方案会悄悄改变输出分布，看似提升了指标，实则破坏了无损性，是生产环境的大忌。

六、场景选型：没有最好，只有最合适

投机解码没有通用的最优方案，核心是根据场景做权衡：

1. 单用户低延迟场景（本地推理、低并发对话）：优先最大化单用户速度，适合深层并行草稿 + 长候选块，甚至树验证，不需要过多考虑验证开销；
2. 高并发服务场景（ToB 接口、大规模在线服务）：优先平衡系统吞吐与单用户延迟，适合半自回归草稿 + 硬件感知动态调度，避免无效验证占用批资源；
3. 不同任务域差异：代码、数学推理等结构化任务，token 可预测性强、接受率高，适合长块验证，加速比可达 3~5 倍；开放对话、创意写作分布熵高、接受率低，适合动态短块验证，加速比通常在 2 倍左右。

七、挑战与未来方向

经过几年的迭代，投机解码已经从单点算法演进为 “算法 + 系统 + 硬件” 的全栈优化体系，但依然有很多待突破的方向：

1. 长上下文适配：上下文越长，草稿和验证的开销都会上升，如何在百万 token 级上下文下保持高加速比，是当前的核心难题；
2. 端侧投机解码：端侧设备算力有限，如何设计超轻量的草稿模型，在端侧实现显著加速，是端侧 LLM 的重要落地方向；
3. 多模态扩展：将投机解码的思路扩展到图像、视频生成领域，降低多模态大模型的生成延迟；
4. 端到端联合训练：目标模型训练阶段就适配投机解码，同时优化目标模型和草稿模型，进一步提升接受率上限。

写在最后

投机解码之所以能成为工业界的主流方案，核心在于它找到了一个完美的平衡点：用极低的成本，实现了完全无损的显著加速。它跳出了 “堆算力、优化算子” 的传统框架，从生成逻辑本身重构了推理流程。
随着大模型向更长上下文、更强多模态、更广端侧落地的方向发展，投机解码也会持续迭代，成为 LLM 推理体系里越来越重要的基础设施。