目录

前言

一. 为什么需要码率控制？

二. 码率控制的基本框架

三. 常见的码率控制模式

3.1 恒定码率（CBR, Constant Bitrate）

3.2 可变码率（VBR, Variable Bitrate）

3.3 平均码率（ABR, Average Bitrate）

3.4 恒定质量（CRF, Constant Rate Factor 与 CQP）

3.5 其他变体

四. 经典码率控制模型

4.1 TM5：MPEG-2 的码率控制

4.2 TMN8 与 VM8：走向宏块级

4.3 二次率失真模型与 H.264 的 JM 码率控制

4.4 ρ 域模型

4.5 λ 域码率控制：HEVC 的革新

五. 缓冲管理与 HRD

六. x264/x265 中的码率控制实现细节

七. 实时通信中的特殊考量

八. 机器学习与数据驱动码率控制

九. 实践中的参数理解

十. 结语

前言

在数字视频编码与传输的整个链路中，码率控制（Rate Control）是一个既基础又关键的环节。它直接决定了编码器输出的码流能否适配传输信道带宽，以及终端解码播放时画面质量的平稳性。然而码率控制并不是简单的“设定一个目标码率就万事大吉”，它涉及率失真理论、缓冲模型、视觉心理学乃至现代数据驱动方法。本文尝试以技术博客的形式，系统地梳理码率控制的基本原理、经典模式、核心数学模型以及在 x264/x265 等主流编码器中的工程实践。

一. 为什么需要码率控制？

视频编码的核心矛盾是质量与体积的平衡：我们希望在给定文件大小或传输带宽的前提下，尽可能提高观看质量；或者在满足一定质量要求时，尽量降低码率。但视频序列在时间上的复杂度是剧烈变化的——一个静止场景可以在几十 kbps 下完美重建，而一个高速运动的颗粒噪声画面可能需要上百倍码率才能避免严重失真。

如果编码器不加控制，只是按照固定量化参数（QP）压缩，输出的瞬时码率将剧烈振荡：简单场景下码率极低、浪费了带宽；复杂场景下码率飙升，可能超过信道容量，造成网络丢包或播放卡顿。码率控制就是这样一套动态调整编码参数（主要是量化步长）使得输出码率在约束条件下尽可能保持平稳、质量尽可能高的算法集合。

形式上，典型的视频编码优化问题是：在总比特数预算 R_target 的约束下，最小化视频序列的总体失真 D ，即

其中 \(N\) 是编码单元数（帧、切片或宏块/CTU）。码率控制的任务就是把这个全局约束转化成每个编码单元可执行的 QP 决策。

二. 码率控制的基本框架

2.1、不论采用何种数学模型，码率控制通常可以分为三个层次：

• (1).GOP 层（Group of Pictures）：为整个图像组分配预算，并决定 I、P、B 帧的权重差异。
• (2).帧层（Frame level）：为每一帧分配目标比特数。
• (3).基本单元层（Block level，如宏块或 CTU）：在一帧内根据局部时空复杂度微调 QP，保证主观与客观质量均衡。

这三个层次都会依赖一个率失真模型（R-D model）来描述码率 \(R\) 和失真 \(D\)（或量化步长 \(Q\)/QP）之间的关系。经典视频编码多数使用量化步长与码率的经验关系，而后来的方案开始直接用拉格朗日乘子 \(\lambda\) 来驱动。

三. 常见的码率控制模式

工程中，用户和开发者看到的是各种“模式”，它们本质上对应不同的约束条件和优化目标。

3.1 恒定码率（CBR, Constant Bitrate）

CBR 的目标是让输出码流在短时窗口内维持一个恒定的码率。典型做法是引入虚拟缓冲区模型：编码端模拟解码器的缓冲区充盈度（buffer fullness），当缓冲区快满时增大 QP 减少码字，快空时减小 QP 多分配码字，从而防止上溢（overflow）或下溢（underflow）。CBR 适用于实时通信或固定带宽信道（如卫星、直播），但代价是质量随场景复杂度剧烈波动。

3.2 可变码率（VBR, Variable Bitrate）

VBR 允许整体码率在时间轴上起伏，但长时间平均仍符合目标。可以分为：
无约束 VBR：只要求整个文件平均码率等于目标值，瞬时码率可以任意高（实际会受 HRD 限制）。
约束 VBR：给定峰值码率上限来保证解码器缓冲区不会溢出。
VBR 适合存储应用，可以在简单场景节省码字留给复杂场景，相同平均码率下整体质量优于 CBR。

3.3 平均码率（ABR, Average Bitrate）

ABR 可以看作 VBR 的一种松弛形态，它面向整体文件的平均码率，而没有严格的瞬时约束。在 x264/x265 中，`--bitrate` 模式即为 ABR，通常会结合一个很大的缓冲区，使得编码器有更多自由度优化质量。

3.4 恒定质量（CRF, Constant Rate Factor 与 CQP）

CQP是固定 QP，完全不控码率，常用于测试和学术实验。CRF则是 x264/x265 独有的“恒定感知质量”模式，其本质是动态 QP，但对不同帧根据其复杂度维持人眼主观质量恒定，输出码率完全由内容决定。CRF 内部使用了自适应量化（AQ）和宏块树（MBTree）等来分配码字，目标不是码率而是质量，因此无法精确控制文件大小，适合视频存档和个人压制。

3.5 其他变体

CVBR (Constrained VBR)：带峰值码率上限的 VBR。
ABR with VBV：在 ABR 基础上增加 VBV 缓冲约束以保证实时传输兼容性。

四. 经典码率控制模型

早期的码率控制往往直接根据 QP 预测比特数。随着理论发展，出现了多个里程碑式的模型。

4.1 TM5：MPEG-2 的码率控制

MPEG-2 的测试模型 TM5 是最早广泛使用的帧级码率控制方案之一。它分三步：
(1). 目标比特分配：按帧类型（I/P/B）和 GOP 结构为每一帧计算目标比特。
(2). 全局复杂度估计：用前一相同类型帧的编码结果（生成比特数、平均 QP）定义“全局复杂度度量”。
(3). 通过虚拟缓冲区反馈调整 QP：基于当前缓冲区充盈度对 QP 进行微调。

虽然简单，TM5 奠定了“比特分配 + 缓冲区调节”的基本范式。

4.2 TMN8 与 VM8：走向宏块级

H.263 的 TMN8 和 MPEG-4 的 VM8 将控制粒度细化到宏块层。它们用宏块的方差或 MAD 来衡量复杂度，并在帧内依据宏块复杂度分配更多码字给难编码区域。此时，码率和量化步长之间的关系还大多基于经验公式，例如对数关系或二次关系皆有所尝试。

4.3 二次率失真模型与 H.264 的 JM 码率控制

H.264/AVC 参考软件 JM 中采用了一套影响深远的二次 R-Q 模型。其理论基础是：假设变换系数服从某种分布（如拉普拉斯或高斯分布），可以推导出头信息与预测残差比特数之和与量化步长的关系，简化成如下二次形式：

其中 \(Q_{step}\) 是量化步长，\(X_1\) 和 \(X_2\) 为模型参数（通过前一帧的编码结果线性回归更新）。这样，在给定帧目标比特后，可直接求解出对应的 \(Q_{step}\)，再转化为 QP。

但这模型存在问题：在“跳帧”或无残差编码时不稳定，且不能很好地处理帧间预测对码率的非线性影响。为了改进，JVT-G012 提案引入线性预测模型估计 MAD（平均绝对差）来预测当前帧的复杂度，再通过上述二次模型求 QP。不过这依然是在“先估算帧复杂度→预测 QP→编码”的循环内。

4.4 ρ 域模型

He 等人提出的 ρ 域模型从另一个角度出发：令 ρ 为量化后零系数的比例。大量实验发现，无论内容如何，编码比特数 \(R\) 与 \(1-\rho\) 呈线性关系：

其中斜率 \(\theta\) 缓慢变化、可通过一次编码后更新。ρ 与 QP 之间又有单调关系，因此可以建立 QP→ρ→R 的映射链。ρ 域模型简洁、计算量小，适合实时场景，并被部分商用编码器采纳。但它没有显式处理帧类型带来的差异，需要额外的帧层分配逻辑。

4.5 λ 域码率控制：HEVC 的革新

进入 H.265/HEVC 时代，码率控制迎来了范式转变。传统模型都是“给定 R，求 QP”，而现代混合编码中，模式决策、运动估计等都使用了拉格朗日优化：

这里的 \(\lambda\) 是拉格朗日乘子，它与 QP 有固定关系（H.264: \(\lambda = c \cdot 2^{(QP-12)/3}\)，HEVC 类似）。Li 等人发现，\(\lambda\) 和实际码率 \(R\) 之间存在比 QP-R 更稳定、更适合全局优化的关系。他们提出了一个**双曲线模型**：

结合 RDO 理论，可推导出 \(\lambda\) 与 \(R\) 的关系：

简化后得到 \(\lambda = \alpha R^{\beta}\)，其中 \(\alpha, \beta\) 是与序列内容相关的参数，可通过已编码帧在线更新。这套 λ 域控制不再需要分立的 QP 决策步骤：一旦分配了目标比特 \(R\)，直接计算对应 \(\lambda\)，然后映射到 QP 用于编码；同时 CTU 层的码率分配也同步使用相同的 \(\lambda\) 关系。这套方案大幅提升了控制精度和率失真性能，已被标准化参考软件 HM 和实际编码器 x265 采纳。

值得一提的是，x265 中 λ 域模型还考虑视觉感知——结合时域掩蔽、空间复杂度等对 CTU 级的 λ 进行微调，以达到更佳主观质量。

五. 缓冲管理与 HRD

码率控制不可脱离解码器缓冲区模型。视频编码标准中定义了假设参考解码器（HRD, Hypothetical Reference Decoder），它规定了码流进入缓冲区、解码移除数据的时序规则。

编码器需要模拟 HRD 过程，保证：
下溢（缓冲区没有完整的帧可解码）不会发生，否则意味着该帧数据不够解码器消耗；
上溢（比特数超过缓冲区容量）不会发生，否则会丢失数据。

CBR 模式下，缓冲区充盈度的变化直接驱动 QP 偏移，形成反馈控制。VBV（Video Buffering Verifier）是实际工具，例如 x264 通过 `--vbv-maxrate` 和 `--vbv-bufsize` 约束输出码流，达到严格的 HRD 一致性，这在专业广播和光学媒介编码中必不可少。

六. x264/x265 中的码率控制实现细节

理解论文模型和真实编码器差异至关重要。以下以 x264 为例。

x264 支持多种码率控制模式，内部实现是一套灵活的框架，主要包括：

1-pass ABR：使用一个非常大的虚拟 VBV 缓冲区模拟长期平均，结合帧内帧间代价预测、快速运动估计等估计各帧饱和度，分配比特。x264 并不严格遵循二次模型，而是用自己的启发式方法从代价（SATD 值）映射到 QP，并通过 VBV 反馈实时微调。
2-pass VBR：首遍编码收集每一帧的 SATD、帧类型、运动向量等统计信息，计算“代价曲线”，第二遍编码在全局优化框架下分配帧级目标比特，使得总体质量波动最小。这本质上是离线最优分配。
CRF + VBV：CRF 初始基于“质量因子”映射出一个基础 QP，然后通过 VBV 约束进行限幅（cap），防止复杂场景码率爆炸。这意味着 CRF 也可实现“受约束的恒定质量”。
宏块树（MBTree）：严格来说 MBTree 并非码率控制算法，而是时域自适应量化。它追踪每个宏块的传播代价，给被后续帧高度参考的块分配更多码字（减小 QP）。它对码率分配产生了巨大间接影响，使得 VBR/ABR 效率大幅提升。
自适应量化（AQ）：在 CTU/宏块层根据空间纹理方差调整 QP 偏移量，平坦区域容易被察觉块效应，给予更多比特，纹理区域略增 QP 节省码字。AQ 直接影响码率分配，x264 提供了多种 AQ 模式（方差、方差与亮度混合、自动变种等）。

x265 继承了 x264 的很多思想，但底层模型切换到 λ 域，帧级和 CTU 级的 λ 计算均基于双曲线拟合，VBV 补偿更细腻。x265 加上 `--hrd-conformance` 选项可以输出符合 HRD 的码流，广泛应用于 OTT 点播和 ATSC 广播。

七. 实时通信中的特殊考量

WebRTC 等实时视频通信场景对码率控制有独特要求：
极低延迟：不能依靠大缓冲和超前分析，需要逐帧快速决策。
网络带宽动态变化：需要配合拥塞控制（如 GCC）实时更新目标码率，并立即反映到编码参数上。
帧率与分辨率自适应：当带宽急剧下降，单纯增大 QP 会造就极差质量，此时可结合分辨率/帧率伸缩（如 simulcast、SVC、动态降分辨率）实现码率控制。

在这些场景中，软件编码器（如 openh264、libvpx）往往将码率控制内部与带宽估计联动。例如，在 VP8/VP9 中，基于 DCT 系数的“代价”指标和一阶线性模型来调节 QP，并融入黄金帧/交替参考帧结构做特殊分配。

八. 机器学习与数据驱动码率控制

近几年，基于机器学习的码率控制成为研究热点。代表方法有：
强化学习：将码率控制看作序列决策（Markov Decision Process），每一帧选择 QP 的动作，奖励函数为质量与码率约束的折衷。通过训练两个神经网络（actor-critic）在线决策 QP，在部分场景取得比传统模型更好的 R-D 性能。
神经网络率失真模型：用一个小型全连接或卷积网络代替传统的二次或双曲线模型，输入特征包括帧的 DCT 统计直方图、运动向量强度、亮度直方图等，直接预测比特数或最优 \(\lambda\)。
内容自适应码率分配：利用 DNN 预测各 CTU 的主观重要性或失真敏感度，据此调整局部 QP。

不过这些方法多数仍处于学术原型阶段，尚未在通用开源编码器中落地。主要挑战包括计算开销、跨编码标准的泛化能力、以及与传统 VBV/HRD 约束的深度集成。

九. 实践中的参数理解

普通用户通过 FFmpeg 等工具使用编码器时，常见参数与上述理论如何对应？
`-b:v`：设置视频目标码率（ABR/VBR）。在 x264 中对应 `--bitrate`，x265 中 `--bitrate`。
`-maxrate` 与 `-bufsize`：联合定义虚拟 VBV 缓冲。`maxrate` 是峰值速率，`bufsize` 是缓冲区大小。典型直播设置 `-b:v 4000k -maxrate 4000k -bufsize 8000k` 实现 CBR。
`-crf`：x264/x265 专有，放弃码率控制，追求质量稳定。数值越低质量越高，通常 18-28 为合理区间。
`-qp`：固定 QP，无码率控制。
`-preset` 与码率控制无关，它是控制编码速度与压缩效率的开关，但更快的 preset 可能影响码控精度，因为分析减少导致比特预测误差增大。
`-aq-mode`：与主观码率分配直接相关，值得根据内容类型调优。
VBV 相关参数：`-maxrate` 和 `-bufsize` 之外，x264 还有 `-vbv-init` 设置初始缓冲充盈度（如 0.9 表示填充 90%），影响起播延迟。

十. 结语

码率控制从 TM5 到 λ 域模型，经历了从启发式调节到理论驱动优化、从帧级到 CTU 级、从纯客观到融合感知的多个演进阶段。理解码率控制，本质上就是在理解视频编码中“复杂性→比特→QP→失真”这条反馈链路上的所有权衡。

对于工程人员来说，选择码率控制模式需要结合应用场景：实时通信选用 CBR 并配合小缓冲；点播存档用 2-pass VBR 极致压缩；个人存储用 CRF 最快获得恒定画质。而在更深层的技术选型上，λ 域码率控制提供了比 QP 域更精准和优雅的框架，已经被 HEVC 及 VVC 参考软件所继承和发展。

最终，随着视频流媒体占比持续攀升，智能、内容感知的码率控制将成为编码器竞争力的核心。无论是心理视觉冗余的发掘，还是深度融合拥塞控制的跨层优化，码率控制都有望在理论和工程上不断取得新的突破。