LLM推理优化-FreqDepthKV_2026_精读笔记
FreqDepthKV: Frequency-Guided Depth Sharing for Robust KV Cache Compression in Long-Context LLM Inference
一句话：把相邻 Transformer 层的 KV cache 拆成"公用的低频底色"+“各层特有的高频细节”，只保留高频细节给关键的 token-head 对，其余全共享，从而在不大幅掉点的情况下把 KV cache 压缩到原来的 1/4。但它最心虚的地方是：用了个基于 DCT 的频域分解 + 在线 probe 路由 + 三个可调超参（block size B、probe 采样数、λ 惩罚系数），整条流水线复杂到让人怀疑大部分收益其实来自"多花点算力做自适应压缩"这件事本身，而非频域分解这个 fancy 包装。
一、论文元信息
| 维度 | 内容 |
|---|---|
| 标题 | FreqDepthKV: Frequency-Guided Depth Sharing for Robust KV Cache Compression in Long-Context LLM Inference |
| 作者 | Anna Córdoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero, Julia Barrientos, Ainhoa Miranda, Jesús Olivera |
| 机构 | Instituto de Investigación en Visión Artificial (IIVA) |
| 发布日 | 2026-07 |
| 平台 | arXiv:2607.06519 |
| 代码 | 未提供 |
| 外部评议 | 无（arXiv preprint，使用 NeurIPS 2023 模板） |
二、摘要与核心发现
一句话总结
FreqDepthKV 将相邻 Transformer 层的 KV cache 沿深度维度做 DCT 变换，低频分量层间共享，高频残差按需保留，再通过一个基于 attention logit 重构误差的在线 probe 给每个 attention head 分配三种压缩模式（共享/残差/精确），在 3.9× 压缩比下几乎不掉点。
五大核心发现
频域分解有用，但没那么有用：DCT 分解比直接平均好（F1 +1.7），但去掉稀疏残差后性能下降仅 1.6 EM / 2.3 pass@1——说明"知道哪些 token 需要保留高频"比"用 DCT 还是用平均"重要得多。
路由机制才是真贡献：在线 probe + attention-logit 感知的 loss 是相比 MiniCache 的主要提升来源，频域分解本身更像是锦上添花。
方法退化为 MiniCache++：当 B=4 且大部分 head 被路由到 shared-depth 模式时，FreqDepthKV 本质上就是"带例外处理的 MiniCache"。论文声称与 MiniCache 不同，但差异是工程性的而非范式性的。
效率提升来自更激进的共享，而非更聪明的压缩：相比 MiniCache，FreqDepthKV 吞吐量从 65.5 → 70.4 tok/s（+7.5%），KV 内存从 6.6 → 6.2 GB（-6%），这个边际增益在一个已经高度优化的基线上显得"诚实但不够惊艳"。
没有公开代码，无法验证可复现性：论文中任何关于"轻量级 probe""在线路由"的具体开销分析都缺失，这恰好是工程实现中最可能出问题的地方。
三、第一阶段：定位与动机（诊断"为什么"）
3.1 问题定义
LLM 长上下文推理的瓶颈已从参数量转移到 KV cache。每生成一个 token，需要访问所有历史 token 的 key 和 value，内存和带宽成本与上下文长度线性增长。FreqDepthKV 要解决的核心问题是：如何在推理时压缩 KV cache，使得内存减半但长上下文任务（检索、推理、代码生成）不掉点。
3.2 动机批判
作者声称的"研究空白"：现有 KV cache 压缩方法要么在 token 维度做（H2O、SnapKV），要么在精度维度做（KVQuant、KIVI），要么在深度维度做均匀共享（MiniCache），但没有人同时做到"深度压缩 + 选择性保留关键 token-head 对的高频信息"。
这一空白部分真实，部分虚构。MiniCache 已经证明了深度共享可行，而 SnapKV/PyramidKV 已经做了 token 级别的选择性保留。FreqDepthKV 的创新在于把两者缝合在一起，并在缝合处加了一个"频域分解"的包装。但这一缝合是否构成独立贡献，需要审视——如果把 SnapKV 的 token 选择策略直接套在 MiniCache 的深度共享上，效果与 FreqDepthKV 的核心差异有多大？论文没有做这个对比。
3.3 "奥卡姆剃刀"质问
问：如果不读这篇论文，我能否从已知信息推导出类似结论？
答：基本可以。已知 (1) 相邻 Transformer 层的 representation 高度相似（这是 2019 年以来数十篇 probing 论文的共识），(2) 频域变换可以分离低频共性和高频差异（信号处理入门知识），(3) attention logit 可以作为压缩质量的代理指标（因为最终影响输出的是 attention 权重而非 KV 的逐元素精度）。把这三者拼接起来，就得到了 FreqDepthKV 的核心思路。
增量贡献在于工程实现细节：具体怎么采样 probe 位置、怎么调 λ、B 取多少——这些是 engineering know-how，不是 scientific insight。
3.4 一句话核心吐槽
用 DCT 分解 + 在线 probe + 三模式路由 + 自适应 λ 这一整套复杂机制，最终实现的不过是"把相邻层的 KV 大部分共享掉，但给重要的 head-token 对留个后门"。任何一个写过 KV cache 压缩代码的工程师读完这篇论文，第一反应应该是："我如果用 MiniCache 做深度共享 + 直接按 attention score 保留 top-k token，是不是也能差不多？"论文没有回答这个问题，而这恰恰是最关键的对比。
四、第二阶段：方法论拆解（解剖"怎么做"）
4.1 输入与输出
| 维度 | 描述 |
|---|---|
| 输入 | Prefill 阶段的完整 KV cache（所有层、所有 head），形状为Kℓ,h,Vℓ,h∈RT×dhK_{\ell,h}, V_{\ell,h} \in \mathbb{R}^{T \times d_h}Kℓ,h,Vℓ,h∈RT×dh |
| 中间变换 | 每 B 层一组做 DCT 变换，分解为低频系数Z0Z_0Z0和高频系数Z1:B−1Z_{1:B-1}Z1:B−1 |
| Probe 机制 | 采样 128 个 query position（近期 token / 文档边界 / 高熵 attention 行），计算原始 vs 重构 attention logit 的 L2 距离 |
| 路由决策 | 每个 head 被分配到 shared-depth / residual-depth / exact 三种模式之一 |
| 输出 | 压缩后的 KV cache：低频分量全存，高频分量只存给被选中的 token（稀疏 maskSb,h\mathcal{S}_{b,h}Sb,h） |
| 解码时 | 低频系数广播到全 block，高频残差仅加到被索引 token，融合进 attention kernel |
黑盒跳跃：probe 用 128 个 query position 评估的 attention logit 重构误差，能否代表整个序列的 attention 行为？这个 128 是拍脑袋的还是调出来的？如果是调出来的，那这个参数本身就是一个隐式的"在测试集上调参"。
4.2 核心假设清单（对应"假设挖掘"）
假设 1：attention logit 的 L2 重构误差是 KV cache 压缩质量的良好代理。
- 失效场景：在 chain-of-thought 推理中，attention 的分布形态（sparsity、entropy）比精确的 logit 值更重要。一个 head 可能 logit 重构误差很小，但 softmax 后的分布被错误地"锐化"或"平滑化"，导致后续层错误地关注/忽略关键 token。论文的 loss 直接作用在 logit 而非 softmax 后分布上。
假设 2：相邻层之间的 KV cache 冗余在频域上表现为低频共享 + 高频稀疏的模式。
- 失效场景：对于经过 LoRA 微调的模型，不同层的 adapter 可能在不同频段引入扰动，破坏"DCT 分解后低频占主导"的前提。对于 MoE 模型，同一层不同 expert 被激活的 pattern 可能导致 KV 在相邻层间差异极大——因为 expert routing 本身就是高度非线性的跳跃。
假设 3：prefill 阶段确定的路由策略在 decoding 阶段持续有效。
- 失效场景：多轮对话中，用户在后续轮次引入的信息可能完全改变 attention 模式。比如第一轮是闲聊（大部分 head 被路由到 shared-depth），第二轮突然要求做精确的信息检索（之前被共享掉的 head 现在需要 exact 模式）。论文虽然提到"可选每 N 步刷新一次"，但刷新开销完全未评估。如果每 128 个 token 刷新一次，TTFT 的 2.06s 优势可能荡然无存。
4.3 冗余性分析
如果去掉频域分解（DCT），直接用相邻层 KV cache 的加权平均作为共享分量，用差值作为残差，性能会怎样？
从消融实验看，“w/o depth-frequency factorization”（用直接平均替代 DCT）导致 F1 从 63.0 降到 61.3，EM 从 58.3 降到 56.9。这 1.7 F1 的差距，值得引入 DCT 变换 + 系数选择 + 逆变换这一整套信号处理机制吗？
更激进地问：如果用一个简单的可学习线性投影替代 DCT（即Z=W⋅stack(Kℓ)Z = W \cdot \text{stack}(K_{\ell})Z=W⋅stack(Kℓ)，W 是可训练的小矩阵），能否用更少的参数量达到同样或更好的效果？DCT 的"免训练"优势是真实的（确实不需要 retrain），但"免训练"本身在这条 pipeline 里不是必须的——因为 probe 路由和 λ 调优本身就需要在验证集上做大量调参。
判断：频域分解这一模块是论文最大的"可删除但不想删"的冗余。它的存在主要是为了给论文增加技术深度和 novelty 的声称空间，而非实际带来不可替代的性能提升。
五、第三阶段：实验逻辑审判（检验"证明力"）
5.1 基线的公平性（对应"基线公平性检测"）
论文对比了 StreamingLLM、H2O、Scissorhands、SnapKV、PyramidKV、KVQuant、KIVI、MiniCache。但存在以下可疑之处：
第一，缺少关键同期工作。2025-2026 年出现了大量 KV cache 压缩方法（如 GEAR、Quest、InfiniGen、ALISA、Keyformer 等），论文没有对比其中任何一个。这些方法中有多个在 2025 年底已达到 state-of-the-art。选择 2024 年初的 StreamingLLM 和 H2O 作为对比，有"挑软柿子"的嫌疑。
第二，基线调参不对等。论文说"for each method, we tune the compression budget on a held-out subset of LongBench"。但这里有一个关键问题：FreqDepthKV 有三个维度的调参空间（B、probe 位置数、λ），而基线方法（如 H2O）通常只有一个参数（保留比例）。在 held-out set 上调 3 个参数 vs 调 1 个参数，FreqDepthKV 天然享有 unfair advantage。
第三，如果我故意把 PyramidKV 调参到极致会怎样？PyramidKV 的核心思路是按金字塔形分配不同层的 KV cache 预算（浅层多保留，深层少保留）。如果我在 held-out set 上逐层 grid search 最优保留比例（而不是用论文里的固定比例），同时在 held-out set 上选择最优的 token 重要性评分函数（attention score vs. norm vs. 梯度），PyramidKV 很可能在 EM/F1 上追平甚至超过 FreqDepthKV。因为 FreqDepthKV 在深度维度上的"频域共享"本质上是一种隐式的 pyramid allocation——低频共享 ≈ 浅层/深层不同分配。PyramidKV 如果调参充分，且结合 MiniCache 的跨层共享（即 PyramidKV + MiniCache），大概率比 FreqDepthKV 更强或持平。论文故意不跑这个组合，可能是为了保住 SOTA 位置。
5.2 消融实验的灵魂拷问（对应"消融实验补刀"）
论文的消融实验包含 9 个变体，但缺失了几个关键对照：
缺失对照 1：随机路由（random routing）。论文没有展示如果随机分配 head 到三种模式（保持各模式比例不变），性能会如何。如果有 random routing 仍然接近 w/o routing 的效果，说明路由机制的价值被高估了。
缺失对照 2：oracle routing。如果给每个 head 分配最优模式（基于下游任务 ground truth 反推），能比当前 routing 好多少？这个 upper bound 不给出，读者无法判断当前 routing 离最优还有多远。
缺失对照 3：PyramidKV + MiniCache 组合。正如上文所述，这是最直接的竞争者，但论文选择不与它对比。
恶意消融实验设计：论证作者在实验设计上的懒惰
目标：证明"稀疏高频残差"这一模块的实际贡献被严重高估，作者通过精心选择的对比基线制造了"每个模块都很重要"的假象。
实验设计：
移除 FreqDepthKV 的整个 sparse residual 机制，但把省下来的内存预算全部分配给 exact mode 的 head 数量增加。具体而言：
- 原版 FreqDepthKV：shared-depth 覆盖 60% heads，residual-depth 覆盖 30%，exact 覆盖 10%
- 恶意变体：去掉 residual-depth 模式，shared-depth 覆盖 60%，exact 覆盖 40%
由于 exact mode 保留完整 KV（无压缩），而 residual mode 本质上是一个"近似 exact"——它在高频分量上做了稀疏保留。如果把 residual 省下的内存全部分给 exact，更多 head 就能以无损模式运行。
预测结果：这个恶意变体在 EM/F1 上会显著超过原版 FreqDepthKV，因为 40% exact heads 远好于 30% residual + 10% exact。压缩比可能从 3.9× 降到 3.5× 左右，但内存仍然远小于 Full KV。
论证逻辑：如果可以用"更简单的分配策略 + 去掉整个 residual 模块"达到更好的性能（仅牺牲少量压缩比），那 sparse residual 机制就不是必要的——它的存在只是因为作者固定了 exact head 比例并声称 residual 是最优的中间地带。实际的 pareto frontier 上，binary（shared + exact）分配可能严格优于 ternary（shared + residual + exact）。
补刀：论文没有展示 “shared-only + 更多 exact heads” 这个基线（shared-depth only 变体去掉了所有 residual 但也没有增加 exact heads），这在实验设计上属于"通过固定不相关变量来制造假阳性"的经典手法。
5.3 统计显著性欺骗
没有误差线，没有标准差。论文所有表格（Table 1 和 Table 2）报告的都是单点数值。没有多次运行的标准差，没有 seed 敏感性分析。
在 LLM 评估中，prompt 格式的微小变化、decoding 的随机性（temperature 和 top-p 的影响）都可能导致 1-2 个 EM 点的波动。而 FreqDepthKV 相比 MiniCache 的 EM 提升仅有 1.7 个点。如果跑 5 个 seed 取平均 ± 标准差，MiniCache 和 FreqDepthKV 的误差线几乎确定会重叠。这意味着 Table 1 中声称的"FreqDepthKV 全面超越 MiniCache"在统计上可能不成立。
此外，LongBench 和 Needle-in-a-Haystack 都已知对 prompt template 高度敏感。论文没有说明是否对所有方法使用了一致的 prompt 模板，这可能导致 2-3 个 EM 点的系统性偏差。
六、第四阶段：边界与失效模式（寻找"软肋"）
6.1 极端压力测试
| 压力类型 | 预测失效点 | 理由 |
|---|---|---|
| 噪声注入 | KV cache 中添加高斯噪声（σ=0.01）后，probe 的 logit 重构评估将完全失效，因为它假设噪声来自压缩而非外部 | probe 无法区分"压缩导致的 logit 偏移"和"噪声导致的 logit 偏移" |
| 少样本 | 上下文长度 < 4K 时，FreqDepthKV 的 probe 开销占比过高（128 个 probe query / 4K = 3.2%），且深度共享收益下降（短序列 KV cache 本身不大） | 作者自己也承认"short contexts 倾向于 shared-depth"，这意味着该方法在短序列上退化为一个昂贵的 MiniCache |
| 实时要求 | TTFT < 500ms 场景下，DCT 变换 + probe 评估 + 路由决策的 prefill 开销（论文声称"negligible"但未量化）将成为不可接受的延迟 | 论文的 TTFT 是 2.06s，如果目标 < 500ms，prefill 中的额外交付可能占据 100ms+ |
| 异构 batch | batch 内混合长短序列时，路由策略是 per-sequence 的，但 KV cache 内存管理是 batch-level 的，两者的 mismatch 会导致碎片化 | 论文完全未讨论 batching 场景 |
| 极长上下文 | 128K+ 上下文时，DCT 在深度维度的变换收益被 token 维度的绝对内存主导，压缩收益边际递减 | B=4 的深度压缩最多省 75% 层间冗余，但 token 维度无压缩 |
6.2 失败案例的自我曝光
论文没有展示任何失败案例。这是一个严重的 red flag——任何方法都有退化场景，但作者选择不展示。
我可以合理推断三种可能的失败场景：
高熵推理任务（如数学证明、代码调试）：每一步推理都依赖前一步的具体结果，attention 模式在整个序列上高度 non-stationary。Prefill 阶段采样的 128 个 probe position 无法代表 decoding 时的 attention 变化。路由策略在此类任务上会产生系统性的错误分配。
非英语 / 低资源语言：DCT 分解假设相邻层的 KV 在频域上呈现一致的分布模式，但这一假设可能只在英语预训练数据主导的模型中成立。对于多语言模型，不同语言的 attention 模式差异巨大。
结构化输出任务（如 JSON 生成、SQL 生成）：输出格式约束通常由少数几个 token 控制（如
{,},SELECT），这些 token 的 KV 如果在压缩中被丢弃，会导致格式错误。而 probe 基于 attention logit 的路由可能低估这些"低 attention 但高重要性"的 token。
6.3 资源与现实鸿沟
论文声称"no retraining required"，但这只意味着不需要梯度更新。实际情况是：
- 需要在 held-out set 上做大量调参：B（block size）、probe 采样数、λ（memory penalty）三个超参需要联合调优。这些调参本身需要多次 prefill + 评估，成本不低。
- probe 在 prefill 中的开销未量化：128 个 query position × 每个候选 mode（3 种）× 所有 head × 所有 block 的 logit 重构计算。在 32K 上下文、32 层、32 head 的模型上，这个开销可能相当于 prefill 本身的 5-15%。
- 融合 attention kernel 需要自定义 CUDA 实现：论文提到"reconstruction is fused with the attention kernel"，但没有提供代码。这意味着普通开发者无法直接使用——要么等作者开源（但目前未开源），要么自己写 CUDA kernel。
结论：这是一个"实验室友好、工业界困难"的方法。真正能落地的是 MiniCache + 简单的 token-level attention score thresholding，而非 FreqDepthKV 的全套机制。
七、第五阶段：延伸与重构（超越论文本身）
7.1 逆向应用
FreqDepthKV 的频域分解 + probe 路由机制可以迁移到以下不相关领域：
联邦学习的梯度压缩：不同 client 的梯度更新在参数空间存在冗余。将 client 按相似性分组，低频分量组内共享，高频残差按需传输，用 validation loss 的变化量（类比 attention logit）作为路由信号。这与 FreqDepthKV 的核心结构完全同构。
视频编解码的帧间压缩：I 帧（关键帧）= exact mode，P 帧（预测帧）= shared-depth mode，B 帧（双向预测帧）= residual-depth mode。FreqDepthKV 的三模式路由本质上就是一个自适应的 GOP（Group of Pictures）分配策略。
7.2 拼接可能性
FreqDepthKV + [[Gurnee2026_Jlens_精读笔记|J-Lens]]：
用 J-Lens 的 sparse autoencoder 特征来解释 FreqDepthKV 中哪些 head-token 对被路由到 exact/residual 模式。如果 J-Lens 发现 exact mode 的 head 恰好对应某些可解释的特征（如"句法边界检测"“实体引用跟踪”），那么 FreqDepthKV 的路由策略就获得了机制可解释性的背书，不再是一个黑盒的 probe。反过来，FreqDepthKV 的路由 pattern 也可以作为 J-Lens 的验证信号——如果一个 SAE 特征真的重要，它的激活应该能预测该 head 在 FreqDepthKV 中被分配到 exact mode。
FreqDepthKV + RingAttention / StripedAttention：
RingAttention 通过序列并行把长序列分片到多个设备。FreqDepthKV 的深度共享可以进一步降低每个设备上的 KV 内存。但路由策略需要全局信息（probe 需要跨设备采样），这引入了设备间通信开销。
7.3 改写摘要挑战
“We propose FreqDepthKV, an inference-time KV cache compression method that applies a DCT-based depth factorization to share low-frequency components across adjacent transformer layers while selectively retaining sparse high-frequency residuals for token-head pairs deemed important by an online attention-logit probe. While the method achieves a 3.9× compression ratio with modest accuracy retention across standard long-context benchmarks, its core contribution—adaptive per-head routing—can be largely replicated by combining existing token-eviction methods (e.g., PyramidKV) with inter-layer sharing (MiniCache), and we do not report comparisons against such hybrid baselines. The DCT decomposition, though mathematically elegant, provides marginal gains over simple averaging; the majority of the benefit stems from the routing mechanism, which itself requires extensive hyperparameter tuning on held-out data. No failure cases, standard deviations, or code are provided, and the method’s practical deployability is limited by its reliance on fused custom CUDA kernels and unquantified prefill overhead.”
7.4 未来终结者（对应"未来终结者"）
让 FreqDepthKV 的核心贡献彻底沦为历史尘埃的未来研究方向：
Training-time KV compression via structured attention distillation.
核心思路：在训练阶段，通过知识蒸馏让 student 模型的相邻层 attention pattern 本身就更相似（而非推理时用频域分解做后处理），同时通过一个可学习的 gating network 在训练时决定哪些 head 需要保留层间差异。
具体路径：
- 训练时添加一个层间 KL 散度损失，鼓励相邻层的 attention 分布对齐，但不强制完全一致
- 同时在训练时学习一个轻量 gating network（每层 2-4 个参数），决定该层是共享前一层的 KV 还是计算自己的 KV
- 训练完成后，推理时不需要任何 DCT 变换、probe 路由或 λ 调参——压缩是原生的
为什么这会终结 FreqDepthKV？
- FreqDepthKV 声称的最大优势是"无需 retrain"，但如果 training-time 方案只需要在标准预训练或 SFT 中加一个辅助损失（成本可忽略），且在下游任务上达到 4-5× 压缩比 + 零掉点，那"无需 retrain"的卖点就变成了"不愿意多花 5% 训练成本"的借口。
- 训练时的层间对齐 + gating 可以做到真正的"白盒压缩"——哪些 head 共享、哪些不共享，是模型自己的 architectural choice，而非推理时的 heuristic probe。
- 已有早期工作在探索类似方向（如 2024 年的 CLA 和 2025 年的 GQA-扩展），一旦有人在 Llama-4 或类似开源模型上规模化验证，FreqDepthKV 的"推理时频域分解"就会变成过时的 patchwork。
八、实验数据与结果（速查）
| 指标 | Full KV | MiniCache | FreqDepthKV | Δ (vs MiniCache) |
|---|---|---|---|---|
| EM | 58.7 | 56.6 | 58.3 | +1.7 |
| F1 | 63.4 | 61.0 | 63.0 | +2.0 |
| ROUGE-L | 32.8 | 31.3 | 32.5 | +1.2 |
| pass@1 | 48.6 | 45.6 | 48.1 | +2.5 |
| Tokens/s | 38.2 | 65.5 | 70.4 | +4.9 |
| TTFT (s) | 2.91 | 2.18 | 2.06 | -0.12 |
| Peak KV Mem. (GB) | 24.0 | 6.6 | 6.2 | -0.4 |
| Comp. Ratio | 1.0× | 3.6× | 3.9× | +0.3× |
注意：所有数值为单次运行结果，无标准差，无置信区间。Δ 的可靠性存疑。
九、消融实验速查
| 变体 | EM | F1 | 关键信息 |
|---|---|---|---|
| Full FreqDepthKV | 58.3 | 63.0 | 基准 |
| w/o depth-frequency factorization | 56.9 | 61.3 | DCT 的边际贡献仅 1.4 EM / 1.7 F1 |
| w/o sparse residuals | 56.7 | 61.1 | 去掉残差后 EM 下降 1.6，但吞吐量最高 |
| w/o routing | 57.2 | 61.7 | 路由贡献约 1.1 EM / 1.3 F1 |
| shared-depth only | 56.1 | 60.4 | 纯共享模式，退化为弱化版 MiniCache |
| B=8 all layers | 57.5 | 62.1 | 更激进共享，掉 0.8 EM / 0.9 F1 |
十、个人评注
方法论价值
中等偏下。频域分解的 idea 本身不新，DCT 在信号处理中用了 50 年，跨层 KV 共享在 MiniCache 中已有。真正的 insight——“用 attention logit 重构误差替代 token 重要性做路由决策”——是一个好的 engineering choice，但不构成方法论突破。
对领域的影响
如果代码开源且 CUDA kernel 好用，可能被部分长上下文推理框架（vLLM、SGLang）集成，但大概率是作为"另一种可选的压缩策略"而非"默认标准"。因为实现复杂度 vs 边际收益的 ratio 不理想。
跟进待办
- 如果代码开源，复现并跑 PyramidKV + MiniCache 的 hybrid baseline
- 验证 probe 的实际 prefill 开销（论文回避了这一点）
- 在非英语 benchmark（如 C-Eval、MGSM）上测试泛化性
- 关注 training-time KV compression 方向（见"未来终结者"）
开放问题
- DCT 变换的频域分解可以在训练时就 baked into 模型架构吗？（类似 positional encoding 可以选择 sin/cos 或 learned）
- 如果 probe 的路由决策本身也需要被缓存和复用（跨请求），FreqDepthKV 能否变成一种"KV cache 压缩的 meta-cache"系统？
- 在 mixture-of-experts 架构中，expert 之间的 KV 是否也有类似的跨层冗余？FreqDepthKV 的频域思路能否推广到 expert 维度？