副标题：计算单元 × 显存带宽 × 芯片互联 × 软件生态——四个维度拆解 2026 年的 AI 芯片战场，附国产芯片（昇腾 910C/950、寒武纪、壁仞等）生存状态报告

一、引子 🎯

AI 芯片领域的竞争格局在 2026 年已经变得前所未有的复杂。NVIDIA 的 Blackwell 刚刚把 Tensor Core 从 temporal 改成了 spatial 架构，AMD 的 MI350X 在显存容量上第一次超过了 NVIDIA，华为用自研 HiBL 替代 HBM 走出了第三条路。与此同时，多家国产芯片公司在 MLPerf 上仍然处于缺位状态。

理解这些变化需要一套系统的分析框架——AI 芯片不是单看 TFLOPS 就行的游戏。计算单元、显存带宽、芯片互联、软件生态——四个维度共同决定了"一块芯片在真实大模型工作负载下到底能跑多快"。只看其中一个维度，很容易得出片面的结论。

这篇文章不做逐个芯片的"配置表罗列"，而是把这四个维度拆开，每一维都把 NVIDIA、AMD、华为放一起对比。最后附一张国产芯片厂商的生存状态全景地图，以及几个在行业交流或技术讨论中能体现深度的知识点。

二、四大技术维度

2.1 计算单元——Tensor Core / Matrix Core / Da Vinci Cube

NVIDIA Tensor Core：从 Volta 到 Blackwell 的五代演进

Tensor Core 是 NVIDIA AI 霸权的基石。从 2017 年 Volta 首次引入，到 2024 年 Blackwell 的第五代，每一代都定义了一个新的精度和计算能力级别。

Blackwell 的代际跨越比任何一代都大。一份独立的微架构分析（arXiv:2507.10789，通过 Blackwell 与 Hopper 的微基准对比）揭示了一个根本性的设计变化：

Hopper 的 Tensor Core 是temporal（时间复用）架构：矩阵乘法的时间随 tile 宽度线性增长（32→128 cycles），同一个硬件单元被重复使用。Blackwell 转向spatial（空间阵列）架构：计算通过更宽的硬件阵列在空间上展开，延迟不再随 tile 宽度变化。

这意味着什么？Blackwell 在大的 GEMM 问题上效率远高于 Hopper，但在小 GEMM 上优势不明显。

另一个值得注意的数据点：Blackwell GB203 的 FP64 执行单元只有2 个/SM，对比 Hopper GH100 的 64 个/SM——减少了 97%。这说明 NVIDIA 在 Blackwell 上做了明确的取舍：AI 计算（FP4/FP8/FP16）是主战场，科学计算（FP64）被大幅弱化。

AMD Matrix Core：四代 CDNA

AMD 从 2020 年开始走自己的 AI 加速路线——CDNA（Compute DNA），脱离 GPU 中的图形分支（RDNA），专注计算。

注意 MI300X 到 MI350X 的一个反常选择：CU 数量从 304 降到了 256（少了 16%），但显存从 192GB 涨到了 288GB（多了 50%）。这说明 AMD 的判断是：大模型推理的瓶颈已经从算力转向了显存容量——更大的模型需要更多的 HBM，而不是更多的 CU。这个判断和 NVIDIA 的 B200 在 B100 基础上砍了一些核心、加更多显存的策略是一致的。

AMD 的 Matrix Core 核心单位是 CU（Compute Unit），每个 CU 包含一个 Matrix Core。AMD 的 Matrix Core 跟 NVIDIA 的 Tensor Core 设计理念不同——NVIDIA 使用专用的矩阵乘法硬件（每个 SM 多个 Tensor Core），AMD 的 Matrix Core 在 CU 内部与向量单元共享寄存器资源。这意味着 AMD 的矩阵运算峰值可能略低，但资源利用率更灵活。

华为 Da Vinci Cube：中国走出的第三条路

华为昇腾系列使用的Da Vinci 架构设计了一个完全不同的矩阵计算单元——Cube Unit（立方体单元）。

一个 Cube Unit 可以用一条指令完成两个16×16 矩阵的乘法，在极短时间内完成 16³ =4096 个 FP16 MAC 操作。相比之下，NVIDIA 的第 1 代 Tensor Core 是 4×4×4（64 MAC/cycle），第 4 代 Hopper 达到了 16×8×16 的规模。

Da Vinci Cube Unit（16×16×16）： 输入 A: 16×16 = 256 个元素 输入 B: 16×16 = 256 个元素 输出 C: 16×16 = 256 个元素 一次操作: 4096 MACs ← 这是设计名字"Cube"的来源 Cube 内部由 256 个并行的矩阵乘子单元 (M) 组成， 每个 M 单元处理 16 个乘法 + 1 个加法树 (16 MACs × 256 = 4096)

Da Vinci 还有另一个设计特点——3D Cube 在芯片上实现为展平的 2D 脉动阵列，这是一个空间设计的简化，牺牲了一定的灵活性但换取了更高的计算密度。同样的设计取舍也体现在它不支持 FP64 科学计算上——Da Vinci 从第一天起就只为 AI 工作负载设计。

昇腾 910C（两颗 910B 芯片封装）的标称 FP16 算力约为 800 TFLOPS，但这是双 die 封装的结果——理论双 die 应达到 1,200 TFLOPS（600×2），实际只到 800 TFLOPS，封装互联损耗约33%。对比 NVIDIA B200 的 NVLink-HBI（10 TB/s 片间带宽），损耗控制在~10%。华为在芯片封装互联上仍有明显差距。

计算单元小结

Tensor Core (NVIDIA) Matrix Core (AMD) Da Vinci Cube (华为) ┌──────────────────┐ ┌──────────────────┐ ┌──────────────────┐ │ SM 内部专用硬件 │ │ CU 内部与向量共享 │ │ 独立 Cube 单元 │ │ 5 代演进 │ │ 4 代演进 │ │ 1 代（持续迭代） │ │ FP4 / FP8 / FP16 │ │ FP8 / FP16 / INT8 │ │ FP16 / INT8 / INT4 │ │ Transformer Engine│ │ 无 equivalent │ │ 无 equivalent │ │ 生态最好 → 实际最强 │ │ 显存最大 → 推理友好 │ │ 受限生态 → 理论>实际 │ └──────────────────┘ └──────────────────┘ └──────────────────┘

2.2 显存带宽——HBM 决定一切

在大模型推理中，带宽比算力更重要。因为自回归解码的瓶颈是 memory-bound（读取 KV Cache），而不是 compute-bound（计算 attention）。

HBM（High Bandwidth Memory）的代际演进直接决定了芯片的推理能力：

为什么 H200 只改了显存就比 H100 强 60-80%？H200 和 H100 使用完全相同的 GPU 核心（Hopper GH100），唯一的区别是把 HBM3 换成了 HBM3e，带宽从 3.35 TB/s 提升到 4.8 TB/s（+43%）。在大模型推理中，这个带宽提升直接转化为了推理吞吐提升——因为解码阶段就是"从显存搬 KV Cache 到计算单元"的速度战争。

目前 HBM 供应链高度集中于SK 海力士和三星。这对国产芯片的影响是致命的——美国出口管制禁止中国公司获取 HBM3/HBM3e，国产芯片只能使用 HBM2e（如昇腾 910B）或类 HBM 的替代品。这意味着即使计算单元设计追上了，带宽差距也会直接卡住大模型推理性能。

一个重要的现实：Ascend 950 使用的不是 HBM，而是华为自研的"HiBL"封装显存。根据独立分析推算，950 的显存带宽约 1.4 TB/s，对比 B200 的 8.0 TB/s——差了5.7 倍。在 decode 阶段小 batch size 下，这个带宽差距直接映射为推理吞吐差距。这可能是国产芯片在大模型推理上最大的短板，而且短期难以解决。

2.3 芯片互联——单卡不行就堆卡

大模型训练几乎不可能在单卡上完成，所以芯片间的互联带宽成了核心瓶颈。

NVIDIA 的 NVLink + NVSwitch 是目前最强的互联方案，没有之一。H100 通过 18 个 NVLink 4.0 通道达到 900 GB/s——比 PCIe 5.0 的 64 GB/s 高 14 倍。到了 Blackwell，NVLink 5.0 进一步翻倍到 1,800 GB/s。这意味着在跨卡通信密集的训练场景中，NVIDIA 拥有巨大的优势。

AMD MI300X 使用 Infinity Fabric 连接片内的 8 个 XCD（计算芯片）和 4 个 IOD（IO 芯片），片内带宽远比 NVLink 高，但片间互联带宽不及 NVIDIA 的 NVSwitch 全互联方案。

华为 HCCS（Huawei Cache Coherent System）是华为自研的互联协议。在 910C 的双 die 封装中，片间带宽约 400 GB/s。在 CloudMatrix 384 超节点中，华为声称可以通过 HCCS 实现 384 卡的大规模互联。但这个性能数据缺乏独立的第三方验证。

互联的重要性怎么强调都不为过。对于训练，MoE 模型（如 DeepSeek 的 1.6T MoE）的专家路由需要在不同 GPU 之间频繁传输令牌——互联带宽直接决定了通信开销和 MFU（Model FLOPS Utilization）。

2.4 软件生态——CUDA 的护城河到底有多深？

这是比芯片硬件本身更难跨越的障碍。

NVIDIA CUDA 生态：
CUDA 不是"一个"东西，而是整整六层的堆叠：

• 底层：CUDA 指令集 + PTX 中间表示
• 计算库：cuBLAS（矩阵运算）、cuDNN（深度学习）、cuFFT（傅里叶变换）
• 通信库：NCCL（多卡通信，NVLink 的软件接口）
• 推理引擎：TensorRT（模型优化和部署）
• 框架集成：PyTorch/TensorFlow/JAX 对 CUDA 的原生支持
• 工具链：Nsight（性能分析）、CUDA-GDB（调试器）

每一层都是一个巨大的软件工程投入。而且 CUDA 不是"写一次就能用"的——每个新架构（Ampere → Hopper → Blackwell）都需要重新优化底层库，利用新硬件的特性（如 FP8/sparsity/Transformer Engine）。

AMD ROCm：
ROCm 经过多年的追赶，已经到了ROCm 7.x版本。但差距仍然存在：

• 在一份 2026 年的独立对比测试中，ROCm 7.x 相比 CUDA 仍有10-30% 的性能差距（Thunder Compute, April 2026）。
• ROCm 的框架支持范围仍在追赶——许多 PyTorch 算子的 CUDA 实现有对应的 ROCm 版本，但部分算子和优化技巧（如 FlashAttention 的变体）需要额外的适配。
• 数值精度：AMD 与 NVIDIA 的输出一致性达到了99.8%（来自 IEEE 论文 arXiv:2511.11601，测试 100,000+ 模型变体）。

华为 CANN（Compute Architecture for Neural Networks）：
CANN 的差距更大：

• 算子覆盖：Ascend 910B 支持407 个硬件加速算子，对比 H200 的488 个——少了约 17%。
• 输出一致性：Ascend 910B 与 H200 的输出一致性仅为95%（对比 AMD 的 99.8%、Intel Max 1100 的 99.6%）。
• PyTorch 生态：CANN 需要"昇腾 PyTorch 适配版"（torch_npu），而非原生 PyTorch。这意味着上游 PyTorch 的新特性、bug 修复、优化都需要华为进行适配，通常滞后数个版本。
• 推理引擎：TensorRT-LLM 在 NVIDIA 上与 PyTorch 深度绑定。CANN 的推理引擎（MindSpore + ACL）需要重新实现大量算子，并且缺少很多生产级特性（如 spec decoing、MRV2、SGLang 支持）。

这篇 IEEE 论文还有一个有趣的发现：研究人员测试了 100,000+ 个模型变体，找出了7 个 PyTorch 框架级别的实现缺陷和 40 个平台特定的 bug（跨越不同芯片）。这意味着即使软件栈在"大部分场景"下看起来正常，深层的实现不一致性可能在生产环境中才暴露。

三、国产芯片全景地图

以下是 2026 年中国 AI 芯片行业的主要玩家和生存状态。

梯队划分

第一梯队（有产品、有部署、有战略）： 华为昇腾 ──── 占国产算力卡出货约 44%，政企/智算中心绝对龙头 第二梯队（有产品、有限部署）： 寒武纪 ──── 思元系列，2025 IPO 后开始放量 海光 ──── DCU（深算系列），x86 兼容路线，走信创市场 第三梯队（有产品、未形成规模）： 壁仞 ──── BR100/BR200，纸面参数国产通用 GPU 天花板 燧原 ──── L600 系列，聚焦训练芯片 摩尔线程 ── MTT S 系列，从消费显卡切入 AI 第四梯队： 沐曦、登临、天数智芯

各厂商关键参数对照

关键数据：所有国产芯片的显存带宽均大幅落后于同期 NVIDIA 产品。即使 FP16 算力做到 H100 的 40-50%（如 910C 的 800 TFLOPS vs H100 的 1,979 TFLOPS），显存带宽差距更是惊人——910C 的 3.2 TB/s vs B200 的 8.0 TB/s。而大模型推理是 bandwidth-bound 的，所以实际推理性能的差距会比算力差距更大。

一个特殊的竞品：NVIDIA H20

华为昇腾在中国市场面临的最直接的对手，不是 H100/B200，而是 NVIDIA 专为中国设计的合规特供版 H20。

H20 的设计哲学可以概括为"砍算力、保带宽、保生态"——把 FP16 算力压到仅为 H100 的7.5%（148 TFLOPS），但显存带宽反而提到4.0 TB/s（比 H100 的 3.35 TB/s 还高），并且 CUDA 生态开箱即用。

H20 的竞争力不在算力——昇腾 910B 的标称 FP16 反而更高——而在带宽（高 2.5×）和生态（几乎所有 CUDA 代码不需要改）。对大模型推理来说，带宽优势直接转化为吞吐优势。而且价格还比昇腾便宜一点。

这就是 NVIDIA 应对出口管制的策略：即使硬件被阉割，靠带宽 + 生态的总持有成本优势来锁定客户。这个策略到目前为止是有效的——华为虽然出货量大，但在互联网大厂的核心推理场景中，有 CUDA 代码资产的企业仍然更倾向 H20。

一个重要的事实

截至 2026 年 6 月，没有一家国产 AI 芯片公司提交过 MLPerf 数据中心推理（Data Center Inference）的官方结果。

MLPerf 在 2024-2026 年的多轮评测（Inference v4.1、v5.0 等，每轮 22-23 家提交者）中，名单里没有出现华为昇腾、寒武纪、壁仞、燧原、摩尔线程、海光中的任何一家。

更准确地说：华为是唯一有过 MLPerf 记录的中国芯片。2020 年 7 月，中科院深圳先进技术研究院（SIAT）使用昇腾 910 提交了一次Training v0.7结果，但仅跑了ResNet-50 一个模型，距今 6 年，之后再未出现过。国产芯片在数据中心推理领域确实一次 MLPerf 提交都没有。

这意味着什么？所有国产芯片的性能数据——包括本文上面引用的——要么是厂商自己发布的"内部测试"，要么是行业媒体根据公开参数做的推算。没有任何独立第三方在标准化基准上验证过它们在大模型工作负载上的表现。

近期一篇对 Ascend 950 的分析（Spheron Network, June 2026）直接标注为“带宽缩放推算”（bandwidth-scaling projection）——从 H200 的已知性能出发，按华为公布的带宽参数做线性缩放的推算结果。不是实测数据。

为什么国产芯片不上 MLPerf？

这不只是"怕成绩不好看"那么简单。跑一次 MLPerf 数据中心推理，对芯片厂商的软件栈要求是体系性的：

1. PyTorch/TensorFlow 的原生算子覆盖必须达标。
MLPerf Closed Division 的参考实现基于 PyTorch。如果你的 CANN 算子覆盖只有 407 个（对比 H200 的 488 个），差的那 81 个算子刚好是 Llama 2 70B 推理中要用到的，你就跑不起来。算子覆盖不到 ≈ 根本出不了成绩。

2. 推理引擎需要达到生产级水平。
NVIDIA 提交 MLPerf 用的是 TensorRT-LLM——一个经过数万次测试的推理引擎，支持图优化、算子融合、内存池管理、KV Cache 管理、continuous batching、speculative decoding 等一整套优化。自研芯片要写一个能对标 TensorRT-LLM 的推理引擎，是数百人年的工程投入。

3. 输出精度必须 ≥ 99%（量化下）。
MLPerf 要求推理结果与参考实现的逐位对比精度 ≥ 99%（标准）或 99.9%（高精度）。之前提到 Ascend 910B 与 H200 的输出一致性只有95%——也就是说在 MLPerf 规则下，910B 用 INT8 量化跑出来的结果可能直接"不及格"。

4. 代码必须开源（这可能是一个最隐蔽的障碍）。
MLPerf Closed Division 有一条硬性规定：提交成绩的推理代码必须开源到 MLCommons 的 GitHub 仓库，供全球审核和复现。这意味着你需要把推理引擎的优化策略、算子实现、图优化 pass——这些核心 IP——公开。对 NVIDIA 来说这没问题（CUDA 生态本来就是靠开源推理库锁定的），但对很多国产芯片公司，开源核心推理代码可能被视为技术泄密。这未必是华为/寒武纪们不愿提交的唯一原因，但一定是需要考虑的因素。

这些门槛加在一起，一个自研芯片从"能跑 PyTorch"到"能提交 MLPerf 数据中心推理"，中间的工程差距可能比算力差距更大。这不是说国产芯片"不行"，而是说：你看到的性能数字都是厂商自己说的，不是独立验证的。做决策时需要在数字后面自动加一个"可信度折扣"。

四、MLPerf 基准：真正的实力对比

对于 NVIDIA 和 AMD 之间的对比，MLPerf 提供了最客观的第三方数据。

MLPerf Inference v4.1 (August 2024): Llama 2 70B 单卡推理

注意：B200 使用 FP4 精度而 MI300X 使用 FP8。FP4 vs FP8 的理论峰值刚好差 2 倍，所以约一半的差距来自精度优势。即使在同一精度下比较，B200 仍然有 1.5-2× 的优势——但远没有 3.7× 那么"震撼"。

AMD 自己也在公开场合摊牌了产品定位：MI300X 对标 H100，MI325X 对标 H200，不是对标 B200。在同等定位的产品线上，AMD 的性价比确实有竞争力——通常比 NVIDIA 便宜30-50%，而性能差距在 10-30% 范围内（依据具体工作负载）。

MLPerf Inference v5.0 (April 2025): AMD MI325X vs NVIDIA H200

AMD 在 v5.0 中提交了 MI325X 的结果，但只提交了2 个 Benchmark（Llama 2 70B 和 Stable Diffusion XL），跳过了一组测试（BERT、RetinaNet、GPT-J、3D U-Net）。在这两个提交的测试中，MI325X 的成绩仍然落后 H200——“near-parity”（接近持平）的说法确实夸大了。

五、总结

核心结论

1. NVIDIA 在四个维度上全面领先。这不只是因为硬件设计好——而是因为 5 代 Tensor Core 迭代 + NVLink 5.0 互联 + CUDA 生态 ×20 年投入形成了系统级优势。

2. AMD 在性价比和显存容量上找到了切入点。MI350X 的 288 GB HBM3E 在本地部署大模型场景下甚至比 NVIDIA 同代产品显存更大。AMD 选择了用显存容量换取在特定工作负载上的竞争力。

3. 华为是国产芯片中体系最完整的。Da Vinci Cube 设计独特、有自研 CANN 生态、有 CloudMatrix 互联方案。但受限于 HBM 禁令（只能用到受限的 HBM3 或自研 HiBL）、封装互联损耗 33%、以及 CANN 算子覆盖不足，实际性能和 NVIDIA 还有很大距离。

4. 国产芯片的最大短板不是算力，而是显存带宽和软件生态。即使纸面 FP16 算力追到 H100 的 40-50%，带宽差距（尤其到 B200 的 8.0 TB/s 对比任何国产卡都差 2-5×）在大模型推理场景下是致命的。

5. 没有 MLPerf 提交意味着国产芯片的性能数据是"黑盒"。能够指出这一点，比只看厂商白皮书的认知高出一个层次。

几个能体现深度的知识点

这篇调研覆盖的信息量很大，以下五个知识点最能体现对 AI 芯片的体系性理解：

• Blackwell 从 temporal 到 spatial 的架构变化（arXiv:2507.10789）——不是所有人都注意到这个细节，但它直接体现了架构师的设计取舍
• Da Vinci 16×16×16 Cube 与 NVIDIA 4×4×4 的设计哲学差异——华为选择了更大的单次操作粒度，牺牲灵活性换取计算密度
• HBM 的代际演进和出口管制对国产芯片的实际影响——这比讨论多少 TFLOPS 更有战略价值
• 不是"ROCm 不如 CUDA"，而是"CUDA 软件栈有六层，每层 ROCm 都差一点"——用六层堆叠解释生态差距比笼统说"CUDA 生态好"有说服力得多
• 用封闭性提问代替开放性表态——"这家芯片的 HBM 带宽是多少？"远不如"了解它在 2025 年 HBM 禁令下有没有备用方案"能体现思考深度

附录：进一步阅读

• IEEE Hot Chips 2019:DaVinci: A Scalable Architecture for Neural Network Computing(DOI: 10.1109/HOTCHIPS.2019.8875654) — Da Vinci 核心参考论文
• arXiv:2507.10789 (2025).Dissecting the NVIDIA Blackwell Architecture with Microbenchmarks— Blackwell 微架构分析
• arXiv:2511.11601 (2025).Mind the Gap: Revealing Inconsistencies Across Heterogeneous AI Accelerators— 跨平台算子覆盖和精度对比
• AMD ROCm CDNA 性能模型文档 — rocm.docs.amd.com — CDNA1-4 的权威参数
• MLPerf Inference v4.1 结果 — mlcommons.org
• MLPerf Inference v5.0 结果 — mlcommons.org