三亩地 三亩地SAN MU DI · CODE DIARY
交流投稿
ARTICLE DETAIL

日记详情

真实记录编程学习的某一天，欢迎挑你感兴趣的翻一翻。

首页/学习日记/日记详情

从零自制GPU：用FPGA搭建并行计算核心的实践指南

发布时间：2026/8/6 3:28:20 三亩地 编程学习日记
从零自制GPU：用FPGA搭建并行计算核心的实践指南

1. 先搞清楚“自制GPU”到底意味着什么

看到“自制GPU”这个标题，很多人第一反应可能是“自己造显卡？”，然后脑子里浮现出各种高端芯片、光刻机和复杂的半导体工艺。这听起来像是一个遥不可及的硬核极客项目。但如果你点进来，是想了解如何从零开始搭建一个能跑起来的、属于自己的GPU计算单元，那这篇文章就是为你写的。

这里的“自制”，更准确地说，是从零开始设计、搭建一个具备GPU核心计算功能的硬件系统。它不是为了替代你电脑里的RTX 4090去打游戏，而是为了彻底理解GPU从指令集、架构设计、电路实现到驱动软件的全链路。这个过程，更像是在用乐高积木（各种现成的FPGA、开发板、开源IP核）去搭建一个能执行并行计算任务的“玩具”GPU，并让它最终能在屏幕上画出图形或运行简单的计算任务。

我花了半年多时间，从电路原理图、Verilog代码、驱动编写一路踩坑过来。这篇文章不会教你如何流片生产芯片，那需要上亿的资金和顶级团队。我要分享的，是一个硬件爱好者和嵌入式开发者，如何利用现有的开源工具链和开发板，完成一次从逻辑设计到系统集成的“硬件狂奔”。如果你对计算机体系结构、FPGA开发、或者单纯想挑战一个复杂的软硬件综合项目感兴趣，那么接下来的内容会非常对味。

最关键的价值在于，通过亲手实现一遍，你会对“为什么GPU擅长并行计算”、“图形管线到底在干什么”、“一个驱动是如何与硬件对话的”这些问题，有刻骨铭心的理解。这远比读十本教科书来得深刻。

2. 动手前的准备：心态、知识与硬件清单

在开始任何一行代码或焊接之前，必须把心态和知识基础打好。自制GPU不是一个周末项目，它需要持续的投入和强大的问题排查能力。你将会频繁地在软件逻辑错误、硬件时序问题、工具链兼容性之间反复横跳。

2.1 核心知识储备

你不需要是芯片设计专家，但以下领域的知识是必须的：

  1. 数字电路与计算机体系结构：必须清楚时钟、寄存器、组合逻辑、流水线、总线（如 AXI、Wishbone）的基本概念。知道CPU和GPU在架构上的根本区别——GPU是大量简化控制单元的计算核心（ALU/FPU）阵列。
  2. 硬件描述语言（HDL）：Verilog或VHDL是必须的。你需要能用它描述从简单逻辑门到状态机、存储器控制器等模块。重点在于理解“可综合”的代码风格与行为仿真的区别。
  3. FPGA开发流程：这是我们的“数字实验室”。你需要熟悉一款FPGA开发工具，比如Xilinx Vivado或Intel Quartus。从创建工程、编写约束文件（.xdc/.sdc）、综合、实现（布局布线）到生成比特流文件，这个流程必须走通。
  4. 软件与驱动基础：最终你的硬件需要被软件调用。你需要了解基本的C/C++编程，以及操作系统如何与硬件交互（内存映射I/O，中断）。对于图形GPU，还需要了解OpenGL或Vulkan的图形管线基础概念。

如果以上有任何一点是完全陌生的，我建议先花1-2个月时间，通过在线课程或经典教材（如《数字设计：原理与实践》、《计算机组成与设计：硬件/软件接口》）打好基础。盲目开始只会带来无尽的挫折。

2.2 硬件与软件工具清单

以下是经过我实践验证的、相对可行的软硬件组合。这不是唯一方案，但社区资源较多，适合入门。

硬件平台（三选一即可）：

  • 入门/低成本选择：Lattice ECP5 FPGA开发板
    • 型号：如Trellis Board、ULX3S。价格在几百元人民币。
    • 优点：开源工具链（Yosys/Nextpnr）支持好，社区活跃，有很多开源GPU/图形项目参考。
    • 缺点：逻辑资源有限，只能实现非常基础的GPU功能（如VGA输出、2D加速）。
  • 主流/平衡选择：Xilinx Artix-7 FPGA开发板
    • 型号：如Basys 3、Nexys A7、Arty A7。价格在千元级别。
    • 优点：资源更丰富，可容纳更复杂的设计（如简单的3D管线阶段）。Vivado工具链强大，资料极多。
    • 缺点：Vivado是商业软件（虽有免费版），工具更庞大复杂。
  • 进阶/高性能选择：Intel Cyclone V SoC FPGA开发板
    • 型号：如DE10-Nano、DE1-SoC。
    • 优点：集成了ARM硬核处理器（HPS），可以让你在真实的“CPU+GPU”异构系统上开发驱动，体验更完整。资源充足。
    • 缺点：价格更高，工具链（Quartus）和开发流程更复杂。

软件工具链：

  1. HDL仿真器：iverilog（开源）或ModelSim（Intel Starter Edition免费）。在烧录到FPGA前，必须进行充分的仿真测试。
  2. FPGA厂商工具：根据板卡选择Vivado（Xilinx）或Quartus Prime（Intel）。
  3. 开源综合工具（针对Lattice）：Yosys+Nextpnr。
  4. 开发环境：代码编辑器（VS Code + 插件）或 IDE。
  5. 软件侧：GCC交叉编译工具链（针对ARM SoC板），或本地编译环境。

最重要的“硬件”：一台靠谱的电脑。FPGA综合布局布线非常消耗CPU和内存，建议使用16GB以上内存的电脑。固态硬盘能显著提升工具运行速度。

3. 从零开始的实现路径：一个可执行的四阶段计划

不要试图一开始就设计一个完整的现代GPU。那会像试图建造一座摩天大楼却不懂怎么砌砖。我的建议是将其分解为四个循序渐进的阶段，每个阶段都是一个可验证的里程碑。

3.1 第一阶段：点亮屏幕——实现最基础的显示输出

目标：让FPGA通过VGA或HDMI接口，在显示器上显示一个固定的颜色或简单的图案（如彩条）。为什么从这里开始：这是最直观的反馈。能点亮屏幕，证明你的时钟管理、视频时序发生器（Sync Generator）、数模转换（DAC）或HDMI编码器、以及FPGA引脚约束都是正确的。这是硬件工作的“心跳”。具体步骤：

  1. 研究视频时序：彻底理解你要输出的视频格式（如640x480@60Hz）的时序参数（水平/垂直同步、前沿、后沿、有效显示区）。网上有大量VGA时序标准文档。
  2. 编写时序生成模块：用Verilog实现一个模块，根据输入时钟，生成正确的HSYNC（行同步）和VSYNC（场同步）信号。
  3. 编写像素生成模块：实现一个简单的逻辑，根据当前像素坐标（X, Y）输出RGB颜色值。例如，让屏幕上半部分红色，下半部分蓝色。
  4. 连接与约束：将时序模块和像素模块连接起来。在约束文件中，将HSYNC、VSYNC、RGB信号正确分配到FPGA板载VGA/HDMI接口的物理引脚上。
  5. 仿真与上板：先用仿真器看波形，确保时序信号符合标准。然后生成比特流，烧录到FPGA，连接显示器查看结果。成功标志：显示器不再显示“无信号”，而是出现你预设的彩色图案。

3.2 第二阶段：定义“图形内存”——实现帧缓冲与CPU访问

目标：在FPGA内部或外部存储器中开辟一块“帧缓冲”，并允许“CPU”（可以是FPGA里的软核，或SoC板上的ARM硬核）向其中写入数据，从而动态改变屏幕内容。为什么：静态图案没有实用性。帧缓冲是GPU与CPU沟通的桥梁，是任何图形系统的基础。具体步骤：

  1. 选择存储器：如果FPGA内部Block RAM够用，就用它做帧缓冲，速度快，控制简单。如果分辨率高（如1280x720），则需要连接外部DDR内存，这难度会陡增（需要实现DDR控制器）。
  2. 设计帧缓冲控制器：设计一个双端口RAM（一个端口给视频扫描逻辑只读，另一个端口给CPU读写）。视频端口按像素时钟连续读出数据；CPU端口则接受地址和数据写入。
  3. 设计总线接口：为CPU访问设计一个简单的总线接口，如Wishbone或AXI4-Lite。CPU通过向特定地址写入数据来“画点”。
  4. 编写测试软件：在CPU侧（软核用C代码，硬核用Linux下的裸机程序或驱动），编写一个循环，向帧缓冲的不同位置写入不同的颜色值。成功标志：运行测试软件后，屏幕上的像素点能按照程序逻辑发生变化，例如画出一条直线、一个方块，或者显示滚动的文字（需要先实现字库）。

3.3 第三阶段：增加“智能”——实现简单的2D图形加速

目标：让CPU不再笨拙地“画点”，而是通过发送“命令”让GPU硬件自己完成一些基本绘图操作，如画矩形、填充区域、位块传输。为什么：这是GPU价值的初步体现——将重复性、规律性的计算任务卸载到专用硬件，解放CPU。具体步骤：

  1. 设计命令FIFO与解析器：CPU将绘图命令（如DRAW_RECT, x, y, width, height, color）写入一个FIFO缓冲区。GPU内部有一个状态机不断从FIFO读出并解析这些命令。
  2. 实现绘图流水线：以画矩形为例，硬件模块需要根据命令参数，自动计算出矩形覆盖的所有像素地址，并连续向帧缓冲的相应位置写入颜色值。这个过程是高度并行的雏形——虽然可能还是一个像素一个像素地写，但逻辑是统一和高效的。
  3. 优化与冲突处理：确保视频扫描读取和绘图写入不会同时访问帧缓冲的同一地址，否则会导致画面撕裂。可以通过双缓冲（两个帧缓冲交替使用）或更精细的仲裁逻辑来解决。成功标志：CPU只需发送几条命令，屏幕就能瞬间出现复杂的图形组合，CPU占用率极低。

3.4 第四阶段：迈向3D与通用计算——设计可编程着色器核心

目标：实现一个极其简化的、可编程的流水线，例如支持顶点变换或像素着色的微型核心阵列。为什么：这是现代GPU的灵魂。这一步将项目从“固定功能加速器”提升到“可编程处理器”的层面。具体步骤（这是一个巨大的跨越，可以只实现概念验证）：

  1. 定义微型指令集：设计一个非常简单的指令集，只包含几条核心指令，如向量加、乘、点积、加载/存储。
  2. 设计单个计算核心：实现一个包含寄存器文件、ALU、控制单元的简化处理器核心。它可以执行你定义的指令集。
  3. 创建核心阵列：由于资源限制，你可能只能实例化2-4个这样的核心。让它们共享指令缓存和数据存储器。
  4. 设计任务分发：CPU将一批顶点数据或像素数据以及一小段“着色器程序”（你的指令集代码）提交给GPU。由调度逻辑将数据分发给各个核心并行处理。
  5. 编写软件栈：你需要编写编译器（或手写汇编），将高级的着色器函数（如color = texture * light）编译成你的微型指令集代码。成功标志：能够用硬件加速完成一个简单的计算任务，例如对一组向量进行批量矩阵变换，其速度远超CPU软实现（在FPGA时钟频率低得多的情况下）。在图形上，可能表现为一个具有简单光照的旋转立方体。

4. 那些让我“血泪”的典型坑与排查指南

这半年的过程，绝大部分时间不是在写代码，而是在调试和排查。以下是我遇到的最高频、最折磨人的问题及我的排查思路。

4.1 问题一：屏幕无显示，或者显示乱码、滚动、撕裂

这是第一阶段最常见的问题。

  • 排查顺序：
    1. 查时钟：首先用示波器或逻辑分析仪测量输出给视频时序发生器的时钟是否稳定、频率是否正确。一个不稳定的时钟是万恶之源。
    2. 查时序波形：在仿真器中，仔细检查HSYNC、VSYNC、以及数据有效信号（如DE）的波形。对照标准时序图，看前沿、后沿、脉冲宽度、有效区时间是否一个像素都不差。差一个时钟周期都可能让显示器无法识别。
    3. 查引脚约束：这是硬件连接错误的重灾区。反复核对约束文件（.xdc）中的引脚编号、电平标准（LVCMOS33, LVDS等）、以及是否被其他模块误用。确保RGB信号的位顺序（MSB/LSB）与电路板原理图一致。
    4. 查物理连接：检查VGA/HDMI线缆是否完好，显示器输入源是否选对。对于HDMI，还需要注意编码器芯片（如ADV7513）的I2C配置是否正确，有时需要FPGA在上电后通过I2C对芯片进行初始化。
  • 我的教训：我曾因为将HSYNC和VSYNC信号的极性（高有效/低有效）设反，导致显示器一直处于“节能模式”。另一个坑是，用内部逻辑产生的时钟直接驱动高速视频信号，因时钟偏移导致颜色错误，后来必须使用FPGA的专用时钟管理单元（MMCM/PLL）来生成低抖动的像素时钟。

4.2 问题二：CPU无法写入帧缓冲，或写入后屏幕显示异常

  • 排查顺序：
    1. 查总线连接：用仿真工具，模拟CPU发起一次写操作，看写地址、写数据、写使能信号是否正确地传递到了帧缓冲存储器的对应端口。重点检查地址映射：CPU写的地址是否经过了正确的偏移计算，对应到了视频扫描逻辑读取的物理存储位置。
    2. 查仲裁逻辑：如果视频端口和CPU端口可能同时访问同一地址，你的仲裁逻辑是否公平且正确？是否导致了CPU写入被忽略，或视频读取到错误数据？先实现最简单的互斥锁或优先级仲裁来验证功能。
    3. 查存储器初始化：Block RAM或DDR在上电后内容可能是随机的。确保在视频扫描开始前，用硬件逻辑或CPU将整个帧缓冲初始化为一个背景色（如黑色），否则你会看到随机噪点。
    4. 查软件/驱动：如果CPU是硬核（如ARM），检查你的裸机程序或内核驱动是否正确地执行了内存映射I/O操作。在Linux下，可能需要通过mmap将物理地址映射到用户空间，并确保地址对齐。
  • 我的教训：我最初设计的双端口RAM，两个端口用了不同的时钟域（像素时钟和CPU总线时钟），但没有做跨时钟域处理，导致CPU写入的数据偶尔“消失”，屏幕上出现闪烁的错误像素。解决方案是使用异步FIFO来桥接两个时钟域的数据传输。

4.3 问题三：功能仿真正确，但上板后行为诡异或崩溃

这是典型的时序问题。

  • 排查顺序：
    1. 看时序报告：综合实现后，工具一定会给出时序报告。重点看建立时间（Setup）和保持时间（Hold）是否违例。如果有违例，说明你的逻辑路径延迟太长，无法在给定的时钟频率下稳定工作。
    2. 降低时钟频率：这是最直接的验证方法。如果降低频率后问题消失，那基本确定是时序问题。你需要回头优化关键路径的逻辑。
    3. 插入流水线：对于复杂的组合逻辑（比如一个计算像素地址的大段if-else语句），将其拆分成多个时钟周期完成，即插入寄存器进行流水。
    4. 检查异步信号：是否有没有同步的异步复位信号？是否在多个时钟域之间直接传递了数据？所有跨时钟域的信号都必须使用同步器（如两级触发器）。
    5. 使用片内逻辑分析仪：Vivado的ILA或Quartus的SignalTap是神器。它们可以把FPGA内部任何信号的实时波形抓出来，比仿真更真实。用它们来捕捉问题发生瞬间的信号状态。
  • 我的教训：我的绘图引擎在一个时钟周期内做了太多计算和地址判断，当时钟频率提高到50MHz时，时序报告出现大量违例，上板后绘图命令解析错误。通过将命令解析、地址计算、数据写入拆成三级流水线，问题得以解决。

4.4 问题四：资源利用率爆表，设计无法被FPGA容纳

  • 排查顺序：
    1. 看综合报告：工具会详细列出LUT、寄存器、Block RAM、DSP的用量。哪个模块用得最多？
    2. 优化存储：帧缓冲是资源消耗大户。如果分辨率不高，尝试降低颜色深度（如从RGB888降到RGB565）。如果用了很多查找表（LUT）实现ROM（如字库），考虑用Block RAM来替代。
    3. 逻辑复用：检查代码中是否有大量重复的、功能相同的模块实例。能否设计成时分复用的单个模块？
    4. 重新评估设计规模：这是最现实的建议。如果你的目标是Artix-7 35T的板子，却想实现一个包含32个计算核心的阵列，那是不现实的。必须根据资源反推设计规模。在资源有限的FPGA上做GPU，必须做极致的精简和取舍。
  • 我的教训：我曾试图在Basys 3（Artix-7 35T）上实现一个带纹理映射的2D引擎，纹理缓存就用掉了大部分Block RAM，导致布线资源紧张，时序无法收敛。最终只能放弃纹理，回归纯色填充。

5. 给后来者的实践建议与心态管理

走完这一程，与其说收获了一个“GPU”，不如说收获了一套应对复杂硬件系统问题的“肌肉记忆”。最后分享几点务实的建议：

1. 版本控制从第一天就开始用。无论是用Git还是SVN，必须为你的Verilog代码、约束文件、软件代码建立版本库。调试时常需要回溯到能工作的版本，没有版本控制你会痛不欲生。

2. 仿真，仿真，再仿真。在按下综合按钮之前，确保你的每一个独立模块都有完善的测试平台（Testbench），并且通过了仿真。模块联调时也要做系统级仿真。上板调试的时间成本是仿真的百倍以上。一个良好的测试平台应该能覆盖正常情况和各种边界情况。

3. 从开源项目“借力”，但不要“照搬”。GitHub上有许多优秀的开源GPU/图形项目，如f32c、LiteX生态下的相关项目、swapforth的J1核心等。我的建议是：先阅读和理解它们的代码和架构，然后自己动手实现核心模块。你可以复用他们的外设控制器（如HDMI、DDR），但核心的图形流水线或计算单元，自己写一遍才能学到东西。直接克隆编译，成功了也不知道为什么。

4. 硬件调试，仪器为王。一块FPGA开发板、一台逻辑分析仪（甚至便宜的USB逻辑分析仪也行）、一台示波器，是你的基本装备。ILA/SignalTap是软件逻辑分析仪，必不可少。不要试图用“猜”来调试硬件问题，数据波形不会说谎。

5. 管理预期，庆祝小胜。不要指望六个月后你就能用它来玩《我的世界》。第一个里程碑应该是“点亮屏幕”，第二个是“用CPU画一个点”，第三个是“画一条线”……每一个小目标的达成，都是继续前进的巨大动力。这个项目最大的回报不是最终的产品，而是过程中学到的、贯穿软硬件的系统级思维和解决问题的能力。

这条路充满挑战，但每一步都踏踏实实。当你第一次看到自己设计的硬件在屏幕上画出图形时，那种成就感是无与伦比的。这不仅仅是制作了一个硬件，更是亲手搭建了一座理解计算机图形与并行计算世界的桥梁。

编程学习 学习日记 实战经验
← 返回列表