CUDA编程之Grid、Block、Thread线程模型

一、线程模型:Grid、Block、Thread概念

1. 层级定义
  • Thread(线程)
    CUDA中最基本的执行单元,对应GPU的单个CUDA核心(SP)。每个线程独立执行核函数指令,拥有独立的寄存器和局部内存空间‌。

  • Block(线程块)
    由多个线程组成(通常为32的倍数),是逻辑上的并行单元。同一Block内的线程可通过共享内存(Shared Memory)协作,并支持同步操作(如__syncthreads())。一个Block内的线程会被划分为多个‌Warp‌(32线程为一组,以SIMT方式执行)‌。

  • Grid(网格)
    由多个Block构成,代表完整的核函数执行空间。Grid内的Block可分配到不同SM(流多处理器)上并行执行,但不同Block之间无法直接通信‌。

2. 维度与索引
  • 维度定义
    Grid和Block均支持一维、二维或三维结构。例如,处理图像时常用二维Block(如16x16线程)‌

  • 魔方图

二、索引计算

  • 全局索引‌:通过blockIdx(Block在Grid中的位置)、threadIdx(线程在Block中的位置)和blockDim(Block维度)计算全局位置。例如:
    int global_x = blockIdx.x * blockDim.x + threadIdx.x; // 一维示例
  • // 二维示例(如图像处理)
    int x = blockIdx.x * blockDim.x + threadIdx.x;
    int y = blockIdx.y * blockDim.y + threadIdx.y;

    blockIdx:线程块在对应 grid 中的编号。
    threadIdx:线程在对应线程块中的编号。
    两者都是uint3向量类型,包含 x, y, z 三个 uint 成员。

    gridDim:grid 的维度,即每一维的 block 数量。对应调用 kernel 时的 gridSize。
    blockDim:block 的维度,即每一维的 thread 数量。对应调用 kernel 时的 blockSize。
    两者都是dim3向量类型,包含 x, y, z 三个 uint 成员。

    例:

    gridDim.x:当前 grid 中线程块的数量(一维)/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/152.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

8. 深入Spring AI:自定义Advisor

1、前言 前面大篇幅介绍了关于Spring AI Advisor机制,并介绍了一些常见的内置的advisor。今天我们来自定义有一个Advisor。 2、快速开始 要自定义一个属于自己的Advisor,其实很自定义一个AOP一样简单。只需遵循以下步骤: 创建一个Advisor类,实现CallAroundAdvisor或Stre…

【C++】继承----下篇

文章目录 前言一、实现一个不能继承的类二、友元与继承三、继承与静态成员四、多继承以及菱形继承问题1.继承模型:2.菱形继承的问题3.虚拟继承解决数据冗余和二义性的原理4.虚拟继承的原理 五、继承的总结和反思1.继承和组合 总结 前言 各位好呀!今天呢我们接着讲继…

五一去荣昌吃卤鹅?基于Java和天地图的寻找荣昌卤鹅店实践

目录 前言 1、卤鹅哥与甲亢哥的爆火事件 2、荣昌卤鹅产业的空间分布 3、使用Java 和天地图进行产业挖掘 一、地名检索简介 1、地名检索功能 2、地名检索API介绍 二、荣昌卤鹅检索实践 1、数据获取流程 2、天地图API请求构建 3、参数构建及调用 4、结果生成及本地保存…

AI数字人:繁荣背后的伦理困境与法律迷局(8/10)

摘要:本文深入剖析 AI 数字人从虚拟走向现实的历程,阐述其融合多技术实现从静态到动态交互的跨越,爆发式应用于各领域带来的商业价值与社会影响,同时直面由此引发的伦理法律挑战,包括身份认同、数据隐私、责任归属及权…

【C++指南】告别C字符串陷阱:如何实现封装string?

🌟 各位看官好,我是egoist2023! 🌍 种一棵树最好是十年前,其次是现在! 💬 注意:本章节只详讲string中常用接口及实现,有其他需求查阅文档介绍。 🚀 今天通过了…

头歌实训之索引

🌟 各位看官好,我是maomi_9526! 🌍 种一棵树最好是十年前,其次是现在! 🚀 今天来学习C语言的相关知识。 👍 如果觉得这篇文章有帮助,欢迎您一键三连,分享给更…

第25周:DenseNet+SE-Net实战

目录 前言 1.准备工作 2.查看数据 3.划分数据集 4.创建模型 5.编译及训练模型 6.结果可视化 7.总结 前言 🍨 本文为🔗365天深度学习训练营中的学习记录博客🍖 原作者:K同学啊 1.准备工作 import torch import torch.nn as nn imp…

什么是Maven

Maven的概念 Maven是一个一键式的自动化的构建工具。Maven 是 Apache 软件基金会组织维护的一款自动化构建工具,专注服务于Java 平台的项目构建和依赖管理。Maven 这个单词的本意是:专家,内行。Maven 是目前最流行的自动化构建工具&#xff0…

VSCode如何修改默认扩展路径和用户文件夹目录到其他盘以及微信开发工具如何修改扩展路径到其他盘

ps:因公司电脑c盘内存严重不足,而出本篇文章 1.Visual Studio Code 随着VsCode的使用时间的推移,安装的扩展以及数据逐步增多,导致c盘内存占用较大,所以这里将vscode的默认缓存路径等迁移到其他盘。 步骤如下 1.找到默认的存储…

【LLM+Code】Github Copilot Agent/VsCode Agent 模式PromptTools详细解读

一、前言 github copilot agent mode现在和vscode是强绑定的关系, 其实是一个东西: https://github.blog/news-insights/product-news/github-copilot-the-agent-awakens/https://code.visualstudio.com/docs/copilot/chat/chat-agent-mode 二、Syste…

Ubuntu服务器上如何监控Oracle数据库

在 Ubuntu 服务器上监控 Oracle 数据库,虽然不像在 Windows 或某些企业 Linux(如 RHEL)那样有现成的 GUI 工具,但你完全可以通过命令行工具、脚本、开源监控平台来实现全面监控,包含: 数据库性能指标&#…

系统高性能设计核心机制图解:缓存优化、链表调度与时间轮原理

系统高性能设计核心机制图解:缓存优化、链表调度与时间轮原理 在高并发系统中,性能瓶颈常出现在内存竞争、调度延迟与缓存失效等环节。本文总结几项关键机制:伪共享优化、链表缓存结构、时间轮定时器,并通过文字图示还原其结构与…