三亩地 三亩地SAN MU DI · CODE DIARY
ARTICLE DETAIL

日记详情

真实记录编程学习的某一天,欢迎挑你感兴趣的翻一翻。

网站是软件吗wordpress 新浪主题

网站是软件吗wordpress 新浪主题 网站是软件吗,wordpress 新浪主题,一站式电商网站建设,舆情监控NVIDIA GPU(cuDNN / cuBLAS / Transformer 视角) NVIDIA GPU 典型算子一览表 编号 类型 领域 算子类别 典型算子名称 数学方程式 / 计算描述 应用场景 时间 / 空间 / 其他复杂度 优势 劣势 1 计算密集型 深度学习 Dot-Product GEMM(矩阵乘) CMN​=AMK​BKN​…NVIDIA GPU(cuDNN / cuBLAS / Transformer 视角)NVIDIA GPU 典型算子一览表编号类型领域算子类别典型算子名称数学方程式 / 计算描述应用场景时间 / 空间 / 其他复杂度优势劣势1计算密集型深度学习Dot-ProductGEMM(矩阵乘)CM×N​=AM×K​BK×N​,FLOPs = 2MNK全连接层、Attention 的 QKV 投影、MLP时间 O(MNK);算术强度 ≈O(min(M,N,K)),大矩阵为compute-bound​Tensor Core 可 4–16× 加速
← 返回列表