GM与L1或L0数据搬运

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

总体说明

Global Memory与L1 Buffer/L0 Buffer之间的数据搬运提供了灵活、分层的接口支持，能够充分适配多样化的计算场景（见表1）。其中，Global Memory与L1 Buffer、Global Memory->L0A Buffer、Global Memory->L0B Buffer的数据搬运用于矩阵计算（参考矩阵计算的搬入），L0C Buffer->Global Memory用于将矩阵计算结果搬出，完成矩阵计算的输出流程（参考矩阵计算的搬出）。开发者能够通过灵活配置结构体参数，精确控制数据块数量、数据块长度及地址间隔等关键属性，实现高维切分数据搬运，充分释放硬件的数据搬运与计算协同能力，显著提升算子的执行效率与整体性能。

表 1Global Memory与L1 Buffer/L0 Buffer数据搬运接口概述

GM与L1连续数据搬运(DataCopy)

DataCopy能够实现Global Memory和L1 Buffer之间的连续数据搬运，数据搬运时格式和内容保持不变。

具体支持的数据通路为（以逻辑位置TPosition表示）：

• Global Memory -> L1 Buffer
  • GM -> A1/B1
• L1 Buffer -> Global Memory
  • A1/B1 -> GM

搬运的数据用于矩阵计算，接口具体介绍请参考：GMToL1连续数据搬运（DataCopy）。

src和dst分别为源操作数和目的操作数；count为连续搬运的元素个数。

• Global Memory -> L1 Buffer

  template <typename T> __aicore__ inline void DataCopy(const LocalTensor<T>& dst, const GlobalTensor<T>& src, const uint32_t count)

• L1 Buffer -> Global Memory

  template <typename T> __aicore__ inline void DataCopy(const GlobalTensor<T>& dst, const LocalTensor<T>& src, const uint32_t count)

GM与L1高维切分数据搬运(DataCopy)

DataCopy能够实现Global Memory和L1 Buffer之间的连续数据搬运和非连续数据搬运，数据搬运时格式和内容保持不变。

高维切分是指能够通过配置数据块个数、单个数据块长度、地址偏移等搬运参数实现非连续搬运。

具体支持的数据通路为（以逻辑位置TPosition表示）：

• Global Memory -> L1 Buffer
  • GM -> A1/B1
• L1 Buffer -> Global Memory
  • A1/B1 -> GM

搬运的数据用于矩阵计算，接口具体介绍请参考：GMToL1高维切分数据搬运（DataCopy）。

src和dst分别为源操作数和目的操作数；repeatParams为搬运参数。

• Global Memory -> L1 Buffer

  template <typename T> __aicore__ inline void DataCopy(const LocalTensor<T>& dst, const GlobalTensor<T>& src, const DataCopyParams& repeatParams)

• L1 Buffer -> Global Memory

  template <typename T> __aicore__ inline void DataCopy(const GlobalTensor<T>& dst, const LocalTensor<T>& src, const DataCopyParams& repeatParams)

GMToL1随路转换-ND2NZ搬运(DataCopy)

该接口主要实现将数据从Global Memory搬运至L1 Buffer，并支持在数据搬运时进行ND到NZ格式的转换。

具体支持的数据通路为（以逻辑位置TPosition表示）：

• Global Memory -> L1 Buffer
  • GM -> A1/B1

搬运的数据用于矩阵计算，接口具体介绍请参考：GMToL1随路转换-ND2NZ搬运（DataCopy）。

src和dst分别为源操作数和目的操作数；intriParams为ND2NZ搬运配置参数。

• 不支持enableSmallC0模式

  template <typename T> __aicore__ inline void DataCopy(const LocalTensor<T>& dst, const GlobalTensor<T>& src, const Nd2NzParams& intriParams)

• 支持enableSmallC0模式（仅Ascend 950PR/Ascend 950DT支持）

  template <typename T, bool enableSmallC0 = false> __aicore__ inline void DataCopy(const LocalTensor<T>& dst, const GlobalTensor<T>& src, const Nd2NzParams& intriParams)

GMToL1随路转换-DN2NZ搬运(DataCopy)

该接口主要实现将数据从Global Memory搬运至L1 Buffer，并支持在数据搬运时进行DN到NZ格式的转换。

具体支持的数据通路为（以逻辑位置TPosition表示）：

• Global Memory -> L1 Buffer
  • GM -> A1/B1

搬运的数据用于矩阵计算，接口具体介绍请参考：GMToL1随路转换-DN2NZ搬运（DataCopy）。

src和dst分别为源操作数和目的操作数；intriParams为DN2NZ搬运配置参数。

• 支持enableSmallC0模式（仅Ascend 950PR/Ascend 950DT支持）

  template <typename T, bool enableSmallC0 = false> __aicore__ inline void DataCopy(const LocalTensor<T>& dst, const GlobalTensor<T>& src, const Dn2NzParams& intriParams);

GMToL1非对齐数据搬运(DataCopyPad)

该接口主要实现将数据从Global Memory搬运至L1 Buffer，并支持在数据搬运时提供非对齐数据搬运功能，可以根据开发者的需要自行填充数据。

具体支持的数据通路为（以逻辑位置TPosition表示）：

• Global Memory -> L1 Buffer
  • GM -> A1/B1

搬运的数据用于矩阵计算，接口具体介绍请参考：GMToL1非对齐数据搬运（DataCopyPad）。

src和dst分别为源操作数和目的操作数；dataCopyParams和padParams为搬运参数。

• 仅Ascend 950PR/Ascend 950DT支持

  template <typename T, PaddingMode mode = PaddingMode::Normal> __aicore__ inline void DataCopyPad(const LocalTensor<T>& dst, const GlobalTensor<T>& src, const DataCopyExtParams& dataCopyParams, const DataCopyPadExtParams<T>& padParams)

GMToL1 NZ数据搬运(LoadData（2D矩阵搬运）)

该接口主要实现将数据从Global Memory搬运至L1 Buffer，负责完成普通矩阵计算所需的2D格式数据的搬运，以大小为512Byte的数据分形为单位进行搬运。

具体支持的数据通路为（以逻辑位置TPosition表示）：

• Global Memory -> L1 Buffer
  • GM -> A1/B1

搬运的数据用于矩阵计算，接口具体介绍请参考：GMToL1-2D矩阵搬运（LoadData）。

src和dst分别为源操作数和目的操作数；loadDataParams为搬运参数。

template <typename T> __aicore__ inline void LoadData(const LocalTensor<T>& dst, const GlobalTensor<T>& src, const LoadData2DParams& loadDataParams)

GMToL1 NZ数据搬运(LoadData（2D矩阵搬运V2）)

该接口主要实现将数据从Global Memory搬运至L1 Buffer，负责完成普通矩阵计算所需的2D格式数据的搬运，以大小为512Byte的数据分形为单位进行搬运。

具体支持的数据通路为（以逻辑位置TPosition表示）：

• Global Memory -> L1 Buffer
  • GM -> A1/B1

搬运的数据用于矩阵计算，接口具体介绍请参考：GMToL1-2D矩阵搬运V2（LoadData）。

src和dst分别为源操作数和目的操作数；loadDataParams为搬运参数。

• 仅Ascend 950PR/Ascend 950DT支持

  template <typename T> __aicore__ inline void LoadData(const LocalTensor<T>& dst, const GlobalTensor<T>& src, const LoadData2DParamsV2& loadDataParams)

GMToL0A 2D格式分形矩阵搬运(LoadData（2D矩阵搬运）)

该接口主要实现将数据从Global Memory搬运至L0A Buffer，负责完成普通矩阵计算所需的2D格式数据的搬运，以大小为512Byte的数据分形为单位进行搬运。

具体支持的数据通路为（以逻辑位置TPosition表示）：

• Global Memory -> L0A Buffer
  • GM -> A2

搬运的数据用于矩阵计算，接口具体介绍请参考：LoadData（2D矩阵搬运）。

src和dst分别为源操作数和目的操作数；loadDataParams为搬运参数。

template <typename T> __aicore__ inline void LoadData(const LocalTensor<T>& dst, const GlobalTensor<T>& src, const LoadData2DParams& loadDataParams)

GMToL0B 2D格式分形矩阵搬运(LoadData（2D矩阵搬运）)

该接口主要实现将数据从Global Memory搬运至L0B Buffer，负责完成普通矩阵计算所需的2D格式数据的搬运，以大小为512Byte的数据分形为单位进行搬运。

具体支持的数据通路为（以逻辑位置TPosition表示）：

• Global Memory -> L0B Buffer
  • GM -> B2

搬运的数据用于矩阵计算，接口具体介绍请参考：LoadData（2D矩阵搬运）。

src和dst分别为源操作数和目的操作数；loadDataParams为搬运参数。

template <typename T> __aicore__ inline void LoadData(const LocalTensor<T>& dst, const GlobalTensor<T>& src, const LoadData2DParams& loadDataParams)

L0CToGM随路量化激活搬运(DataCopy)

该接口主要实现将数据从L0C Buffer搬运至Global Memory，并支持多种随路能力的组合，需要设置不同的寄存器。

具体支持的数据通路为（以逻辑位置TPosition表示）：

• L0C Buffer -> Global Memory
  • CO1 -> GM

搬运的数据为矩阵计算的结果，接口具体介绍请参考：L0C到GM数据搬运（DataCopy）。

src和dst分别为源操作数和目的操作数；intriParams为搬运参数。

template <typename T, typename U> __aicore__ inline void DataCopy(const GlobalTensor<T>& dst, const LocalTensor<U>& src, const DataCopyCO12DstParams& intriParams)

L0CToGM随路量化激活搬运(FixPipe)

该接口主要实现将数据从L0C Buffer搬运至Global Memory，并支持多种随路能力的组合，接口内包含了设置寄存器与数据搬运能力。

具体支持的数据通路为（以逻辑位置TPosition表示）：

• L0C Buffer -> Global Memory
  • CO1 -> GM

搬运的数据为矩阵计算的结果，以Ascend 950PR/Ascend 950DT为例，接口示例如下：

注意，不同产品型号的接口原型可能不同，具体介绍请参考：L0C到GM数据搬运（Fixpipe）。

src和dst分别为源操作数和目的操作数；intriParams为搬运参数，cbufWorkspace为开启tensor量化时所需的量化参数。

• 不开启随路tensor量化功能：

  template <typename T, typename U, const FixpipeConfig& config = CFG_ROW_MAJOR> __aicore__ inline void Fixpipe(const GlobalTensor<T>& dst, const LocalTensor<U>& src, const FixpipeParamsArch3510<config.format>& intriParams)

• 开启随路tensor量化功能：

  template <typename T, typename U, const FixpipeConfig& config = CFG_ROW_MAJOR> __aicore__ inline void Fixpipe(const GlobalTensor<T>& dst, const LocalTensor<U>& src, const LocalTensor<uint64_t>& cbufWorkspace, const FixpipeParamsArch3510<config.format>& intriParams)

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit