GeGluV2
【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn
产品支持情况
| 产品 | 是否支持 |
|---|---|
| Ascend 950PR/Ascend 950DT | √ |
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ |
| Atlas 200I/500 A2 推理产品 | × |
| Atlas 推理系列产品 | √ |
| Atlas 训练系列产品 | × |
| Kirin X90 处理器系列产品 | √ |
| Kirin 9030 处理器系列产品 | √ |
功能说明
接口功能：高斯误差线性单元激活门函数，针对aclnnGeGlu，扩充了设置激活函数操作数据块方向的功能。
计算公式： 若activateLeft为true，表示对$self$的左半部分做activate
$$ out_{i}=GeGlu(self_{i}) = Gelu(A) \cdot B $$
若activateLeft为false，表示对$self$的右半部分做activate
$$ out_{i}=GeGlu(self_{i}) = A \cdot Gelu(B) $$
其中，$A$表示$self$的左半部分，$B$表示$self$的右半部分。
参数说明
| 参数名 | 输入/输出/属性 | 描述 | 数据类型 | 数据格式 |
|---|---|---|---|---|
| self | 输入 | 公式中的输入self。 | FLOAT、FLOAT16、BFLOAT16 | ND |
| dim | 可选属性 | 设定的slice轴，需要对self对应的轴进行对半切，同时dim对应的self的轴必须是双数。 | INT64 | ND |
| approximate | 可选属性 | GeGlu计算使用的激活函数索引，0表示使用“none”，1表示使用“tanh”。 | INT64 | - |
| activateLeft | 属性 | 表示激活函数操作数据块的方向，false表示对右边做activate，true表示对左边做activate。 | BOOL | - |
| out | 输出 | 公式中的dx。 | FLOAT、FLOAT16、BFLOAT16 | ND |
| outGelu | 输出 | 公式中的outGelu。 | FLOAT、FLOAT16、BFLOAT16 | ND |
- GeGlu不包含activateLeft参数。
- Atlas 推理系列产品 、 Atlas 训练系列产品 ：self、out和outGelu的数据类型支持FLOAT、FLOAT16。
- Kirin X90/Kirin 9030处理器系列产品：self、out和outGelu的数据类型不支持BFLOAT16。
约束说明
无
调用说明
| 调用方式 | 调用样例 | 说明 |
|---|---|---|
| aclnn调用 | test_aclnn_ge_glu | 通过aclnnGeGlu接口方式调用GeGluV2算子。 |
| aclnn调用 | test_aclnn_ge_glu_v3 | 通过aclnnGeGluV3接口方式调用GeGluV2算子。 |
| 图模式调用 | - | 通过算子IR构图方式调用GeGluV2算子。 |
【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考