Gelu

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Atlas 200I/500 A2 推理产品	√
Atlas 推理系列产品	√
Atlas 训练系列产品	√

功能说明

• 算子功能：高斯误差线性单元激活函数。

• 计算公式：

  $$ out=GELU(self)=self × Φ(self)=0.5 * self * (1 + tanh( \sqrt{2 / \pi} * (self + 0.044715 * self^{3}))) $$

参数说明

参数名	输入/输出	描述	使用说明	数据类型	数据格式	维度(shape)	非连续Tensor
x	输入	表示GELU激活函数的输入，公式中的self。	数据类型必须和out一样。 shape必须和out一样。 支持空Tensor。	FLOAT、FLOAT16、BFLOAT16	ND	0-8	√
y	输出	表示GELU激活函数的输出。	数据类型必须和self一致。 shape必须和self一致。	FLOAT、FLOAT16、BFLOAT16	ND	0-8	√

- Atlas 200I/500 A2 推理产品 、 Atlas 推理系列产品 、 Atlas 训练系列产品 ：数据类型支持FLOAT、FLOAT16。

约束说明

无

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_gelu.cpp	通过aclnnGelu接口方式调用Gelu算子。

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn