BNInferGrad
【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn
产品支持情况
| 产品 | 是否支持 |
|---|---|
| Ascend 950PR/Ascend 950DT | √ |
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ |
| Atlas 200I/500 A2 推理产品 | × |
| Atlas 推理系列产品 | √ |
| Atlas 训练系列产品 | √ |
功能说明
算子功能：计算BatchNorm在推理模式（training=False）下输入数据关于损失函数的梯度，等价于PyTorch
batch_norm_backward(..., training=false, ...)中grad_input的子计算。计算公式：
$$ x_backprop = grads \times scale \times \frac{1}{\sqrt{batch_variance + \epsilon}} $$
参数说明
| 参数名 | 输入/输出/属性 | 描述 | 数据类型 | 数据格式 |
|---|---|---|---|---|
| grads | 输入 | 上游梯度张量，公式中的grads。 | fp16、fp32、bf16 | ND、NCHW、NHWC、NC1HWC0 |
| scale | 输入 | BatchNorm缩放参数gamma，公式中的scale，长度等于grads通道维C。 | fp32 | ND、NCHW、NHWC、NC1HWC0 |
| batch_variance | 输入 | 推理阶段BatchNorm方差，公式中的batch_variance，长度等于grads通道维C。 | fp32 | ND、NCHW、NHWC、NC1HWC0 |
| epsilon | 属性 | 防除零常数，公式中的ε，默认值为0.0001。 | fp32 | - |
| x_backprop | 输出 | BNInferGrad计算的输出张量，shape与grads一致。 | fp16、fp32、bf16 | ND、NCHW、NHWC、NC1HWC0 |
约束说明
- grads与x_backprop的dtype须保持一致。
- scale与batch_variance的dtype须为fp32。
- 当format为NC1HWC0时，scale与batch_variance的shape需调整为(1, C1, 1, 1, C0)。
调用说明
| 调用方式 | 样例代码 | 说明 |
|---|---|---|
| 图模式 | test_geir_bn_infer_grad.cpp | 通过图模式方式调用BNInferGrad算子。 |
【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
