已合并
modified md files(for readability improvement) #3444
gitee-duhuiping创建于 4月1日
modified md files(for readability improvement) #3444
已合并
共 224 个文件变更+826-1002
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表中的每个张量执行逐元素绝对值运算。 | 18 | - 算子功能:对输入张量列表中的每个张量执行逐元素绝对值运算。 |
| @@ -63,6 +62,7 @@ | |||
| 63 | </tbody></table> | 62 | </tbody></table> |
| 64 | 63 | ||
| 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 64 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 65 | + | ||
| 66 | ## 约束说明 | 66 | ## 约束说明 |
| 67 | 67 | ||
| 68 | 无 | 68 | 无 |
| @@ -72,4 +72,4 @@ | |||
| 72 | | 调用方式 | 样例代码 | 说明 | | 72 | | 调用方式 | 样例代码 | 说明 | |
| 73 | | ---------------- | --------------------------- | --------------------------------------------------- | | 73 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 74 | | aclnn接口 | [test_aclnn_foreach_abs](examples/test_aclnn_foreach_abs.cpp) | 通过[aclnnForeachAbs](docs/aclnnForeachAbs.md)接口方式调用ForeachAbs算子。 | | 74 | | aclnn接口 | [test_aclnn_foreach_abs](examples/test_aclnn_foreach_abs.cpp) | 通过[aclnnForeachAbs](docs/aclnnForeachAbs.md)接口方式调用ForeachAbs算子。 | |
| 75 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_abs_proto.h)构图方式调用ForeachAbs算子。 | | 75 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_abs_proto.h)构图方式调用ForeachAbs算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对输入张量列表中的每个张量执行逐元素绝对值运算。 | 18 | - 接口功能:对输入张量列表中的每个张量执行逐元素绝对值运算。 |
| @@ -50,7 +49,7 @@ aclnnStatus aclnnForeachAbs( | |||
| 50 | 49 | ||
| 51 | ## aclnnForeachAbsGetWorkspaceSize | 50 | ## aclnnForeachAbsGetWorkspaceSize |
| 52 | 51 | ||
| 53 | -- **参数说明**: | 52 | +- **参数说明** |
| 54 | 53 | ||
| 55 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 54 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 56 | <col style="width: 170px"> | 55 | <col style="width: 170px"> |
| @@ -117,7 +116,7 @@ aclnnStatus aclnnForeachAbs( | |||
| 117 | </tbody> | 116 | </tbody> |
| 118 | </table> | 117 | </table> |
| 119 | 118 | ||
| 120 | -- **返回值**: | 119 | +- **返回值** |
| 121 | 120 | ||
| 122 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 121 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 123 | 122 | ||
| @@ -164,7 +163,7 @@ aclnnStatus aclnnForeachAbs( | |||
| 164 | 163 | ||
| 165 | ## aclnnForeachAbs | 164 | ## aclnnForeachAbs |
| 166 | 165 | ||
| 167 | -- **参数说明:** | 166 | +- **参数说明** |
| 168 | 167 | ||
| 169 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 168 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 170 | <col style="width: 173px"> | 169 | <col style="width: 173px"> |
| @@ -201,7 +200,7 @@ aclnnStatus aclnnForeachAbs( | |||
| 201 | </tbody> | 200 | </tbody> |
| 202 | </table> | 201 | </table> |
| 203 | 202 | ||
| 204 | -- **返回值:** | 203 | +- **返回值** |
| 205 | 204 | ||
| 206 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 205 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 207 | 206 | ||
| @@ -377,4 +376,4 @@ int main() { | |||
| 377 | aclFinalize(); | 376 | aclFinalize(); |
| 378 | return 0; | 377 | return 0; |
| 379 | } | 378 | } |
| 380 | -``` | 379 | +``` |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:两个Tensor列表中的元素逐个相加,并可以通过alpha参数调整相加系数。 | 18 | - 算子功能:两个Tensor列表中的元素逐个相加,并可以通过alpha参数调整相加系数。 |
| @@ -78,6 +77,7 @@ | |||
| 78 | </tbody></table> | 77 | </tbody></table> |
| 79 | 78 | ||
| 80 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 79 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 80 | + | ||
| 81 | ## 约束说明 | 81 | ## 约束说明 |
| 82 | 82 | ||
| 83 | 无 | 83 | 无 |
| @@ -88,4 +88,4 @@ | |||
| 88 | | ---------------- | --------------------------- | --------------------------------------------------- | | 88 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 89 | | aclnn接口 | [test_aclnn_foreach_add_list](examples/test_aclnn_foreach_add_list.cpp) | 通过[aclnnForeachAddList](docs/aclnnForeachAddList.md)接口方式调用ForeachAddList算子。 | | 89 | | aclnn接口 | [test_aclnn_foreach_add_list](examples/test_aclnn_foreach_add_list.cpp) | 通过[aclnnForeachAddList](docs/aclnnForeachAddList.md)接口方式调用ForeachAddList算子。 | |
| 90 | | aclnn接口 | [test_aclnn_foreach_add_list_v2](examples/test_aclnn_foreach_add_list_v2.cpp) | 通过[aclnnForeachAddListV2](docs/aclnnForeachAddListV2.md)接口方式调用ForeachAddList算子。 | | 90 | | aclnn接口 | [test_aclnn_foreach_add_list_v2](examples/test_aclnn_foreach_add_list_v2.cpp) | 通过[aclnnForeachAddListV2](docs/aclnnForeachAddListV2.md)接口方式调用ForeachAddList算子。 | |
| 91 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_add_list_proto.h)构图方式调用ForeachAddList算子。 | | 91 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_add_list_proto.h)构图方式调用ForeachAddList算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:两个Tensor列表中的元素逐个相加,并可以通过alpha参数调整相加系数。本接口相较于[aclnnForeachAddList](aclnnForeachAddList.md),修改入参alpha的结构类型aclTensor为aclScalar,请根据实际情况选择合适的接口。 | 18 | - 接口功能:两个Tensor列表中的元素逐个相加,并可以通过alpha参数调整相加系数。本接口相较于[aclnnForeachAddList](aclnnForeachAddList.md),修改入参alpha的结构类型aclTensor为aclScalar,请根据实际情况选择合适的接口。 |
| @@ -52,8 +51,7 @@ aclnnStatus aclnnForeachAddListV2( | |||
| 52 | 51 | ||
| 53 | ## aclnnForeachAddListV2GetWorkspaceSize | 52 | ## aclnnForeachAddListV2GetWorkspaceSize |
| 54 | 53 | ||
| 55 | -- **参数说明**: | 54 | +- **参数说明** |
| 56 | - | ||
| 57 | 55 | ||
| 58 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 56 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 59 | <col style="width: 170px"> | 57 | <col style="width: 170px"> |
| @@ -153,7 +151,7 @@ aclnnStatus aclnnForeachAddListV2( | |||
| 153 | - 当`x1`的数据类型为INT32时,数据类型支持INT32、INT64。 | 151 | - 当`x1`的数据类型为INT32时,数据类型支持INT32、INT64。 |
| 154 | - 入参`x1`、`x2`和出参`y`支持包含的最大Tensor个数均为50。 | 152 | - 入参`x1`、`x2`和出参`y`支持包含的最大Tensor个数均为50。 |
| 155 | 153 | ||
| 156 | -- **返回值**: | 154 | +- **返回值** |
| 157 | 155 | ||
| 158 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 156 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 159 | 157 | ||
| @@ -198,7 +196,7 @@ aclnnStatus aclnnForeachAddListV2( | |||
| 198 | 196 | ||
| 199 | ## aclnnForeachAddListV2 | 197 | ## aclnnForeachAddListV2 |
| 200 | 198 | ||
| 201 | -- **参数说明**: | 199 | +- **参数说明** |
| 202 | 200 | ||
| 203 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 201 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 204 | <col style="width: 173px"> | 202 | <col style="width: 173px"> |
| @@ -235,7 +233,7 @@ aclnnStatus aclnnForeachAddListV2( | |||
| 235 | </tbody> | 233 | </tbody> |
| 236 | </table> | 234 | </table> |
| 237 | 235 | ||
| 238 | -- **返回值**: | 236 | +- **返回值** |
| 239 | 237 | ||
| 240 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 238 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 241 | 239 | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:将指定的张量值加到张量列表中的每个张量中。 | 18 | - 算子功能:将指定的张量值加到张量列表中的每个张量中。 |
| @@ -79,6 +78,7 @@ | |||
| 79 | - 当`x`的数据类型为FLOAT16时,`scalar`数据类型支持FLOAT16, FLOAT32。 | 78 | - 当`x`的数据类型为FLOAT16时,`scalar`数据类型支持FLOAT16, FLOAT32。 |
| 80 | 79 | ||
| 81 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 80 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 81 | + | ||
| 82 | ## 约束说明 | 82 | ## 约束说明 |
| 83 | 83 | ||
| 84 | 无 | 84 | 无 |
| @@ -89,4 +89,4 @@ | |||
| 89 | | ---------------- | --------------------------- | --------------------------------------------------- | | 89 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 90 | | aclnn接口 | [test_aclnn_foreach_add_scalar](examples/test_aclnn_foreach_add_scalar.cpp) | 通过[aclnnForeachAddScalar](docs/aclnnForeachAddScalar.md)接口方式调用ForeachAddScalar算子。 | | 90 | | aclnn接口 | [test_aclnn_foreach_add_scalar](examples/test_aclnn_foreach_add_scalar.cpp) | 通过[aclnnForeachAddScalar](docs/aclnnForeachAddScalar.md)接口方式调用ForeachAddScalar算子。 | |
| 91 | | aclnn接口 | [test_aclnn_foreach_add_scalar_v2](examples/test_aclnn_foreach_add_scalar_v2.cpp) | 通过[aclnnForeachAddScalarV2](docs/aclnnForeachAddScalarV2.md)接口方式调用ForeachAddScalar算子。 | | 91 | | aclnn接口 | [test_aclnn_foreach_add_scalar_v2](examples/test_aclnn_foreach_add_scalar_v2.cpp) | 通过[aclnnForeachAddScalarV2](docs/aclnnForeachAddScalarV2.md)接口方式调用ForeachAddScalar算子。 | |
| 92 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_add_scalar_proto.h)构图方式调用ForeachAddScalar算子。 | | 92 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_add_scalar_proto.h)构图方式调用ForeachAddScalar算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:将指定的标量值加到张量列表中的每个张量中。本接口相较于[aclnnForeachAddScalar](aclnnForeachAddScalar.md),修改入参scalar的结构类型aclTensor为aclScalar,请根据实际情况选择合适的接口。 | 18 | - 接口功能:将指定的标量值加到张量列表中的每个张量中。本接口相较于[aclnnForeachAddScalar](aclnnForeachAddScalar.md),修改入参scalar的结构类型aclTensor为aclScalar,请根据实际情况选择合适的接口。 |
| @@ -51,7 +50,7 @@ aclnnStatus aclnnForeachAddScalarV2( | |||
| 51 | 50 | ||
| 52 | ## aclnnForeachAddScalarV2GetWorkspaceSize | 51 | ## aclnnForeachAddScalarV2GetWorkspaceSize |
| 53 | 52 | ||
| 54 | -- **参数说明**: | 53 | +- **参数说明** |
| 55 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 54 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 56 | <col style="width: 170px"> | 55 | <col style="width: 170px"> |
| 57 | <col style="width: 120px"> | 56 | <col style="width: 120px"> |
| @@ -143,7 +142,7 @@ aclnnStatus aclnnForeachAddScalarV2( | |||
| 143 | - 当`x`的数据类型为INT32时,数据类型支持INT32、INT64。 | 142 | - 当`x`的数据类型为INT32时,数据类型支持INT32、INT64。 |
| 144 | - 出参`out`支持包含的最大Tensor个数为50。 | 143 | - 出参`out`支持包含的最大Tensor个数为50。 |
| 145 | 144 | ||
| 146 | -- **返回值:** | 145 | +- **返回值** |
| 147 | 146 | ||
| 148 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 147 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 149 | 148 | ||
| @@ -175,22 +174,22 @@ aclnnStatus aclnnForeachAddScalarV2( | |||
| 175 | <td>x、scalar和out的数据类型不在支持的范围之内。</td> | 174 | <td>x、scalar和out的数据类型不在支持的范围之内。</td> |
| 176 | </tr> | 175 | </tr> |
| 177 | <tr> | 176 | <tr> |
| 178 | - <td>x和out的数据类型不一致。 | 177 | + <td>x和out的数据类型不一致。</td> |
| 179 | </tr> | 178 | </tr> |
| 180 | <tr> | 179 | <tr> |
| 181 | - <td>x与out的shape不满足约束。 | 180 | + <td>x与out的shape不满足约束。</td> |
| 182 | <tr> | 181 | <tr> |
| 183 | - <td>x或out中的Tensor的数据类型不一致。 | 182 | + <td>x或out中的Tensor的数据类型不一致。</td> |
| 184 | - </tr> | 183 | + </tr> |
| 185 | <tr> | 184 | <tr> |
| 186 | - <td>x或out中的Tensor维度超过8维。 | 185 | + <td>x或out中的Tensor维度超过8维。</td> |
| 187 | </tr> | 186 | </tr> |
| 188 | </tr> | 187 | </tr> |
| 189 | </tbody></table> | 188 | </tbody></table> |
| 190 | 189 | ||
| 191 | ## aclnnForeachAddScalarV2 | 190 | ## aclnnForeachAddScalarV2 |
| 192 | 191 | ||
| 193 | -- **参数说明**: | 192 | +- **参数说明** |
| 194 | 193 | ||
| 195 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 194 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 196 | <col style="width: 173px"> | 195 | <col style="width: 173px"> |
| @@ -227,7 +226,7 @@ aclnnStatus aclnnForeachAddScalarV2( | |||
| 227 | </tbody> | 226 | </tbody> |
| 228 | </table> | 227 | </table> |
| 229 | 228 | ||
| 230 | -- **返回值**: | 229 | +- **返回值** |
| 231 | 230 | ||
| 232 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 231 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 233 | 232 | ||
| @@ -403,4 +402,4 @@ int main() { | |||
| 403 | aclFinalize(); | 402 | aclFinalize(); |
| 404 | return 0; | 403 | return 0; |
| 405 | } | 404 | } |
| 406 | -``` | 405 | +``` |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对多个张量进行逐元素加、乘、除操作,$x2_{i}$和$x3_{i}$进行逐元素相除,并将结果乘以scalars,再与$x1_{i}$相加。 | 18 | - 接口功能:对多个张量进行逐元素加、乘、除操作,$x2_{i}$和$x3_{i}$进行逐元素相除,并将结果乘以scalars,再与$x1_{i}$相加。 |
| @@ -53,7 +52,7 @@ aclnnStatus aclnnForeachAddcdivList( | |||
| 53 | 52 | ||
| 54 | ## aclnnForeachAddcdivListGetWorkspaceSize | 53 | ## aclnnForeachAddcdivListGetWorkspaceSize |
| 55 | 54 | ||
| 56 | -- **参数说明**: | 55 | +- **参数说明** |
| 57 | 56 | ||
| 58 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 57 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 59 | <col style="width: 170px"> | 58 | <col style="width: 170px"> |
| @@ -150,7 +149,7 @@ aclnnStatus aclnnForeachAddcdivList( | |||
| 150 | </tbody> | 149 | </tbody> |
| 151 | </table> | 150 | </table> |
| 152 | 151 | ||
| 153 | -- **返回值**: | 152 | +- **返回值** |
| 154 | 153 | ||
| 155 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 154 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 156 | 155 | ||
| @@ -197,7 +196,7 @@ aclnnStatus aclnnForeachAddcdivList( | |||
| 197 | 196 | ||
| 198 | ## aclnnForeachAddcdivList | 197 | ## aclnnForeachAddcdivList |
| 199 | 198 | ||
| 200 | -- **参数说明:** | 199 | +- **参数说明** |
| 201 | 200 | ||
| 202 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 201 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 203 | <col style="width: 173px"> | 202 | <col style="width: 173px"> |
| @@ -234,7 +233,7 @@ aclnnStatus aclnnForeachAddcdivList( | |||
| 234 | </tbody> | 233 | </tbody> |
| 235 | </table> | 234 | </table> |
| 236 | 235 | ||
| 237 | -- **返回值:** | 236 | +- **返回值** |
| 238 | 237 | ||
| 239 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 238 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 240 | 239 | ||
| @@ -453,4 +452,4 @@ int main() { | |||
| 453 | aclFinalize(); | 452 | aclFinalize(); |
| 454 | return 0; | 453 | return 0; |
| 455 | } | 454 | } |
| 456 | -``` | 455 | +``` |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对多个张量进行逐元素加、乘、除操作,$x2_{i}$和$x3_{i}$进行逐元素相除,并将结果乘以scalar,再与$x1_{i}$相加。 | 18 | - 算子功能:对多个张量进行逐元素加、乘、除操作,$x2_{i}$和$x3_{i}$进行逐元素相除,并将结果乘以scalar,再与$x1_{i}$相加。 |
| @@ -84,6 +83,7 @@ | |||
| 84 | </tbody></table> | 83 | </tbody></table> |
| 85 | 84 | ||
| 86 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 85 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 86 | + | ||
| 87 | ## 约束说明 | 87 | ## 约束说明 |
| 88 | 88 | ||
| 89 | 无 | 89 | 无 |
| @@ -94,4 +94,4 @@ | |||
| 94 | | ---------------- | --------------------------- | --------------------------------------------------- | | 94 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 95 | | aclnn接口 | [test_aclnn_foreach_addcdiv_scalar](examples/test_aclnn_foreach_addcdiv_scalar.cpp) | 通过[aclnnForeachAddcdivScalar](docs/aclnnForeachAddcdivScalar.md)接口方式调用ForeachAddcdivScalar算子。 | | 95 | | aclnn接口 | [test_aclnn_foreach_addcdiv_scalar](examples/test_aclnn_foreach_addcdiv_scalar.cpp) | 通过[aclnnForeachAddcdivScalar](docs/aclnnForeachAddcdivScalar.md)接口方式调用ForeachAddcdivScalar算子。 | |
| 96 | | aclnn接口 | [test_aclnn_foreach_addcdiv_scalar_v2](examples/test_aclnn_foreach_addcdiv_scalar_v2.cpp) | 通过[aclnnForeachAddcdivScalarV2](docs/aclnnForeachAddcdivScalarV2.md)接口方式调用ForeachAddcdivScalar算子。 | | 96 | | aclnn接口 | [test_aclnn_foreach_addcdiv_scalar_v2](examples/test_aclnn_foreach_addcdiv_scalar_v2.cpp) | 通过[aclnnForeachAddcdivScalarV2](docs/aclnnForeachAddcdivScalarV2.md)接口方式调用ForeachAddcdivScalar算子。 | |
| 97 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_addcdiv_scalar_proto.h)构图方式调用ForeachAddcdivScalar算子。 | | 97 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_addcdiv_scalar_proto.h)构图方式调用ForeachAddcdivScalar算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:先对张量列表x2和张量列表x3执行逐元素乘法,并将结果乘以张量scalars,最后将之前计算的结果与张量列表x1执行逐元素相加。 | 18 | - 算子功能:先对张量列表x2和张量列表x3执行逐元素乘法,并将结果乘以张量scalars,最后将之前计算的结果与张量列表x1执行逐元素相加。 |
| @@ -84,6 +83,7 @@ | |||
| 84 | </tbody></table> | 83 | </tbody></table> |
| 85 | 84 | ||
| 86 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 85 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 86 | + | ||
| 87 | ## 约束说明 | 87 | ## 约束说明 |
| 88 | 88 | ||
| 89 | 无 | 89 | 无 |
| @@ -93,4 +93,4 @@ | |||
| 93 | | 调用方式 | 样例代码 | 说明 | | 93 | | 调用方式 | 样例代码 | 说明 | |
| 94 | | ---------------- | --------------------------- | --------------------------------------------------- | | 94 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 95 | | aclnn接口 | [test_aclnn_foreach_addcmul_list](examples/test_aclnn_foreach_addcmul_list.cpp) | 通过[aclnnForeachAddcmulList](docs/aclnnForeachAddcmulList.md)接口方式调用ForeachAddcmulList算子。 | | 95 | | aclnn接口 | [test_aclnn_foreach_addcmul_list](examples/test_aclnn_foreach_addcmul_list.cpp) | 通过[aclnnForeachAddcmulList](docs/aclnnForeachAddcmulList.md)接口方式调用ForeachAddcmulList算子。 | |
| 96 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_addcmul_list_proto.h)构图方式调用ForeachAddcmulList算子。 | | 96 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_addcmul_list_proto.h)构图方式调用ForeachAddcmulList算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:先对张量列表x2和张量列表x3执行逐元素乘法,再乘以张量scalar,最后将之前计算的结果与张量列表x1执行逐元素相加。 | 18 | - 算子功能:先对张量列表x2和张量列表x3执行逐元素乘法,再乘以张量scalar,最后将之前计算的结果与张量列表x1执行逐元素相加。 |
| @@ -92,6 +91,7 @@ | |||
| 92 | - 当`x1`的数据类型为FLOAT16时,`scalar`数据类型支持FLOAT16, FLOAT32。 | 91 | - 当`x1`的数据类型为FLOAT16时,`scalar`数据类型支持FLOAT16, FLOAT32。 |
| 93 | 92 | ||
| 94 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 93 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 94 | + | ||
| 95 | ## 约束说明 | 95 | ## 约束说明 |
| 96 | 96 | ||
| 97 | 无 | 97 | 无 |
| @@ -102,4 +102,4 @@ | |||
| 102 | | ---------------- | --------------------------- | --------------------------------------------------- | | 102 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 103 | | aclnn接口 | [test_aclnn_foreach_addcmul_scalar](examples/test_aclnn_foreach_addcmul_scalar.cpp) | 通过[aclnnForeachAddcmulScalar](docs/aclnnForeachAddcmulScalar.md)接口方式调用ForeachAddcmulScalar算子。 | | 103 | | aclnn接口 | [test_aclnn_foreach_addcmul_scalar](examples/test_aclnn_foreach_addcmul_scalar.cpp) | 通过[aclnnForeachAddcmulScalar](docs/aclnnForeachAddcmulScalar.md)接口方式调用ForeachAddcmulScalar算子。 | |
| 104 | | aclnn接口 | [test_aclnn_foreach_addcmul_scalar_v2](examples/test_aclnn_foreach_addcmul_scalar_v2.cpp) | 通过[aclnnForeachAddcmulScalarV2](docs/aclnnForeachAddcmulScalarV2.md)接口方式调用ForeachAddcmulScalar算子。 | | 104 | | aclnn接口 | [test_aclnn_foreach_addcmul_scalar_v2](examples/test_aclnn_foreach_addcmul_scalar_v2.cpp) | 通过[aclnnForeachAddcmulScalarV2](docs/aclnnForeachAddcmulScalarV2.md)接口方式调用ForeachAddcmulScalar算子。 | |
| 105 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_addcmul_scalar_proto.h)构图方式调用ForeachAddcmulScalar算子。 | | 105 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_addcmul_scalar_proto.h)构图方式调用ForeachAddcmulScalar算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:先对张量列表x2和张量列表x3执行逐元素乘法,再乘以标量scalar,最后将之前计算的结果与张量列表x1执行逐元素相加。本接口相较于[aclnnForeachAddcmulScalar](aclnnForeachAddcmulScalar.md),修改入参scalar的结构类型aclTensor为aclScalar,请根据实际情况选择合适的接口。 | 18 | - 接口功能:先对张量列表x2和张量列表x3执行逐元素乘法,再乘以标量scalar,最后将之前计算的结果与张量列表x1执行逐元素相加。本接口相较于[aclnnForeachAddcmulScalar](aclnnForeachAddcmulScalar.md),修改入参scalar的结构类型aclTensor为aclScalar,请根据实际情况选择合适的接口。 |
| @@ -53,7 +52,7 @@ aclnnStatus aclnnForeachAddcmulScalarV2( | |||
| 53 | 52 | ||
| 54 | ## aclnnForeachAddcmulScalarV2GetWorkspaceSize | 53 | ## aclnnForeachAddcmulScalarV2GetWorkspaceSize |
| 55 | 54 | ||
| 56 | -- **参数说明**: | 55 | +- **参数说明** |
| 57 | 56 | ||
| 58 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 57 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 59 | <col style="width: 170px"> | 58 | <col style="width: 170px"> |
| @@ -111,7 +110,7 @@ aclnnStatus aclnnForeachAddcmulScalarV2( | |||
| 111 | <td>scalar(aclScalar*)</td> | 110 | <td>scalar(aclScalar*)</td> |
| 112 | <td>输入</td> | 111 | <td>输入</td> |
| 113 | <td>表示混合运算中乘法的第一个输入标量。对应公式中的`scalar`。</td> | 112 | <td>表示混合运算中乘法的第一个输入标量。对应公式中的`scalar`。</td> |
| 114 | - <td>-</li></ul></td> | 113 | + <td>-</td> |
| 115 | <td>FLOAT32、FLOAT16、INT32、DOUBLE、INT64</td> | 114 | <td>FLOAT32、FLOAT16、INT32、DOUBLE、INT64</td> |
| 116 | <td>-</td> | 115 | <td>-</td> |
| 117 | <td>-</td> | 116 | <td>-</td> |
| @@ -163,7 +162,7 @@ aclnnStatus aclnnForeachAddcmulScalarV2( | |||
| 163 | - 当`x1`的数据类型为INT32时,数据类型支持INT32、INT64。 | 162 | - 当`x1`的数据类型为INT32时,数据类型支持INT32、INT64。 |
| 164 | - 入参`x1`、`x2`、`x3`和出参`y`支持包含的最大Tensor个数均为50。 | 163 | - 入参`x1`、`x2`、`x3`和出参`y`支持包含的最大Tensor个数均为50。 |
| 165 | 164 | ||
| 166 | -- **返回值**: | 165 | +- **返回值** |
| 167 | 166 | ||
| 168 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 167 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 169 | 168 | ||
| @@ -208,7 +207,7 @@ aclnnStatus aclnnForeachAddcmulScalarV2( | |||
| 208 | 207 | ||
| 209 | ## aclnnForeachAddcmulScalarV2 | 208 | ## aclnnForeachAddcmulScalarV2 |
| 210 | 209 | ||
| 211 | -- **参数说明**: | 210 | +- **参数说明** |
| 212 | 211 | ||
| 213 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 212 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 214 | <col style="width: 173px"> | 213 | <col style="width: 173px"> |
| @@ -245,7 +244,7 @@ aclnnStatus aclnnForeachAddcmulScalarV2( | |||
| 245 | </tbody> | 244 | </tbody> |
| 246 | </table> | 245 | </table> |
| 247 | 246 | ||
| 248 | -- **返回值**: | 247 | +- **返回值** |
| 249 | 248 | ||
| 250 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 249 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 251 | 250 | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:先对张量列表x2和张量列表x3执行逐元素乘法,再与张量scalars进行逐元素乘法,最后将之前计算的结果与张量列表x1执行逐元素相加。 | 18 | - 算子功能:先对张量列表x2和张量列表x3执行逐元素乘法,再与张量scalars进行逐元素乘法,最后将之前计算的结果与张量列表x1执行逐元素相加。 |
| @@ -85,6 +84,7 @@ | |||
| 85 | </tbody></table> | 84 | </tbody></table> |
| 86 | 85 | ||
| 87 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 86 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 87 | + | ||
| 88 | ## 约束说明 | 88 | ## 约束说明 |
| 89 | 89 | ||
| 90 | 无 | 90 | 无 |
| @@ -94,4 +94,4 @@ | |||
| 94 | | 调用方式 | 样例代码 | 说明 | | 94 | | 调用方式 | 样例代码 | 说明 | |
| 95 | | ---------------- | --------------------------- | --------------------------------------------------- | | 95 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 96 | | aclnn接口 | [test_aclnn_foreach_addcmul_scalar_list](examples/test_aclnn_foreach_addcmul_scalar_list.cpp) | 通过[aclnnForeachAddcmulScalarList](docs/aclnnForeachAddcmulScalarList.md)接口方式调用ForeachAddcmulScalarList算子。 | | 96 | | aclnn接口 | [test_aclnn_foreach_addcmul_scalar_list](examples/test_aclnn_foreach_addcmul_scalar_list.cpp) | 通过[aclnnForeachAddcmulScalarList](docs/aclnnForeachAddcmulScalarList.md)接口方式调用ForeachAddcmulScalarList算子。 | |
| 97 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_addcmul_scalar_list_proto.h)构图方式调用ForeachAddcmulScalarList算子。 | | 97 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_addcmul_scalar_list_proto.h)构图方式调用ForeachAddcmulScalarList算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:按元素进行反正弦函数运算。 | 18 | - 算子功能:按元素进行反正弦函数运算。 |
| @@ -63,6 +62,7 @@ | |||
| 63 | </tbody></table> | 62 | </tbody></table> |
| 64 | 63 | ||
| 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 64 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 65 | + | ||
| 66 | ## 约束说明 | 66 | ## 约束说明 |
| 67 | 67 | ||
| 68 | 无 | 68 | 无 |
| @@ -72,4 +72,4 @@ | |||
| 72 | | 调用方式 | 样例代码 | 说明 | | 72 | | 调用方式 | 样例代码 | 说明 | |
| 73 | | ---------------- | --------------------------- | --------------------------------------------------- | | 73 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 74 | | aclnn接口 | [test_aclnn_foreach_asin](examples/test_aclnn_foreach_asin.cpp) | 通过[aclnnForeachAsin](docs/aclnnForeachAsin.md)接口方式调用ForeachAsin算子。 | | 74 | | aclnn接口 | [test_aclnn_foreach_asin](examples/test_aclnn_foreach_asin.cpp) | 通过[aclnnForeachAsin](docs/aclnnForeachAsin.md)接口方式调用ForeachAsin算子。 | |
| 75 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_asin_proto.h)构图方式调用ForeachAsin算子。 | | 75 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_asin_proto.h)构图方式调用ForeachAsin算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:按元素进行反正弦函数运算。 | 18 | - 接口功能:按元素进行反正弦函数运算。 |
| @@ -50,7 +49,7 @@ aclnnStatus aclnnForeachAsin( | |||
| 50 | 49 | ||
| 51 | ## aclnnForeachAsinGetWorkspaceSize | 50 | ## aclnnForeachAsinGetWorkspaceSize |
| 52 | 51 | ||
| 53 | -- **参数说明**: | 52 | +- **参数说明** |
| 54 | 53 | ||
| 55 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 54 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 56 | <col style="width: 170px"> | 55 | <col style="width: 170px"> |
| @@ -117,7 +116,7 @@ aclnnStatus aclnnForeachAsin( | |||
| 117 | </tbody> | 116 | </tbody> |
| 118 | </table> | 117 | </table> |
| 119 | 118 | ||
| 120 | -- **返回值**: | 119 | +- **返回值** |
| 121 | 120 | ||
| 122 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 121 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 123 | 122 | ||
| @@ -164,7 +163,7 @@ aclnnStatus aclnnForeachAsin( | |||
| 164 | 163 | ||
| 165 | ## aclnnForeachAsin | 164 | ## aclnnForeachAsin |
| 166 | 165 | ||
| 167 | -- **参数说明:** | 166 | +- **参数说明** |
| 168 | 167 | ||
| 169 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 168 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 170 | <col style="width: 173px"> | 169 | <col style="width: 173px"> |
| @@ -201,7 +200,7 @@ aclnnStatus aclnnForeachAsin( | |||
| 201 | </tbody> | 200 | </tbody> |
| 202 | </table> | 201 | </table> |
| 203 | 202 | ||
| 204 | -- **返回值:** | 203 | +- **返回值** |
| 205 | 204 | ||
| 206 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 205 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 207 | 206 | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:按元素进行反正切函数运算。 | 18 | - 算子功能:按元素进行反正切函数运算。 |
| @@ -63,6 +62,7 @@ | |||
| 63 | </tbody></table> | 62 | </tbody></table> |
| 64 | 63 | ||
| 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 64 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 65 | + | ||
| 66 | ## 约束说明 | 66 | ## 约束说明 |
| 67 | 67 | ||
| 68 | 无 | 68 | 无 |
| @@ -72,4 +72,4 @@ | |||
| 72 | | 调用方式 | 样例代码 | 说明 | | 72 | | 调用方式 | 样例代码 | 说明 | |
| 73 | | ---------------- | --------------------------- | --------------------------------------------------- | | 73 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 74 | | aclnn接口 | [test_aclnn_foreach_atan](examples/test_aclnn_foreach_atan.cpp) | 通过[aclnnForeachAtan](docs/aclnnForeachAtan.md)接口方式调用ForeachAtan算子。 | | 74 | | aclnn接口 | [test_aclnn_foreach_atan](examples/test_aclnn_foreach_atan.cpp) | 通过[aclnnForeachAtan](docs/aclnnForeachAtan.md)接口方式调用ForeachAtan算子。 | |
| 75 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_atan_proto.h)构图方式调用ForeachAtan算子。 | | 75 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_atan_proto.h)构图方式调用ForeachAtan算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:用于实现两个张量列表内容的复制。 | 18 | - 算子功能:用于实现两个张量列表内容的复制。 |
| @@ -64,6 +63,7 @@ | |||
| 64 | </tbody></table> | 63 | </tbody></table> |
| 65 | 64 | ||
| 66 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 66 | + | ||
| 67 | ## 约束说明 | 67 | ## 约束说明 |
| 68 | 68 | ||
| 69 | 无 | 69 | 无 |
| @@ -73,4 +73,4 @@ | |||
| 73 | | 调用方式 | 样例代码 | 说明 | | 73 | | 调用方式 | 样例代码 | 说明 | |
| 74 | | ---------------- | --------------------------- | --------------------------------------------------- | | 74 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 75 | | aclnn接口 | [test_aclnn_foreach_copy](examples/test_aclnn_foreach_copy.cpp) | 通过[aclnnForeachCopy](docs/aclnnForeachCopy.md)接口方式调用ForeachCopy算子。 | | 75 | | aclnn接口 | [test_aclnn_foreach_copy](examples/test_aclnn_foreach_copy.cpp) | 通过[aclnnForeachCopy](docs/aclnnForeachCopy.md)接口方式调用ForeachCopy算子。 | |
| 76 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_copy_proto.h)构图方式调用ForeachCopy算子。 | | 76 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_copy_proto.h)构图方式调用ForeachCopy算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:按元素进行余弦函数运算。 | 18 | - 算子功能:按元素进行余弦函数运算。 |
| @@ -63,6 +62,7 @@ | |||
| 63 | </tbody></table> | 62 | </tbody></table> |
| 64 | 63 | ||
| 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 64 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 65 | + | ||
| 66 | ## 约束说明 | 66 | ## 约束说明 |
| 67 | 67 | ||
| 68 | 无 | 68 | 无 |
| @@ -72,4 +72,4 @@ | |||
| 72 | | 调用方式 | 样例代码 | 说明 | | 72 | | 调用方式 | 样例代码 | 说明 | |
| 73 | | ---------------- | --------------------------- | --------------------------------------------------- | | 73 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 74 | | aclnn接口 | [test_aclnn_foreach_cos](examples/test_aclnn_foreach_cos.cpp) | 通过[aclnnForeachCos](docs/aclnnForeachCos.md)接口方式调用ForeachCos算子。 | | 74 | | aclnn接口 | [test_aclnn_foreach_cos](examples/test_aclnn_foreach_cos.cpp) | 通过[aclnnForeachCos](docs/aclnnForeachCos.md)接口方式调用ForeachCos算子。 | |
| 75 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_cos_proto.h)构图方式调用ForeachCos算子。 | | 75 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_cos_proto.h)构图方式调用ForeachCos算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:按元素进行双曲余弦函数运算。 | 18 | - 算子功能:按元素进行双曲余弦函数运算。 |
| @@ -63,6 +62,7 @@ | |||
| 63 | </tbody></table> | 62 | </tbody></table> |
| 64 | 63 | ||
| 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 64 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 65 | + | ||
| 66 | ## 约束说明 | 66 | ## 约束说明 |
| 67 | 67 | ||
| 68 | 无 | 68 | 无 |
| @@ -72,4 +72,4 @@ | |||
| 72 | | 调用方式 | 样例代码 | 说明 | | 72 | | 调用方式 | 样例代码 | 说明 | |
| 73 | | ---------------- | --------------------------- | --------------------------------------------------- | | 73 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 74 | | aclnn接口 | [test_aclnn_foreach_cosh](examples/test_aclnn_foreach_cosh.cpp) | 通过[aclnnForeachCosh](docs/aclnnForeachCosh.md)接口方式调用ForeachCosh算子。 | | 74 | | aclnn接口 | [test_aclnn_foreach_cosh](examples/test_aclnn_foreach_cosh.cpp) | 通过[aclnnForeachCosh](docs/aclnnForeachCosh.md)接口方式调用ForeachCosh算子。 | |
| 75 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_cosh_proto.h)构图方式调用ForeachCosh算子。 | | 75 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_cosh_proto.h)构图方式调用ForeachCosh算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:按元素进行双曲余弦函数运算。 | 18 | - 接口功能:按元素进行双曲余弦函数运算。 |
| @@ -50,7 +49,7 @@ aclnnStatus aclnnForeachCosh( | |||
| 50 | 49 | ||
| 51 | ## aclnnForeachCoshGetWorkspaceSize | 50 | ## aclnnForeachCoshGetWorkspaceSize |
| 52 | 51 | ||
| 53 | -- **参数说明**: | 52 | +- **参数说明** |
| 54 | 53 | ||
| 55 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 54 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 56 | <col style="width: 170px"> | 55 | <col style="width: 170px"> |
| @@ -117,7 +116,7 @@ aclnnStatus aclnnForeachCosh( | |||
| 117 | </tbody> | 116 | </tbody> |
| 118 | </table> | 117 | </table> |
| 119 | 118 | ||
| 120 | -- **返回值**: | 119 | +- **返回值** |
| 121 | 120 | ||
| 122 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 121 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 123 | 122 | ||
| @@ -164,7 +163,7 @@ aclnnStatus aclnnForeachCosh( | |||
| 164 | 163 | ||
| 165 | ## aclnnForeachCosh | 164 | ## aclnnForeachCosh |
| 166 | 165 | ||
| 167 | -- **参数说明:** | 166 | +- **参数说明** |
| 168 | 167 | ||
| 169 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 168 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 170 | <col style="width: 173px"> | 169 | <col style="width: 173px"> |
| @@ -201,7 +200,7 @@ aclnnStatus aclnnForeachCosh( | |||
| 201 | </tbody> | 200 | </tbody> |
| 202 | </table> | 201 | </table> |
| 203 | 202 | ||
| 204 | -- **返回值:** | 203 | +- **返回值** |
| 205 | 204 | ||
| 206 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 205 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 207 | 206 | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对张量列表x1和张量列表x2执行逐元素除法。 | 18 | - 算子功能:对张量列表x1和张量列表x2执行逐元素除法。 |
| @@ -71,6 +70,7 @@ | |||
| 71 | </tbody></table> | 70 | </tbody></table> |
| 72 | 71 | ||
| 73 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 72 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 73 | + | ||
| 74 | ## 约束说明 | 74 | ## 约束说明 |
| 75 | 75 | ||
| 76 | 无 | 76 | 无 |
| @@ -80,4 +80,4 @@ | |||
| 80 | | 调用方式 | 样例代码 | 说明 | | 80 | | 调用方式 | 样例代码 | 说明 | |
| 81 | | ---------------- | --------------------------- | --------------------------------------------------- | | 81 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 82 | | aclnn接口 | [test_aclnn_foreach_div_list](examples/test_aclnn_foreach_div_list.cpp) | 通过[aclnnForeachDivList](docs/aclnnForeachDivList.md)接口方式调用ForeachDivList算子。 | | 82 | | aclnn接口 | [test_aclnn_foreach_div_list](examples/test_aclnn_foreach_div_list.cpp) | 通过[aclnnForeachDivList](docs/aclnnForeachDivList.md)接口方式调用ForeachDivList算子。 | |
| 83 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_div_list_proto.h)构图方式调用ForeachDivList算子。 | | 83 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_div_list_proto.h)构图方式调用ForeachDivList算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:计算张量列表x除以标量scalar。本接口相较于[aclnnForeachDivScalar](aclnnForeachDivScalar.md),修改入参scalar的结构类型aclTensor为aclScalar,请根据实际情况选择合适的接口 | 18 | - 接口功能:计算张量列表x除以标量scalar。本接口相较于[aclnnForeachDivScalar](aclnnForeachDivScalar.md),修改入参scalar的结构类型aclTensor为aclScalar,请根据实际情况选择合适的接口 |
| @@ -51,7 +50,7 @@ aclnnStatus aclnnForeachDivScalarV2( | |||
| 51 | 50 | ||
| 52 | ## aclnnForeachDivScalarV2GetWorkspaceSize | 51 | ## aclnnForeachDivScalarV2GetWorkspaceSize |
| 53 | 52 | ||
| 54 | -- **参数说明**: | 53 | +- **参数说明** |
| 55 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 54 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 56 | <col style="width: 170px"> | 55 | <col style="width: 170px"> |
| 57 | <col style="width: 120px"> | 56 | <col style="width: 120px"> |
| @@ -128,8 +127,7 @@ aclnnStatus aclnnForeachDivScalarV2( | |||
| 128 | </tbody> | 127 | </tbody> |
| 129 | </table> | 128 | </table> |
| 130 | 129 | ||
| 131 | - | 130 | +- **返回值** |
| 132 | -- **返回值:** | ||
| 133 | 131 | ||
| 134 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 132 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 135 | 133 | ||
| @@ -173,7 +171,7 @@ aclnnStatus aclnnForeachDivScalarV2( | |||
| 173 | 171 | ||
| 174 | ## aclnnForeachDivScalarV2 | 172 | ## aclnnForeachDivScalarV2 |
| 175 | 173 | ||
| 176 | -- **参数说明**: | 174 | +- **参数说明** |
| 177 | 175 | ||
| 178 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 176 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 179 | <col style="width: 173px"> | 177 | <col style="width: 173px"> |
| @@ -210,7 +208,7 @@ aclnnStatus aclnnForeachDivScalarV2( | |||
| 210 | </tbody> | 208 | </tbody> |
| 211 | </table> | 209 | </table> |
| 212 | 210 | ||
| 213 | -- **返回值**: | 211 | +- **返回值** |
| 214 | 212 | ||
| 215 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 213 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 216 | 214 | ||
| @@ -386,4 +384,4 @@ int main() { | |||
| 386 | aclFinalize(); | 384 | aclFinalize(); |
| 387 | return 0; | 385 | return 0; |
| 388 | } | 386 | } |
| 389 | -``` | 387 | +``` |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对张量列表x和标量列表scalars执行逐元素除法。 | 18 | - 算子功能:对张量列表x和标量列表scalars执行逐元素除法。 |
| @@ -72,6 +71,7 @@ | |||
| 72 | </tbody></table> | 71 | </tbody></table> |
| 73 | 72 | ||
| 74 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 | 73 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 |
| 74 | + | ||
| 75 | ## 约束说明 | 75 | ## 约束说明 |
| 76 | 76 | ||
| 77 | 无 | 77 | 无 |
| @@ -81,4 +81,4 @@ | |||
| 81 | | 调用方式 | 样例代码 | 说明 | | 81 | | 调用方式 | 样例代码 | 说明 | |
| 82 | | ---------------- | --------------------------- | --------------------------------------------------- | | 82 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 83 | | aclnn接口 | [test_aclnn_foreach_div_scalar_list](examples/test_aclnn_foreach_div_scalar_list.cpp) | 通过[aclnnForeachDivScalarList](docs/aclnnForeachDivScalarList.md)接口方式调用ForeachDivScalarList算子。 | | 83 | | aclnn接口 | [test_aclnn_foreach_div_scalar_list](examples/test_aclnn_foreach_div_scalar_list.cpp) | 通过[aclnnForeachDivScalarList](docs/aclnnForeachDivScalarList.md)接口方式调用ForeachDivScalarList算子。 | |
| 84 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_div_scalar_list_proto.h)构图方式调用ForeachDivScalarList算子。 | | 84 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_div_scalar_list_proto.h)构图方式调用ForeachDivScalarList算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:按元素进行误差函数运算(也称之为高斯误差函数,error function or Gaussian error function)。 | 18 | - 算子功能:按元素进行误差函数运算(也称之为高斯误差函数,error function or Gaussian error function)。 |
| @@ -63,6 +62,7 @@ | |||
| 63 | </tbody></table> | 62 | </tbody></table> |
| 64 | 63 | ||
| 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 64 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 65 | + | ||
| 66 | ## 约束说明 | 66 | ## 约束说明 |
| 67 | 67 | ||
| 68 | 无 | 68 | 无 |
| @@ -72,4 +72,4 @@ | |||
| 72 | | 调用方式 | 样例代码 | 说明 | | 72 | | 调用方式 | 样例代码 | 说明 | |
| 73 | | ---------------- | --------------------------- | --------------------------------------------------- | | 73 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 74 | | aclnn接口 | [test_aclnn_foreach_erf](examples/test_aclnn_foreach_erf.cpp) | 通过[aclnnForeachErf](docs/aclnnForeachErf.md)接口方式调用ForeachErf算子。 | | 74 | | aclnn接口 | [test_aclnn_foreach_erf](examples/test_aclnn_foreach_erf.cpp) | 通过[aclnnForeachErf](docs/aclnnForeachErf.md)接口方式调用ForeachErf算子。 | |
| 75 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_erf_proto.h)构图方式调用ForeachErf算子。 | | 75 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_erf_proto.h)构图方式调用ForeachErf算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:按元素执行从x到无穷大积分的互补误差函数运算。 | 18 | - 算子功能:按元素执行从x到无穷大积分的互补误差函数运算。 |
| @@ -63,6 +62,7 @@ | |||
| 63 | </tbody></table> | 62 | </tbody></table> |
| 64 | 63 | ||
| 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 64 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 65 | + | ||
| 66 | ## 约束说明 | 66 | ## 约束说明 |
| 67 | 67 | ||
| 68 | 无 | 68 | 无 |
| @@ -72,4 +72,4 @@ | |||
| 72 | | 调用方式 | 样例代码 | 说明 | | 72 | | 调用方式 | 样例代码 | 说明 | |
| 73 | | ---------------- | --------------------------- | --------------------------------------------------- | | 73 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 74 | | aclnn接口 | [test_aclnn_foreach_erfc](examples/test_aclnn_foreach_erfc.cpp) | 通过[aclnnForeachErfc](docs/aclnnForeachErfc.md)接口方式调用ForeachErfc算子。 | | 74 | | aclnn接口 | [test_aclnn_foreach_erfc](examples/test_aclnn_foreach_erfc.cpp) | 通过[aclnnForeachErfc](docs/aclnnForeachErfc.md)接口方式调用ForeachErfc算子。 | |
| 75 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_erfc_proto.h)构图方式调用ForeachErfc算子。 | | 75 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_erfc_proto.h)构图方式调用ForeachErfc算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表的每个张量进行指数运算。 | 18 | - 算子功能:对输入张量列表的每个张量进行指数运算。 |
| @@ -63,6 +62,7 @@ | |||
| 63 | </tbody></table> | 62 | </tbody></table> |
| 64 | 63 | ||
| 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 64 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 65 | + | ||
| 66 | ## 约束说明 | 66 | ## 约束说明 |
| 67 | 67 | ||
| 68 | 无 | 68 | 无 |
| @@ -72,4 +72,4 @@ | |||
| 72 | | 调用方式 | 样例代码 | 说明 | | 72 | | 调用方式 | 样例代码 | 说明 | |
| 73 | | ---------------- | --------------------------- | --------------------------------------------------- | | 73 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 74 | | aclnn接口 | [test_aclnn_foreach_exp](examples/test_aclnn_foreach_exp.cpp) | 通过[aclnnForeachExp](docs/aclnnForeachExp.md)接口方式调用ForeachExp算子。 | | 74 | | aclnn接口 | [test_aclnn_foreach_exp](examples/test_aclnn_foreach_exp.cpp) | 通过[aclnnForeachExp](docs/aclnnForeachExp.md)接口方式调用ForeachExp算子。 | |
| 75 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_exp_proto.h)构图方式调用ForeachExp算子。 | | 75 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_exp_proto.h)构图方式调用ForeachExp算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表的每个张量执行指数运算,然后将得到的结果减1。 | 18 | - 算子功能:对输入张量列表的每个张量执行指数运算,然后将得到的结果减1。 |
| @@ -63,6 +62,7 @@ | |||
| 63 | </tbody></table> | 62 | </tbody></table> |
| 64 | 63 | ||
| 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 64 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 65 | + | ||
| 66 | ## 约束说明 | 66 | ## 约束说明 |
| 67 | 67 | ||
| 68 | 无 | 68 | 无 |
| @@ -72,4 +72,4 @@ | |||
| 72 | | 调用方式 | 样例代码 | 说明 | | 72 | | 调用方式 | 样例代码 | 说明 | |
| 73 | | ---------------- | --------------------------- | --------------------------------------------------- | | 73 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 74 | | aclnn接口 | [test_aclnn_foreach_expm1](examples/test_aclnn_foreach_expm1.cpp) | 通过[aclnnForeachExpm1](docs/aclnnForeachExpm1.md)接口方式调用ForeachExpm1算子。 | | 74 | | aclnn接口 | [test_aclnn_foreach_expm1](examples/test_aclnn_foreach_expm1.cpp) | 通过[aclnnForeachExpm1](docs/aclnnForeachExpm1.md)接口方式调用ForeachExpm1算子。 | |
| 75 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_expm1_proto.h)构图方式调用ForeachExpm1算子。 | | 75 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_expm1_proto.h)构图方式调用ForeachExpm1算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对两个张量列表对应位置元素执行插值计算,其中张量列表weight是插值系数。 | 18 | - 算子功能:对两个张量列表对应位置元素执行插值计算,其中张量列表weight是插值系数。 |
| @@ -78,6 +77,7 @@ | |||
| 78 | </tbody></table> | 77 | </tbody></table> |
| 79 | 78 | ||
| 80 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 79 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 80 | + | ||
| 81 | ## 约束说明 | 81 | ## 约束说明 |
| 82 | 82 | ||
| 83 | 无 | 83 | 无 |
| @@ -87,4 +87,4 @@ | |||
| 87 | | 调用方式 | 样例代码 | 说明 | | 87 | | 调用方式 | 样例代码 | 说明 | |
| 88 | | ---------------- | --------------------------- | --------------------------------------------------- | | 88 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 89 | | aclnn接口 | [test_aclnn_foreach_lerp_list](examples/test_aclnn_foreach_lerp_list.cpp) | 通过[aclnnForeachLerpList](docs/aclnnForeachLerpList.md)接口方式调用ForeachLerpList算子。 | | 89 | | aclnn接口 | [test_aclnn_foreach_lerp_list](examples/test_aclnn_foreach_lerp_list.cpp) | 通过[aclnnForeachLerpList](docs/aclnnForeachLerpList.md)接口方式调用ForeachLerpList算子。 | |
| 90 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_lerp_list_proto.h)构图方式调用ForeachLerpList算子。 | | 90 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_lerp_list_proto.h)构图方式调用ForeachLerpList算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对两个张量列表对应位置元素执行插值计算,其中标量weight是插值系数。 | 18 | - 接口功能:对两个张量列表对应位置元素执行插值计算,其中标量weight是插值系数。 |
| @@ -52,7 +51,7 @@ aclnnStatus aclnnForeachLerpScalar( | |||
| 52 | 51 | ||
| 53 | ## aclnnForeachLerpScalarGetWorkspaceSize | 52 | ## aclnnForeachLerpScalarGetWorkspaceSize |
| 54 | 53 | ||
| 55 | -- **参数说明**: | 54 | +- **参数说明** |
| 56 | 55 | ||
| 57 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 56 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 58 | <col style="width: 170px"> | 57 | <col style="width: 170px"> |
| @@ -146,7 +145,7 @@ aclnnStatus aclnnForeachLerpScalar( | |||
| 146 | 145 | ||
| 147 | 参数`x1`、`x2`、`out`的shape size保持一致。支持包含的最大Tensor个数为50。 | 146 | 参数`x1`、`x2`、`out`的shape size保持一致。支持包含的最大Tensor个数为50。 |
| 148 | 147 | ||
| 149 | -- **返回值**: | 148 | +- **返回值** |
| 150 | 149 | ||
| 151 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 150 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 152 | 151 | ||
| @@ -193,7 +192,7 @@ aclnnStatus aclnnForeachLerpScalar( | |||
| 193 | 192 | ||
| 194 | ## aclnnForeachLerpScalar | 193 | ## aclnnForeachLerpScalar |
| 195 | 194 | ||
| 196 | -- **参数说明:** | 195 | +- **参数说明** |
| 197 | 196 | ||
| 198 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 197 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 199 | <col style="width: 173px"> | 198 | <col style="width: 173px"> |
| @@ -230,7 +229,7 @@ aclnnStatus aclnnForeachLerpScalar( | |||
| 230 | </tbody> | 229 | </tbody> |
| 231 | </table> | 230 | </table> |
| 232 | 231 | ||
| 233 | -- **返回值:** | 232 | +- **返回值** |
| 234 | 233 | ||
| 235 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 234 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 236 | 235 | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对张量列表执行逐元素自然对数运算(ln(x))。 | 18 | - 算子功能:对张量列表执行逐元素自然对数运算(ln(x))。 |
| @@ -63,6 +62,7 @@ | |||
| 63 | </tbody></table> | 62 | </tbody></table> |
| 64 | 63 | ||
| 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 64 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 65 | + | ||
| 66 | ## 约束说明 | 66 | ## 约束说明 |
| 67 | 67 | ||
| 68 | 无 | 68 | 无 |
| @@ -72,4 +72,4 @@ | |||
| 72 | | 调用方式 | 样例代码 | 说明 | | 72 | | 调用方式 | 样例代码 | 说明 | |
| 73 | | ---------------- | --------------------------- | --------------------------------------------------- | | 73 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 74 | | aclnn接口 | [test_aclnn_foreach_log](examples/test_aclnn_foreach_log.cpp) | 通过[aclnnForeachLog](docs/aclnnForeachLog.md)接口方式调用ForeachLog算子。 | | 74 | | aclnn接口 | [test_aclnn_foreach_log](examples/test_aclnn_foreach_log.cpp) | 通过[aclnnForeachLog](docs/aclnnForeachLog.md)接口方式调用ForeachLog算子。 | |
| 75 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_log_proto.h)构图方式调用ForeachLog算子。 | | 75 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_log_proto.h)构图方式调用ForeachLog算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对张量列表中的每一个元素执行以10为底的对数函数运算。 | 18 | - 算子功能:对张量列表中的每一个元素执行以10为底的对数函数运算。 |
| @@ -63,6 +62,7 @@ | |||
| 63 | </tbody></table> | 62 | </tbody></table> |
| 64 | 63 | ||
| 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 64 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 65 | + | ||
| 66 | ## 约束说明 | 66 | ## 约束说明 |
| 67 | 67 | ||
| 68 | 无 | 68 | 无 |
| @@ -72,4 +72,4 @@ | |||
| 72 | | 调用方式 | 样例代码 | 说明 | | 72 | | 调用方式 | 样例代码 | 说明 | |
| 73 | | ---------------- | --------------------------- | --------------------------------------------------- | | 73 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 74 | | aclnn接口 | [test_aclnn_foreach_log10](examples/test_aclnn_foreach_log10.cpp) | 通过[aclnnForeachLog10](docs/aclnnForeachLog10.md)接口方式调用ForeachLog10算子。 | | 74 | | aclnn接口 | [test_aclnn_foreach_log10](examples/test_aclnn_foreach_log10.cpp) | 通过[aclnnForeachLog10](docs/aclnnForeachLog10.md)接口方式调用ForeachLog10算子。 | |
| 75 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_log10_proto.h)构图方式调用ForeachLog10算子。 | | 75 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_log10_proto.h)构图方式调用ForeachLog10算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对张量列表中的每一个元素执行先加一再以e为底的对数函数运算。 | 18 | - 算子功能:对张量列表中的每一个元素执行先加一再以e为底的对数函数运算。 |
| @@ -63,6 +62,7 @@ | |||
| 63 | </tbody></table> | 62 | </tbody></table> |
| 64 | 63 | ||
| 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 64 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 65 | + | ||
| 66 | ## 约束说明 | 66 | ## 约束说明 |
| 67 | 67 | ||
| 68 | 无 | 68 | 无 |
| @@ -72,4 +72,4 @@ | |||
| 72 | | 调用方式 | 样例代码 | 说明 | | 72 | | 调用方式 | 样例代码 | 说明 | |
| 73 | | ---------------- | --------------------------- | --------------------------------------------------- | | 73 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 74 | | aclnn接口 | [test_aclnn_foreach_log1p](examples/test_aclnn_foreach_log1p.cpp) | 通过[aclnnForeachLog1p](docs/aclnnForeachLog1p.md)接口方式调用ForeachLog1p算子。 | | 74 | | aclnn接口 | [test_aclnn_foreach_log1p](examples/test_aclnn_foreach_log1p.cpp) | 通过[aclnnForeachLog1p](docs/aclnnForeachLog1p.md)接口方式调用ForeachLog1p算子。 | |
| 75 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_log1p_proto.h)构图方式调用ForeachLog1p算子。 | | 75 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_log1p_proto.h)构图方式调用ForeachLog1p算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对张量列表中的每一个元素执行以2为底的对数函数运算。 | 18 | - 算子功能:对张量列表中的每一个元素执行以2为底的对数函数运算。 |
| @@ -63,6 +62,7 @@ | |||
| 63 | </tbody></table> | 62 | </tbody></table> |
| 64 | 63 | ||
| 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 64 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 65 | + | ||
| 66 | ## 约束说明 | 66 | ## 约束说明 |
| 67 | 67 | ||
| 68 | 无 | 68 | 无 |
| @@ -72,4 +72,4 @@ | |||
| 72 | | 调用方式 | 样例代码 | 说明 | | 72 | | 调用方式 | 样例代码 | 说明 | |
| 73 | | ---------------- | --------------------------- | --------------------------------------------------- | | 73 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 74 | | aclnn接口 | [test_aclnn_foreach_log2](examples/test_aclnn_foreach_log2.cpp) | 通过[aclnnForeachLog2](docs/aclnnForeachLog2.md)接口方式调用ForeachLog2算子。 | | 74 | | aclnn接口 | [test_aclnn_foreach_log2](examples/test_aclnn_foreach_log2.cpp) | 通过[aclnnForeachLog2](docs/aclnnForeachLog2.md)接口方式调用ForeachLog2算子。 | |
| 75 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_log2_proto.h)构图方式调用ForeachLog2算子。 | | 75 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_log2_proto.h)构图方式调用ForeachLog2算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对张量列表x1和张量列表x2执行逐元素比较,计算每个元素对应的最大值。 | 18 | - 算子功能:对张量列表x1和张量列表x2执行逐元素比较,计算每个元素对应的最大值。 |
| @@ -70,6 +69,7 @@ | |||
| 70 | </tbody></table> | 69 | </tbody></table> |
| 71 | 70 | ||
| 72 | - Kirin X90/Kirin 9030处理器系列产品:支持FLOAT32、FLOAT16和INT32,不支持BFLOAT16。 | 71 | - Kirin X90/Kirin 9030处理器系列产品:支持FLOAT32、FLOAT16和INT32,不支持BFLOAT16。 |
| 72 | + | ||
| 73 | ## 约束说明 | 73 | ## 约束说明 |
| 74 | 74 | ||
| 75 | 无 | 75 | 无 |
| @@ -79,4 +79,4 @@ | |||
| 79 | | 调用方式 | 样例代码 | 说明 | | 79 | | 调用方式 | 样例代码 | 说明 | |
| 80 | | ---------------- | --------------------------- | --------------------------------------------------- | | 80 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 81 | | aclnn接口 | [test_aclnn_foreach_maximum_list](examples/test_aclnn_foreach_maximum_list.cpp) | 通过[aclnnForeachMaximumList](docs/aclnnForeachMaximumList.md)接口方式调用ForeachMaximumList算子。 | | 81 | | aclnn接口 | [test_aclnn_foreach_maximum_list](examples/test_aclnn_foreach_maximum_list.cpp) | 通过[aclnnForeachMaximumList](docs/aclnnForeachMaximumList.md)接口方式调用ForeachMaximumList算子。 | |
| 82 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_maximum_list_proto.h)构图方式调用ForeachMaximumList算子。 | | 82 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_maximum_list_proto.h)构图方式调用ForeachMaximumList算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对张量列表x1和张量列表x2执行逐元素比较,计算每个元素对应的最大值。 | 18 | - 接口功能:对张量列表x1和张量列表x2执行逐元素比较,计算每个元素对应的最大值。 |
| @@ -51,7 +50,7 @@ aclnnStatus aclnnForeachMaximumList( | |||
| 51 | 50 | ||
| 52 | ## aclnnForeachMaximumListGetWorkspaceSize | 51 | ## aclnnForeachMaximumListGetWorkspaceSize |
| 53 | 52 | ||
| 54 | -- **参数说明**: | 53 | +- **参数说明** |
| 55 | 54 | ||
| 56 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 55 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 57 | <col style="width: 170px"> | 56 | <col style="width: 170px"> |
| @@ -128,7 +127,7 @@ aclnnStatus aclnnForeachMaximumList( | |||
| 128 | </tbody> | 127 | </tbody> |
| 129 | </table> | 128 | </table> |
| 130 | 129 | ||
| 131 | -- **返回值**: | 130 | +- **返回值** |
| 132 | 131 | ||
| 133 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 132 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 134 | 133 | ||
| @@ -175,7 +174,7 @@ aclnnStatus aclnnForeachMaximumList( | |||
| 175 | 174 | ||
| 176 | ## aclnnForeachMaximumList | 175 | ## aclnnForeachMaximumList |
| 177 | 176 | ||
| 178 | -- **参数说明:** | 177 | +- **参数说明** |
| 179 | 178 | ||
| 180 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 179 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 181 | <col style="width: 173px"> | 180 | <col style="width: 173px"> |
| @@ -212,7 +211,7 @@ aclnnStatus aclnnForeachMaximumList( | |||
| 212 | </tbody> | 211 | </tbody> |
| 213 | </table> | 212 | </table> |
| 214 | 213 | ||
| 215 | -- **返回值:** | 214 | +- **返回值** |
| 216 | 215 | ||
| 217 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 216 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 218 | 217 | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对张量列表和张量scalar执行逐元素比较,计算每个元素对应的最大值。 | 18 | - 算子功能:对张量列表和张量scalar执行逐元素比较,计算每个元素对应的最大值。 |
| @@ -71,6 +70,7 @@ | |||
| 71 | </tbody></table> | 70 | </tbody></table> |
| 72 | 71 | ||
| 73 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 | 72 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 |
| 73 | + | ||
| 74 | ## 约束说明 | 74 | ## 约束说明 |
| 75 | 75 | ||
| 76 | 无 | 76 | 无 |
| @@ -81,4 +81,4 @@ | |||
| 81 | | ---------------- | --------------------------- | --------------------------------------------------- | | 81 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 82 | | aclnn接口 | [test_aclnn_foreach_maximum_scalar](examples/test_aclnn_foreach_maximum_scalar.cpp) | 通过[aclnnForeachMaximumScalar](docs/aclnnForeachMaximumScalar.md)接口方式调用ForeachMaximumScalar算子。 | | 82 | | aclnn接口 | [test_aclnn_foreach_maximum_scalar](examples/test_aclnn_foreach_maximum_scalar.cpp) | 通过[aclnnForeachMaximumScalar](docs/aclnnForeachMaximumScalar.md)接口方式调用ForeachMaximumScalar算子。 | |
| 83 | | aclnn接口 | [test_aclnn_foreach_maximum_scalar_v2](examples/test_aclnn_foreach_maximum_scalar_v2.cpp) | 通过[aclnnForeachMaximumScalarV2](docs/aclnnForeachMaximumScalarV2.md)接口方式调用ForeachMaximumScalar算子。 | | 83 | | aclnn接口 | [test_aclnn_foreach_maximum_scalar_v2](examples/test_aclnn_foreach_maximum_scalar_v2.cpp) | 通过[aclnnForeachMaximumScalarV2](docs/aclnnForeachMaximumScalarV2.md)接口方式调用ForeachMaximumScalar算子。 | |
| 84 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_maximum_scalar_proto.h)构图方式调用ForeachMaximumScalar算子。 | | 84 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_maximum_scalar_proto.h)构图方式调用ForeachMaximumScalar算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对张量列表和张量scalar执行逐元素比较,计算每个元素对应的最大值。 | 18 | - 接口功能:对张量列表和张量scalar执行逐元素比较,计算每个元素对应的最大值。 |
| @@ -52,7 +51,7 @@ aclnnStatus aclnnForeachMaximumScalar( | |||
| 52 | 51 | ||
| 53 | ## aclnnForeachMaximumScalarGetWorkspaceSize | 52 | ## aclnnForeachMaximumScalarGetWorkspaceSize |
| 54 | 53 | ||
| 55 | -- **参数说明**: | 54 | +- **参数说明** |
| 56 | 55 | ||
| 57 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 56 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 58 | <col style="width: 170px"> | 57 | <col style="width: 170px"> |
| @@ -129,7 +128,7 @@ aclnnStatus aclnnForeachMaximumScalar( | |||
| 129 | </tbody> | 128 | </tbody> |
| 130 | </table> | 129 | </table> |
| 131 | 130 | ||
| 132 | -- **返回值**: | 131 | +- **返回值** |
| 133 | 132 | ||
| 134 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 133 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 135 | 134 | ||
| @@ -179,7 +178,7 @@ aclnnStatus aclnnForeachMaximumScalar( | |||
| 179 | 178 | ||
| 180 | ## aclnnForeachMaximumScalar | 179 | ## aclnnForeachMaximumScalar |
| 181 | 180 | ||
| 182 | -- **参数说明:** | 181 | +- **参数说明** |
| 183 | 182 | ||
| 184 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 183 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 185 | <col style="width: 173px"> | 184 | <col style="width: 173px"> |
| @@ -216,7 +215,7 @@ aclnnStatus aclnnForeachMaximumScalar( | |||
| 216 | </tbody> | 215 | </tbody> |
| 217 | </table> | 216 | </table> |
| 218 | 217 | ||
| 219 | -- **返回值:** | 218 | +- **返回值** |
| 220 | 219 | ||
| 221 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 220 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 222 | 221 | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对张量列表x和标量列表scalars执行逐元素比较,计算每个元素对应的最大值。 | 18 | - 算子功能:对张量列表x和标量列表scalars执行逐元素比较,计算每个元素对应的最大值。 |
| @@ -72,6 +71,7 @@ | |||
| 72 | </tbody></table> | 71 | </tbody></table> |
| 73 | 72 | ||
| 74 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 | 73 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 |
| 74 | + | ||
| 75 | ## 约束说明 | 75 | ## 约束说明 |
| 76 | 76 | ||
| 77 | 无 | 77 | 无 |
| @@ -81,4 +81,4 @@ | |||
| 81 | | 调用方式 | 样例代码 | 说明 | | 81 | | 调用方式 | 样例代码 | 说明 | |
| 82 | | ---------------- | --------------------------- | --------------------------------------------------- | | 82 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 83 | | aclnn接口 | [test_aclnn_foreach_maximum_scalar_list](examples/test_aclnn_foreach_maximum_scalar_list.cpp) | 通过[aclnnForeachMaximumScalarList](docs/aclnnForeachMaximumScalarList.md)接口方式调用ForeachMaximumScalarList算子。 | | 83 | | aclnn接口 | [test_aclnn_foreach_maximum_scalar_list](examples/test_aclnn_foreach_maximum_scalar_list.cpp) | 通过[aclnnForeachMaximumScalarList](docs/aclnnForeachMaximumScalarList.md)接口方式调用ForeachMaximumScalarList算子。 | |
| 84 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_maximum_scalar_list_proto.h)构图方式调用ForeachMaximumScalarList算子。 | | 84 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_maximum_scalar_list_proto.h)构图方式调用ForeachMaximumScalarList算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对张量列表x1和张量列表x2执行逐元素比较,计算每个元素对应的最小值。 | 18 | - 算子功能:对张量列表x1和张量列表x2执行逐元素比较,计算每个元素对应的最小值。 |
| @@ -70,6 +69,7 @@ | |||
| 70 | </tbody></table> | 69 | </tbody></table> |
| 71 | 70 | ||
| 72 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 71 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 72 | + | ||
| 73 | ## 约束说明 | 73 | ## 约束说明 |
| 74 | 74 | ||
| 75 | 无 | 75 | 无 |
| @@ -79,4 +79,4 @@ | |||
| 79 | | 调用方式 | 样例代码 | 说明 | | 79 | | 调用方式 | 样例代码 | 说明 | |
| 80 | | ---------------- | --------------------------- | --------------------------------------------------- | | 80 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 81 | | aclnn接口 | [test_aclnn_foreach_minimum_list](examples/test_aclnn_foreach_minimum_list.cpp) | 通过[aclnnForeachMinimumList](docs/aclnnForeachMinimumList.md)接口方式调用ForeachMinimumList算子。 | | 81 | | aclnn接口 | [test_aclnn_foreach_minimum_list](examples/test_aclnn_foreach_minimum_list.cpp) | 通过[aclnnForeachMinimumList](docs/aclnnForeachMinimumList.md)接口方式调用ForeachMinimumList算子。 | |
| 82 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_minimum_list_proto.h)构图方式调用ForeachMinimumList算子。 | | 82 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_minimum_list_proto.h)构图方式调用ForeachMinimumList算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对张量列表x1和张量列表x2执行逐元素比较,计算每个元素对应的最小值。 | 18 | - 接口功能:对张量列表x1和张量列表x2执行逐元素比较,计算每个元素对应的最小值。 |
| @@ -51,7 +50,7 @@ aclnnStatus aclnnForeachMinimumList( | |||
| 51 | 50 | ||
| 52 | ## aclnnForeachMinimumListGetWorkspaceSize | 51 | ## aclnnForeachMinimumListGetWorkspaceSize |
| 53 | 52 | ||
| 54 | -- **参数说明**: | 53 | +- **参数说明** |
| 55 | 54 | ||
| 56 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 55 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 57 | <col style="width: 170px"> | 56 | <col style="width: 170px"> |
| @@ -128,7 +127,7 @@ aclnnStatus aclnnForeachMinimumList( | |||
| 128 | </tbody> | 127 | </tbody> |
| 129 | </table> | 128 | </table> |
| 130 | 129 | ||
| 131 | -- **返回值**: | 130 | +- **返回值** |
| 132 | 131 | ||
| 133 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 132 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 134 | 133 | ||
| @@ -175,7 +174,7 @@ aclnnStatus aclnnForeachMinimumList( | |||
| 175 | 174 | ||
| 176 | ## aclnnForeachMinimumList | 175 | ## aclnnForeachMinimumList |
| 177 | 176 | ||
| 178 | -- **参数说明:** | 177 | +- **参数说明** |
| 179 | 178 | ||
| 180 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 179 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 181 | <col style="width: 173px"> | 180 | <col style="width: 173px"> |
| @@ -212,7 +211,7 @@ aclnnStatus aclnnForeachMinimumList( | |||
| 212 | </tbody> | 211 | </tbody> |
| 213 | </table> | 212 | </table> |
| 214 | 213 | ||
| 215 | -- **返回值:** | 214 | +- **返回值** |
| 216 | 215 | ||
| 217 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 216 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 218 | 217 | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对张量列表x和张量scalar执行逐元素比较,计算每个元素对应的最小值。 | 18 | - 算子功能:对张量列表x和张量scalar执行逐元素比较,计算每个元素对应的最小值。 |
| @@ -71,6 +70,7 @@ | |||
| 71 | </tbody></table> | 70 | </tbody></table> |
| 72 | 71 | ||
| 73 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 | 72 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 |
| 73 | + | ||
| 74 | ## 约束说明 | 74 | ## 约束说明 |
| 75 | 75 | ||
| 76 | 无 | 76 | 无 |
| @@ -81,4 +81,4 @@ | |||
| 81 | | ---------------- | --------------------------- | --------------------------------------------------- | | 81 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 82 | | aclnn接口 | [test_aclnn_foreach_minimum_scalar](examples/test_aclnn_foreach_minimum_scalar.cpp) | 通过[aclnnForeachMinimumScalar](docs/aclnnForeachMinimumScalar.md)接口方式调用ForeachMinimumScalar算子。 | | 82 | | aclnn接口 | [test_aclnn_foreach_minimum_scalar](examples/test_aclnn_foreach_minimum_scalar.cpp) | 通过[aclnnForeachMinimumScalar](docs/aclnnForeachMinimumScalar.md)接口方式调用ForeachMinimumScalar算子。 | |
| 83 | | aclnn接口 | [test_aclnn_foreach_minimum_scalar_v2](examples/test_aclnn_foreach_minimum_scalar_v2.cpp) | 通过[aclnnForeachMinimumScalarV2](docs/aclnnForeachMinimumScalarV2.md)接口方式调用ForeachMinimumScalar算子。 | | 83 | | aclnn接口 | [test_aclnn_foreach_minimum_scalar_v2](examples/test_aclnn_foreach_minimum_scalar_v2.cpp) | 通过[aclnnForeachMinimumScalarV2](docs/aclnnForeachMinimumScalarV2.md)接口方式调用ForeachMinimumScalar算子。 | |
| 84 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_minimum_scalar_proto.h)构图方式调用ForeachMinimumScalar算子。 | | 84 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_minimum_scalar_proto.h)构图方式调用ForeachMinimumScalar算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对张量列表x和张量scalar执行逐元素比较,计算每个元素对应的最小值。 | 18 | - 接口功能:对张量列表x和张量scalar执行逐元素比较,计算每个元素对应的最小值。 |
| @@ -52,7 +51,7 @@ aclnnStatus aclnnForeachMinimumScalar( | |||
| 52 | 51 | ||
| 53 | ## aclnnForeachMinimumScalarGetWorkspaceSize | 52 | ## aclnnForeachMinimumScalarGetWorkspaceSize |
| 54 | 53 | ||
| 55 | -- **参数说明**: | 54 | +- **参数说明** |
| 56 | 55 | ||
| 57 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 56 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 58 | <col style="width: 170px"> | 57 | <col style="width: 170px"> |
| @@ -129,7 +128,7 @@ aclnnStatus aclnnForeachMinimumScalar( | |||
| 129 | </tbody> | 128 | </tbody> |
| 130 | </table> | 129 | </table> |
| 131 | 130 | ||
| 132 | -- **返回值**: | 131 | +- **返回值** |
| 133 | 132 | ||
| 134 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 133 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 135 | 134 | ||
| @@ -179,7 +178,7 @@ aclnnStatus aclnnForeachMinimumScalar( | |||
| 179 | 178 | ||
| 180 | ## aclnnForeachMinimumScalar | 179 | ## aclnnForeachMinimumScalar |
| 181 | 180 | ||
| 182 | -- **参数说明:** | 181 | +- **参数说明** |
| 183 | 182 | ||
| 184 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 183 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 185 | <col style="width: 173px"> | 184 | <col style="width: 173px"> |
| @@ -216,7 +215,7 @@ aclnnStatus aclnnForeachMinimumScalar( | |||
| 216 | </tbody> | 215 | </tbody> |
| 217 | </table> | 216 | </table> |
| 218 | 217 | ||
| 219 | -- **返回值:** | 218 | +- **返回值** |
| 220 | 219 | ||
| 221 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 220 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 222 | 221 | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对张量列表x和标量列表scalars执行逐元素比较,计算每个元素对应的最小值。 | 18 | - 算子功能:对张量列表x和标量列表scalars执行逐元素比较,计算每个元素对应的最小值。 |
| @@ -72,6 +71,7 @@ | |||
| 72 | </tbody></table> | 71 | </tbody></table> |
| 73 | 72 | ||
| 74 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 | 73 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 |
| 74 | + | ||
| 75 | ## 约束说明 | 75 | ## 约束说明 |
| 76 | 76 | ||
| 77 | 无 | 77 | 无 |
| @@ -81,4 +81,4 @@ | |||
| 81 | | 调用方式 | 样例代码 | 说明 | | 81 | | 调用方式 | 样例代码 | 说明 | |
| 82 | | ---------------- | --------------------------- | --------------------------------------------------- | | 82 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 83 | | aclnn接口 | [test_aclnn_foreach_minimum_scalar_list](examples/test_aclnn_foreach_minimum_scalar_list.cpp) | 通过[aclnnForeachMinimumScalarList](docs/aclnnForeachMinimumScalarList.md)接口方式调用ForeachMinimumScalarList算子。 | | 83 | | aclnn接口 | [test_aclnn_foreach_minimum_scalar_list](examples/test_aclnn_foreach_minimum_scalar_list.cpp) | 通过[aclnnForeachMinimumScalarList](docs/aclnnForeachMinimumScalarList.md)接口方式调用ForeachMinimumScalarList算子。 | |
| 84 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_minimum_scalar_list_proto.h)构图方式调用ForeachMinimumScalarList算子。 | | 84 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_minimum_scalar_list_proto.h)构图方式调用ForeachMinimumScalarList算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对两个输入张量列表执行逐元素相乘。 | 18 | - 算子功能:对两个输入张量列表执行逐元素相乘。 |
| @@ -71,6 +70,7 @@ | |||
| 71 | </tbody></table> | 70 | </tbody></table> |
| 72 | 71 | ||
| 73 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 72 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 73 | + | ||
| 74 | ## 约束说明 | 74 | ## 约束说明 |
| 75 | 75 | ||
| 76 | 无 | 76 | 无 |
| @@ -80,4 +80,4 @@ | |||
| 80 | | 调用方式 | 样例代码 | 说明 | | 80 | | 调用方式 | 样例代码 | 说明 | |
| 81 | | ---------------- | --------------------------- | --------------------------------------------------- | | 81 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 82 | | aclnn接口 | [test_aclnn_foreach_mul_list](examples/test_aclnn_foreach_mul_list.cpp) | 通过[aclnnForeachMulList](docs/aclnnForeachMulList.md)接口方式调用ForeachMulList算子。 | | 82 | | aclnn接口 | [test_aclnn_foreach_mul_list](examples/test_aclnn_foreach_mul_list.cpp) | 通过[aclnnForeachMulList](docs/aclnnForeachMulList.md)接口方式调用ForeachMulList算子。 | |
| 83 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_mul_list_proto.h)构图方式调用ForeachMulList算子。 | | 83 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_mul_list_proto.h)构图方式调用ForeachMulList算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表的每个张量与张量scalar执行相乘运算。 | 18 | - 算子功能:对输入张量列表的每个张量与张量scalar执行相乘运算。 |
| @@ -80,6 +79,7 @@ | |||
| 80 | - `x`支持包含的最大Tensor个数为50。 | 79 | - `x`支持包含的最大Tensor个数为50。 |
| 81 | 80 | ||
| 82 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 81 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 82 | + | ||
| 83 | ## 约束说明 | 83 | ## 约束说明 |
| 84 | 84 | ||
| 85 | 无 | 85 | 无 |
| @@ -90,4 +90,4 @@ | |||
| 90 | | ---------------- | --------------------------- | --------------------------------------------------- | | 90 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 91 | | aclnn接口 | [test_aclnn_foreach_mul_scalar](examples/test_aclnn_foreach_mul_scalar.cpp) | 通过[aclnnForeachMulScalar](docs/aclnnForeachMulScalar.md)接口方式调用ForeachMulScalar算子。 | | 91 | | aclnn接口 | [test_aclnn_foreach_mul_scalar](examples/test_aclnn_foreach_mul_scalar.cpp) | 通过[aclnnForeachMulScalar](docs/aclnnForeachMulScalar.md)接口方式调用ForeachMulScalar算子。 | |
| 92 | | aclnn接口 | [test_aclnn_foreach_mul_scalar_v2](examples/test_aclnn_foreach_mul_scalar_v2.cpp) | 通过[aclnnForeachMulScalarV2](docs/aclnnForeachMulScalarV2.md)接口方式调用ForeachMulScalar算子。 | | 92 | | aclnn接口 | [test_aclnn_foreach_mul_scalar_v2](examples/test_aclnn_foreach_mul_scalar_v2.cpp) | 通过[aclnnForeachMulScalarV2](docs/aclnnForeachMulScalarV2.md)接口方式调用ForeachMulScalar算子。 | |
| 93 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_mul_scalar_proto.h)构图方式调用ForeachMulScalar算子。 | | 93 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_mul_scalar_proto.h)构图方式调用ForeachMulScalar算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对输入张量列表的每个张量与张量scalar执行相乘运算。本接口相较于[aclnnForeachMulScalar](aclnnForeachMulScalar.md),修改入参scalar的结构类型aclTensor为aclScalar,请根据实际情况选择合适的接口。 | 18 | - 接口功能:对输入张量列表的每个张量与张量scalar执行相乘运算。本接口相较于[aclnnForeachMulScalar](aclnnForeachMulScalar.md),修改入参scalar的结构类型aclTensor为aclScalar,请根据实际情况选择合适的接口。 |
| @@ -50,10 +49,9 @@ aclnnStatus aclnnForeachMulScalarV2( | |||
| 50 | aclrtStream stream) | 49 | aclrtStream stream) |
| 51 | ``` | 50 | ``` |
| 52 | 51 | ||
| 53 | - | ||
| 54 | ## aclnnForeachMulScalarV2GetWorkspaceSize | 52 | ## aclnnForeachMulScalarV2GetWorkspaceSize |
| 55 | 53 | ||
| 56 | -- **参数说明**: | 54 | +- **参数说明** |
| 57 | 55 | ||
| 58 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 56 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 59 | <col style="width: 170px"> | 57 | <col style="width: 170px"> |
| @@ -143,7 +141,7 @@ aclnnStatus aclnnForeachMulScalarV2( | |||
| 143 | - 当`x`的数据类型为FLOAT16时,`scalar`的数据类型支持FLOAT16、FLOAT32、DOUBLE。 | 141 | - 当`x`的数据类型为FLOAT16时,`scalar`的数据类型支持FLOAT16、FLOAT32、DOUBLE。 |
| 144 | - 当`x`的数据类型为INT32时,`scalar`的数据类型支持INT32、INT64。 | 142 | - 当`x`的数据类型为INT32时,`scalar`的数据类型支持INT32、INT64。 |
| 145 | 143 | ||
| 146 | -- **返回值**: | 144 | +- **返回值** |
| 147 | 145 | ||
| 148 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 146 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 149 | 147 | ||
| @@ -188,7 +186,7 @@ aclnnStatus aclnnForeachMulScalarV2( | |||
| 188 | 186 | ||
| 189 | ## aclnnForeachMulScalarV2 | 187 | ## aclnnForeachMulScalarV2 |
| 190 | 188 | ||
| 191 | -- **参数说明**: | 189 | +- **参数说明** |
| 192 | 190 | ||
| 193 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 191 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 194 | <col style="width: 173px"> | 192 | <col style="width: 173px"> |
| @@ -225,7 +223,7 @@ aclnnStatus aclnnForeachMulScalarV2( | |||
| 225 | </tbody> | 223 | </tbody> |
| 226 | </table> | 224 | </table> |
| 227 | 225 | ||
| 228 | -- **返回值**: | 226 | +- **返回值** |
| 229 | 227 | ||
| 230 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 228 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 231 | 229 | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表与标量列表执行逐元素相乘运算。 | 18 | - 算子功能:对输入张量列表与标量列表执行逐元素相乘运算。 |
| @@ -80,6 +79,7 @@ | |||
| 80 | - `x`支持包含的最大Tensor个数为50。 | 79 | - `x`支持包含的最大Tensor个数为50。 |
| 81 | 80 | ||
| 82 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 81 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 82 | + | ||
| 83 | ## 约束说明 | 83 | ## 约束说明 |
| 84 | 84 | ||
| 85 | 无 | 85 | 无 |
| @@ -89,4 +89,4 @@ | |||
| 89 | | 调用方式 | 样例代码 | 说明 | | 89 | | 调用方式 | 样例代码 | 说明 | |
| 90 | | ---------------- | --------------------------- | --------------------------------------------------- | | 90 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 91 | | aclnn接口 | [test_aclnn_foreach_mul_scalar_list](examples/test_aclnn_foreach_mul_scalar_list.cpp) | 通过[aclnnForeachMulScalarList](docs/aclnnForeachMulScalarList.md)接口方式调用ForeachMulScalarList算子。 | | 91 | | aclnn接口 | [test_aclnn_foreach_mul_scalar_list](examples/test_aclnn_foreach_mul_scalar_list.cpp) | 通过[aclnnForeachMulScalarList](docs/aclnnForeachMulScalarList.md)接口方式调用ForeachMulScalarList算子。 | |
| 92 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_mul_scalar_list_proto.h)构图方式调用ForeachMulScalarList算子。 | | 92 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_mul_scalar_list_proto.h)构图方式调用ForeachMulScalarList算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对输入张量列表与标量列表执行逐元素相乘运算。 | 18 | - 接口功能:对输入张量列表与标量列表执行逐元素相乘运算。 |
| @@ -53,7 +52,7 @@ aclnnStatus aclnnForeachMulScalarList( | |||
| 53 | 52 | ||
| 54 | ## aclnnForeachMulScalarListGetWorkspaceSize | 53 | ## aclnnForeachMulScalarListGetWorkspaceSize |
| 55 | 54 | ||
| 56 | -- **参数说明**: | 55 | +- **参数说明** |
| 57 | 56 | ||
| 58 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 57 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 59 | <col style="width: 170px"> | 58 | <col style="width: 170px"> |
| @@ -130,7 +129,6 @@ aclnnStatus aclnnForeachMulScalarList( | |||
| 130 | </tbody> | 129 | </tbody> |
| 131 | </table> | 130 | </table> |
| 132 | 131 | ||
| 133 | - | ||
| 134 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>: | 132 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>: |
| 135 | 133 | ||
| 136 | 参数`scalars`的数据类型仅支持FLOAT32和INT64,且与输入参数`x`的数据类型具有一定对应关系: | 134 | 参数`scalars`的数据类型仅支持FLOAT32和INT64,且与输入参数`x`的数据类型具有一定对应关系: |
| @@ -144,7 +142,7 @@ aclnnStatus aclnnForeachMulScalarList( | |||
| 144 | - 当`x`的数据类型为BFLOAT16、FLOAT32、FLOAT16时,数据类型支持FLOAT32、DOUBLE。 | 142 | - 当`x`的数据类型为BFLOAT16、FLOAT32、FLOAT16时,数据类型支持FLOAT32、DOUBLE。 |
| 145 | - 当`x`的数据类型为INT32时,数据类型支持INT64。 | 143 | - 当`x`的数据类型为INT32时,数据类型支持INT64。 |
| 146 | 144 | ||
| 147 | -- **返回值**: | 145 | +- **返回值** |
| 148 | 146 | ||
| 149 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 147 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 150 | 148 | ||
| @@ -191,7 +189,7 @@ aclnnStatus aclnnForeachMulScalarList( | |||
| 191 | 189 | ||
| 192 | ## aclnnForeachMulScalarList | 190 | ## aclnnForeachMulScalarList |
| 193 | 191 | ||
| 194 | -- **参数说明:** | 192 | +- **参数说明** |
| 195 | 193 | ||
| 196 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 194 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 197 | <col style="width: 173px"> | 195 | <col style="width: 173px"> |
| @@ -228,7 +226,7 @@ aclnnStatus aclnnForeachMulScalarList( | |||
| 228 | </tbody> | 226 | </tbody> |
| 229 | </table> | 227 | </table> |
| 230 | 228 | ||
| 231 | -- **返回值:** | 229 | +- **返回值** |
| 232 | 230 | ||
| 233 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 231 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 234 | 232 | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:计算输入张量列表中每个张量的相反数。 | 18 | - 算子功能:计算输入张量列表中每个张量的相反数。 |
| @@ -64,6 +63,7 @@ | |||
| 64 | </tbody></table> | 63 | </tbody></table> |
| 65 | 64 | ||
| 66 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 66 | + | ||
| 67 | ## 约束说明 | 67 | ## 约束说明 |
| 68 | 68 | ||
| 69 | 无 | 69 | 无 |
| @@ -73,4 +73,4 @@ | |||
| 73 | | 调用方式 | 样例代码 | 说明 | | 73 | | 调用方式 | 样例代码 | 说明 | |
| 74 | | ---------------- | --------------------------- | --------------------------------------------------- | | 74 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 75 | | aclnn接口 | [test_aclnn_foreach_neg](examples/test_aclnn_foreach_neg.cpp) | 通过[aclnnForeachNeg](docs/aclnnForeachNeg.md)接口方式调用ForeachNeg算子。 | | 75 | | aclnn接口 | [test_aclnn_foreach_neg](examples/test_aclnn_foreach_neg.cpp) | 通过[aclnnForeachNeg](docs/aclnnForeachNeg.md)接口方式调用ForeachNeg算子。 | |
| 76 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_neg_proto.h)构图方式调用ForeachNeg算子。 | | 76 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_neg_proto.h)构图方式调用ForeachNeg算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:遍历scaledGrads中的所有Tensor,检查是否存在Inf或NaN,如果存在则将foundInf设置为1.0,否则foundInf保持不变,并对scaledGrads中的所有Tensor进行反缩放。 | 18 | - 算子功能:遍历scaledGrads中的所有Tensor,检查是否存在Inf或NaN,如果存在则将foundInf设置为1.0,否则foundInf保持不变,并对scaledGrads中的所有Tensor进行反缩放。 |
| @@ -71,6 +70,7 @@ | |||
| 71 | </tbody></table> | 70 | </tbody></table> |
| 72 | 71 | ||
| 73 | - Kirin X90/Kirin 9030处理器系列产品:scaled_grads的数据类型不支持BFLOAT16。 | 72 | - Kirin X90/Kirin 9030处理器系列产品:scaled_grads的数据类型不支持BFLOAT16。 |
| 73 | + | ||
| 74 | ## 约束说明 | 74 | ## 约束说明 |
| 75 | 75 | ||
| 76 | 无 | 76 | 无 |
| @@ -80,4 +80,4 @@ | |||
| 80 | | 调用方式 | 样例代码 | 说明 | | 80 | | 调用方式 | 样例代码 | 说明 | |
| 81 | | ---------------- | --------------------------- | --------------------------------------------------- | | 81 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 82 | | aclnn接口 | [test_aclnn_foreach_non_finite_check_and_unscale](examples/test_aclnn_foreach_non_finite_check_and_unscale.cpp) | 通过[aclnnForeachNonFiniteCheckAndUnscale](docs/aclnnForeachNonFiniteCheckAndUnscale.md)接口方式调用ForeachNonFiniteCheckAndUnscale算子。 | | 82 | | aclnn接口 | [test_aclnn_foreach_non_finite_check_and_unscale](examples/test_aclnn_foreach_non_finite_check_and_unscale.cpp) | 通过[aclnnForeachNonFiniteCheckAndUnscale](docs/aclnnForeachNonFiniteCheckAndUnscale.md)接口方式调用ForeachNonFiniteCheckAndUnscale算子。 | |
| 83 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_non_finite_check_and_unscale_proto.h)构图方式调用ForeachNonFiniteCheckAndUnscale算子。 | | 83 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_non_finite_check_and_unscale_proto.h)构图方式调用ForeachNonFiniteCheckAndUnscale算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表的每个张量进行范数运算。 | 18 | - 算子功能:对输入张量列表的每个张量进行范数运算。 |
| @@ -85,12 +84,11 @@ | |||
| 85 | </tr> | 84 | </tr> |
| 86 | </tbody></table> | 85 | </tbody></table> |
| 87 | 86 | ||
| 88 | - | 87 | +- <term>Ascend 950PR/Ascend 950DT</term>: |
| 89 | -<term>Ascend 950PR/Ascend 950DT</term>: | 88 | + - 输入`x`、输出`y`支持的最大长度为256个。 |
| 90 | -- 输入`x`、输出`y`支持的最大长度为256个。 | 89 | + - 输入`scalar`的取值,仅支持1或者2。 |
| 91 | -- 输入`scalar`的取值,仅支持1或者2。 | ||
| 92 | - | ||
| 93 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 | 90 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 |
| 91 | + | ||
| 94 | ## 约束说明 | 92 | ## 约束说明 |
| 95 | 93 | ||
| 96 | 无 | 94 | 无 |
| @@ -100,4 +98,4 @@ | |||
| 100 | | 调用方式 | 样例代码 | 说明 | | 98 | | 调用方式 | 样例代码 | 说明 | |
| 101 | | ---------------- | --------------------------- | --------------------------------------------------- | | 99 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 102 | | aclnn接口 | [test_aclnn_foreach_norm](examples/test_aclnn_foreach_norm.cpp) | 通过[aclnnForeachNorm](docs/aclnnForeachNorm.md)接口方式调用ForeachNorm算子。 | | 100 | | aclnn接口 | [test_aclnn_foreach_norm](examples/test_aclnn_foreach_norm.cpp) | 通过[aclnnForeachNorm](docs/aclnnForeachNorm.md)接口方式调用ForeachNorm算子。 | |
| 103 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_norm_proto.h)构图方式调用ForeachNorm算子。 | | 101 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_norm_proto.h)构图方式调用ForeachNorm算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对输入张量列表的每个张量进行范数运算。 | 18 | - 接口功能:对输入张量列表的每个张量进行范数运算。 |
| @@ -75,7 +74,7 @@ aclnnStatus aclnnForeachNorm( | |||
| 75 | 74 | ||
| 76 | ## aclnnForeachNormGetWorkspaceSize | 75 | ## aclnnForeachNormGetWorkspaceSize |
| 77 | 76 | ||
| 78 | -- **参数说明**: | 77 | +- **参数说明** |
| 79 | 78 | ||
| 80 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 79 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 81 | <col style="width: 170px"> | 80 | <col style="width: 170px"> |
| @@ -154,7 +153,7 @@ aclnnStatus aclnnForeachNorm( | |||
| 154 | 153 | ||
| 155 | - <term>Ascend 950PR/Ascend 950DT</term>:参数`x`、`out`支持的最大长度为256个。 | 154 | - <term>Ascend 950PR/Ascend 950DT</term>:参数`x`、`out`支持的最大长度为256个。 |
| 156 | 155 | ||
| 157 | -- **返回值**: | 156 | +- **返回值** |
| 158 | 157 | ||
| 159 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 158 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 160 | 159 | ||
| @@ -201,7 +200,7 @@ aclnnStatus aclnnForeachNorm( | |||
| 201 | 200 | ||
| 202 | ## aclnnForeachNorm | 201 | ## aclnnForeachNorm |
| 203 | 202 | ||
| 204 | -- **参数说明:** | 203 | +- **参数说明** |
| 205 | 204 | ||
| 206 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 205 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 207 | <col style="width: 173px"> | 206 | <col style="width: 173px"> |
| @@ -238,7 +237,7 @@ aclnnStatus aclnnForeachNorm( | |||
| 238 | </tbody> | 237 | </tbody> |
| 239 | </table> | 238 | </table> |
| 240 | 239 | ||
| 241 | -- **返回值:** | 240 | +- **返回值** |
| 242 | 241 | ||
| 243 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 242 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 244 | 243 | ||
| @@ -416,4 +415,3 @@ int main() { | |||
| 416 | return 0; | 415 | return 0; |
| 417 | } | 416 | } |
| 418 | ``` | 417 | ``` |
| 419 | - | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表的每个张量进行x2次方运算。 | 18 | - 算子功能:对输入张量列表的每个张量进行x2次方运算。 |
| @@ -71,6 +70,7 @@ | |||
| 71 | </tbody></table> | 70 | </tbody></table> |
| 72 | 71 | ||
| 73 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 72 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 73 | + | ||
| 74 | ## 约束说明 | 74 | ## 约束说明 |
| 75 | 75 | ||
| 76 | 无 | 76 | 无 |
| @@ -80,4 +80,4 @@ | |||
| 80 | | 调用方式 | 样例代码 | 说明 | | 80 | | 调用方式 | 样例代码 | 说明 | |
| 81 | | ---------------- | --------------------------- | --------------------------------------------------- | | 81 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 82 | | aclnn接口 | [test_aclnn_foreach_pow_list](examples/test_aclnn_foreach_pow_list.cpp) | 通过[aclnnForeachPowList](docs/aclnnForeachPowList.md)接口方式调用ForeachPowList算子。 | | 82 | | aclnn接口 | [test_aclnn_foreach_pow_list](examples/test_aclnn_foreach_pow_list.cpp) | 通过[aclnnForeachPowList](docs/aclnnForeachPowList.md)接口方式调用ForeachPowList算子。 | |
| 83 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_pow_list_proto.h)构图方式调用ForeachPowList算子。 | | 83 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_pow_list_proto.h)构图方式调用ForeachPowList算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表的每个张量进行n次方运算。 | 18 | - 算子功能:对输入张量列表的每个张量进行n次方运算。 |
| @@ -71,6 +70,7 @@ | |||
| 71 | </tbody></table> | 70 | </tbody></table> |
| 72 | 71 | ||
| 73 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 | 72 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 |
| 73 | + | ||
| 74 | ## 约束说明 | 74 | ## 约束说明 |
| 75 | 75 | ||
| 76 | 无 | 76 | 无 |
| @@ -81,4 +81,4 @@ | |||
| 81 | | ---------------- | --------------------------- | --------------------------------------------------- | | 81 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 82 | | aclnn接口 | [test_aclnn_foreach_pow_scalar](examples/test_aclnn_foreach_pow_scalar.cpp) | 通过[aclnnForeachPowScalar](docs/aclnnForeachPowScalar.md)接口方式调用ForeachPowScalar算子。 | | 82 | | aclnn接口 | [test_aclnn_foreach_pow_scalar](examples/test_aclnn_foreach_pow_scalar.cpp) | 通过[aclnnForeachPowScalar](docs/aclnnForeachPowScalar.md)接口方式调用ForeachPowScalar算子。 | |
| 83 | | aclnn接口 | [test_aclnn_foreach_pow_scalar_v2](examples/test_aclnn_foreach_pow_scalar_v2.cpp) | 通过[aclnnForeachPowScalarV2](docs/aclnnForeachPowScalarV2.md)接口方式调用ForeachPowScalarV2算子。 | | 83 | | aclnn接口 | [test_aclnn_foreach_pow_scalar_v2](examples/test_aclnn_foreach_pow_scalar_v2.cpp) | 通过[aclnnForeachPowScalarV2](docs/aclnnForeachPowScalarV2.md)接口方式调用ForeachPowScalarV2算子。 | |
| 84 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_pow_scalar_proto.h)构图方式调用ForeachPowScalar算子。 | | 84 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_pow_scalar_proto.h)构图方式调用ForeachPowScalar算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表的每个张量进行x次方运算。 | 18 | - 算子功能:对输入张量列表的每个张量进行x次方运算。 |
| @@ -71,6 +70,7 @@ | |||
| 71 | </tbody></table> | 70 | </tbody></table> |
| 72 | 71 | ||
| 73 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 | 72 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 |
| 73 | + | ||
| 74 | ## 约束说明 | 74 | ## 约束说明 |
| 75 | 75 | ||
| 76 | 无 | 76 | 无 |
| @@ -80,4 +80,4 @@ | |||
| 80 | | 调用方式 | 样例代码 | 说明 | | 80 | | 调用方式 | 样例代码 | 说明 | |
| 81 | | ---------------- | --------------------------- | --------------------------------------------------- | | 81 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 82 | | aclnn接口 | [test_aclnn_foreach_pow_scalar_and_tensor](examples/test_aclnn_foreach_pow_scalar_and_tensor.cpp) | 通过[aclnnForeachPowScalarAndTensor](docs/aclnnForeachPowScalarAndTensor.md)接口方式调用ForeachPowScalarAndTensor算子。 | | 82 | | aclnn接口 | [test_aclnn_foreach_pow_scalar_and_tensor](examples/test_aclnn_foreach_pow_scalar_and_tensor.cpp) | 通过[aclnnForeachPowScalarAndTensor](docs/aclnnForeachPowScalarAndTensor.md)接口方式调用ForeachPowScalarAndTensor算子。 | |
| 83 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_pow_scalar_and_tensor_proto.h)构图方式调用ForeachPowScalarAndTensor算子。 | | 83 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_pow_scalar_and_tensor_proto.h)构图方式调用ForeachPowScalarAndTensor算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对输入张量列表的每个张量进行x次方运算。 | 18 | - 接口功能:对输入张量列表的每个张量进行x次方运算。 |
| @@ -52,7 +51,7 @@ aclnnStatus aclnnForeachPowScalarAndTensor( | |||
| 52 | 51 | ||
| 53 | ## aclnnForeachPowScalarAndTensorGetWorkspaceSize | 52 | ## aclnnForeachPowScalarAndTensorGetWorkspaceSize |
| 54 | 53 | ||
| 55 | -- **参数说明**: | 54 | +- **参数说明** |
| 56 | 55 | ||
| 57 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 56 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 58 | <col style="width: 170px"> | 57 | <col style="width: 170px"> |
| @@ -129,7 +128,7 @@ aclnnStatus aclnnForeachPowScalarAndTensor( | |||
| 129 | </tbody> | 128 | </tbody> |
| 130 | </table> | 129 | </table> |
| 131 | 130 | ||
| 132 | -- **返回值**: | 131 | +- **返回值** |
| 133 | 132 | ||
| 134 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 133 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 135 | 134 | ||
| @@ -176,7 +175,7 @@ aclnnStatus aclnnForeachPowScalarAndTensor( | |||
| 176 | 175 | ||
| 177 | ## aclnnForeachPowScalarAndTensor | 176 | ## aclnnForeachPowScalarAndTensor |
| 178 | 177 | ||
| 179 | -- **参数说明:** | 178 | +- **参数说明** |
| 180 | 179 | ||
| 181 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 180 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 182 | <col style="width: 173px"> | 181 | <col style="width: 173px"> |
| @@ -213,7 +212,7 @@ aclnnStatus aclnnForeachPowScalarAndTensor( | |||
| 213 | </tbody> | 212 | </tbody> |
| 214 | </table> | 213 | </table> |
| 215 | 214 | ||
| 216 | -- **返回值:** | 215 | +- **返回值** |
| 217 | 216 | ||
| 218 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 217 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 219 | 218 | ||
| @@ -390,4 +389,3 @@ int main() { | |||
| 390 | return 0; | 389 | return 0; |
| 391 | } | 390 | } |
| 392 | ``` | 391 | ``` |
| 393 | - | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表的每个张量进行n次方运算。 | 18 | - 算子功能:对输入张量列表的每个张量进行n次方运算。 |
| @@ -72,6 +71,7 @@ | |||
| 72 | </tbody></table> | 71 | </tbody></table> |
| 73 | 72 | ||
| 74 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 | 73 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 |
| 74 | + | ||
| 75 | ## 约束说明 | 75 | ## 约束说明 |
| 76 | 76 | ||
| 77 | 无 | 77 | 无 |
| @@ -81,4 +81,4 @@ | |||
| 81 | | 调用方式 | 样例代码 | 说明 | | 81 | | 调用方式 | 样例代码 | 说明 | |
| 82 | | ---------------- | --------------------------- | --------------------------------------------------- | | 82 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 83 | | aclnn接口 | [test_aclnn_foreach_pow_scalar_list](examples/test_aclnn_foreach_pow_scalar_list.cpp) | 通过[aclnnForeachPowScalarList](docs/aclnnForeachPowScalarList.md)接口方式调用ForeachPowScalarList算子。 | | 83 | | aclnn接口 | [test_aclnn_foreach_pow_scalar_list](examples/test_aclnn_foreach_pow_scalar_list.cpp) | 通过[aclnnForeachPowScalarList](docs/aclnnForeachPowScalarList.md)接口方式调用ForeachPowScalarList算子。 | |
| 84 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_pow_scalar_list_proto.h)构图方式调用ForeachPowScalarList算子。 | | 84 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_pow_scalar_list_proto.h)构图方式调用ForeachPowScalarList算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对输入张量列表的每个张量进行n次方运算。 | 18 | - 接口功能:对输入张量列表的每个张量进行n次方运算。 |
| @@ -53,7 +52,7 @@ aclnnStatus aclnnForeachPowScalarList( | |||
| 53 | 52 | ||
| 54 | ## aclnnForeachPowScalarListGetWorkspaceSize | 53 | ## aclnnForeachPowScalarListGetWorkspaceSize |
| 55 | 54 | ||
| 56 | -- **参数说明**: | 55 | +- **参数说明** |
| 57 | 56 | ||
| 58 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 57 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 59 | <col style="width: 170px"> | 58 | <col style="width: 170px"> |
| @@ -130,8 +129,7 @@ aclnnStatus aclnnForeachPowScalarList( | |||
| 130 | </tbody> | 129 | </tbody> |
| 131 | </table> | 130 | </table> |
| 132 | 131 | ||
| 133 | - | 132 | +- **返回值** |
| 134 | -- **返回值**: | ||
| 135 | 133 | ||
| 136 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 134 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 137 | 135 | ||
| @@ -178,7 +176,7 @@ aclnnStatus aclnnForeachPowScalarList( | |||
| 178 | 176 | ||
| 179 | ## aclnnForeachPowScalarList | 177 | ## aclnnForeachPowScalarList |
| 180 | 178 | ||
| 181 | -- **参数说明:** | 179 | +- **参数说明** |
| 182 | 180 | ||
| 183 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 181 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 184 | <col style="width: 173px"> | 182 | <col style="width: 173px"> |
| @@ -215,7 +213,7 @@ aclnnStatus aclnnForeachPowScalarList( | |||
| 215 | </tbody> | 213 | </tbody> |
| 216 | </table> | 214 | </table> |
| 217 | 215 | ||
| 218 | -- **返回值:** | 216 | +- **返回值** |
| 219 | 217 | ||
| 220 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 218 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 221 | 219 | ||
| @@ -399,4 +397,3 @@ int main() { | |||
| 399 | return 0; | 397 | return 0; |
| 400 | } | 398 | } |
| 401 | ``` | 399 | ``` |
| 402 | - | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表的每个张量进行倒数运算。 | 18 | - 算子功能:对输入张量列表的每个张量进行倒数运算。 |
| @@ -63,6 +62,7 @@ | |||
| 63 | </tbody></table> | 62 | </tbody></table> |
| 64 | 63 | ||
| 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持INT32、BFLOAT16。 | 64 | - Kirin X90/Kirin 9030处理器系列产品:不支持INT32、BFLOAT16。 |
| 65 | + | ||
| 66 | ## 约束说明 | 66 | ## 约束说明 |
| 67 | 67 | ||
| 68 | 无 | 68 | 无 |
| @@ -72,4 +72,4 @@ | |||
| 72 | | 调用方式 | 样例代码 | 说明 | | 72 | | 调用方式 | 样例代码 | 说明 | |
| 73 | | ---------------- | --------------------------- | --------------------------------------------------- | | 73 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 74 | | aclnn接口 | [test_aclnn_foreach_reciprocal](examples/test_aclnn_foreach_reciprocal.cpp) | 通过[aclnnForeachReciprocal](docs/aclnnForeachReciprocal.md)接口方式调用ForeachReciprocal算子。 | | 74 | | aclnn接口 | [test_aclnn_foreach_reciprocal](examples/test_aclnn_foreach_reciprocal.cpp) | 通过[aclnnForeachReciprocal](docs/aclnnForeachReciprocal.md)接口方式调用ForeachReciprocal算子。 | |
| 75 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_reciprocal_proto.h)构图方式调用ForeachReciprocal算子。 | | 75 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_reciprocal_proto.h)构图方式调用ForeachReciprocal算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对输入张量列表的每个张量进行倒数运算。 | 18 | - 接口功能:对输入张量列表的每个张量进行倒数运算。 |
| @@ -50,7 +49,7 @@ aclnnStatus aclnnForeachReciprocal( | |||
| 50 | 49 | ||
| 51 | ## aclnnForeachReciprocalGetWorkspaceSize | 50 | ## aclnnForeachReciprocalGetWorkspaceSize |
| 52 | 51 | ||
| 53 | -- **参数说明**: | 52 | +- **参数说明** |
| 54 | 53 | ||
| 55 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 54 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 56 | <col style="width: 170px"> | 55 | <col style="width: 170px"> |
| @@ -117,8 +116,7 @@ aclnnStatus aclnnForeachReciprocal( | |||
| 117 | </tbody> | 116 | </tbody> |
| 118 | </table> | 117 | </table> |
| 119 | 118 | ||
| 120 | - | 119 | +- **返回值** |
| 121 | -- **返回值**: | ||
| 122 | 120 | ||
| 123 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 121 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 124 | 122 | ||
| @@ -165,7 +163,7 @@ aclnnStatus aclnnForeachReciprocal( | |||
| 165 | 163 | ||
| 166 | ## aclnnForeachReciprocal | 164 | ## aclnnForeachReciprocal |
| 167 | 165 | ||
| 168 | -- **参数说明:** | 166 | +- **参数说明** |
| 169 | 167 | ||
| 170 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 168 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 171 | <col style="width: 173px"> | 169 | <col style="width: 173px"> |
| @@ -202,7 +200,7 @@ aclnnStatus aclnnForeachReciprocal( | |||
| 202 | </tbody> | 200 | </tbody> |
| 203 | </table> | 201 | </table> |
| 204 | 202 | ||
| 205 | -- **返回值:** | 203 | +- **返回值** |
| 206 | 204 | ||
| 207 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 205 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 208 | 206 | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对输入张量列表的每个张量执行指定精度的四舍五入运算,可通过roundMode指定舍入方式。本接口相较于[aclnnForeachRoundOffNumber](aclnnForeachRoundOffNumber.md),修改入参roundMode的结构类型aclTensor为aclScalar,请根据实际情况选择合适的接口。 | 18 | - 接口功能:对输入张量列表的每个张量执行指定精度的四舍五入运算,可通过roundMode指定舍入方式。本接口相较于[aclnnForeachRoundOffNumber](aclnnForeachRoundOffNumber.md),修改入参roundMode的结构类型aclTensor为aclScalar,请根据实际情况选择合适的接口。 |
| @@ -51,7 +50,7 @@ aclnnStatus aclnnForeachRoundOffNumberV2( | |||
| 51 | 50 | ||
| 52 | ## aclnnForeachRoundOffNumberV2GetWorkspaceSize | 51 | ## aclnnForeachRoundOffNumberV2GetWorkspaceSize |
| 53 | 52 | ||
| 54 | -- **参数说明:** | 53 | +- **参数说明** |
| 55 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 54 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 56 | <col style="width: 170px"> | 55 | <col style="width: 170px"> |
| 57 | <col style="width: 120px"> | 56 | <col style="width: 120px"> |
| @@ -127,7 +126,7 @@ aclnnStatus aclnnForeachRoundOffNumberV2( | |||
| 127 | </tbody> | 126 | </tbody> |
| 128 | </table> | 127 | </table> |
| 129 | 128 | ||
| 130 | -- **返回值:** | 129 | +- **返回值** |
| 131 | 130 | ||
| 132 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 131 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 133 | 132 | ||
| @@ -172,7 +171,7 @@ aclnnStatus aclnnForeachRoundOffNumberV2( | |||
| 172 | 171 | ||
| 173 | ## aclnnForeachRoundOffNumberV2 | 172 | ## aclnnForeachRoundOffNumberV2 |
| 174 | 173 | ||
| 175 | -- **参数说明:** | 174 | +- **参数说明** |
| 176 | 175 | ||
| 177 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 176 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 178 | <col style="width: 173px"> | 177 | <col style="width: 173px"> |
| @@ -209,7 +208,7 @@ aclnnStatus aclnnForeachRoundOffNumberV2( | |||
| 209 | </tbody> | 208 | </tbody> |
| 210 | </table> | 209 | </table> |
| 211 | 210 | ||
| 212 | -- **返回值:** | 211 | +- **返回值** |
| 213 | 212 | ||
| 214 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 213 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 215 | 214 | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表的每个张量进行Sigmoid函数运算。 | 18 | - 算子功能:对输入张量列表的每个张量进行Sigmoid函数运算。 |
| @@ -64,6 +63,7 @@ | |||
| 64 | </tbody></table> | 63 | </tbody></table> |
| 65 | 64 | ||
| 66 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 66 | + | ||
| 67 | ## 约束说明 | 67 | ## 约束说明 |
| 68 | 68 | ||
| 69 | 无 | 69 | 无 |
| @@ -73,4 +73,4 @@ | |||
| 73 | | 调用方式 | 样例代码 | 说明 | | 73 | | 调用方式 | 样例代码 | 说明 | |
| 74 | | ---------------- | --------------------------- | --------------------------------------------------- | | 74 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 75 | | aclnn接口 | [test_aclnn_foreach_sigmoid](examples/test_aclnn_foreach_sigmoid.cpp) | 通过[aclnnForeachSigmoid](docs/aclnnForeachSigmoid.md)接口方式调用ForeachSigmoid算子。 | | 75 | | aclnn接口 | [test_aclnn_foreach_sigmoid](examples/test_aclnn_foreach_sigmoid.cpp) | 通过[aclnnForeachSigmoid](docs/aclnnForeachSigmoid.md)接口方式调用ForeachSigmoid算子。 | |
| 76 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_sigmoid_proto.h)构图方式调用ForeachSigmoid算子。 | | 76 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_sigmoid_proto.h)构图方式调用ForeachSigmoid算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对输入张量列表的每个张量进行Sigmoid函数运算。 | 18 | - 接口功能:对输入张量列表的每个张量进行Sigmoid函数运算。 |
| @@ -51,7 +50,7 @@ aclnnStatus aclnnForeachSigmoid( | |||
| 51 | 50 | ||
| 52 | ## aclnnForeachSigmoidGetWorkspaceSize | 51 | ## aclnnForeachSigmoidGetWorkspaceSize |
| 53 | 52 | ||
| 54 | -- **参数说明**: | 53 | +- **参数说明** |
| 55 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 54 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 56 | <col style="width: 170px"> | 55 | <col style="width: 170px"> |
| 57 | <col style="width: 120px"> | 56 | <col style="width: 120px"> |
| @@ -88,7 +87,7 @@ aclnnStatus aclnnForeachSigmoid( | |||
| 88 | <td>out(aclTensorList*)</td> | 87 | <td>out(aclTensorList*)</td> |
| 89 | <td>输出</td> | 88 | <td>输出</td> |
| 90 | <td>表示进行Sigmoid函数运算的输出张量列表,对应公式中的`y`。</td> | 89 | <td>表示进行Sigmoid函数运算的输出张量列表,对应公式中的`y`。</td> |
| 91 | - <td><ul><li>支持空tensor。</li><li>该参数中所有Tensor的数据类型保持一致。</li><li>数据类型和数据格式与入参`x`的数据类型和数据格式一致,shape size大于等于入参`x`的shape size。</li><ul></td> | 90 | + <td><ul><li>支持空tensor。</li><li>该参数中所有Tensor的数据类型保持一致。</li><li>数据类型和数据格式与入参`x`的数据类型和数据格式一致,shape size大于等于入参`x`的shape size。</li></ul></td> |
| 92 | <td>FLOAT32、FLOAT16、BFLOAT16</td> | 91 | <td>FLOAT32、FLOAT16、BFLOAT16</td> |
| 93 | <td>ND</td> | 92 | <td>ND</td> |
| 94 | <td>0-8</td> | 93 | <td>0-8</td> |
| @@ -117,7 +116,7 @@ aclnnStatus aclnnForeachSigmoid( | |||
| 117 | </tbody> | 116 | </tbody> |
| 118 | </table> | 117 | </table> |
| 119 | 118 | ||
| 120 | -- **返回值**: | 119 | +- **返回值** |
| 121 | 120 | ||
| 122 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 121 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 123 | 122 | ||
| @@ -156,15 +155,13 @@ aclnnStatus aclnnForeachSigmoid( | |||
| 156 | <tr> | 155 | <tr> |
| 157 | <td>x或out中的Tensor的数据类型不一致。</td></tr> | 156 | <td>x或out中的Tensor的数据类型不一致。</td></tr> |
| 158 | <tr> | 157 | <tr> |
| 159 | - <td>x或out中的Tensor维度超过8维。</td></tr> | 158 | + <td>x或out中的Tensor维度超过8维。</td> |
| 160 | </tr> | 159 | </tr> |
| 161 | - | ||
| 162 | </tbody></table> | 160 | </tbody></table> |
| 163 | 161 | ||
| 164 | - | ||
| 165 | ## aclnnForeachSigmoid | 162 | ## aclnnForeachSigmoid |
| 166 | 163 | ||
| 167 | -- **参数说明**: | 164 | +- **参数说明** |
| 168 | 165 | ||
| 169 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 166 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 170 | <col style="width: 173px"> | 167 | <col style="width: 173px"> |
| @@ -201,7 +198,7 @@ aclnnStatus aclnnForeachSigmoid( | |||
| 201 | </tbody> | 198 | </tbody> |
| 202 | </table> | 199 | </table> |
| 203 | 200 | ||
| 204 | -- **返回值**: | 201 | +- **返回值** |
| 205 | 202 | ||
| 206 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 203 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 207 | 204 | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:计算输入张量列表中每个张量的符号值。 | 18 | - 算子功能:计算输入张量列表中每个张量的符号值。 |
| @@ -35,7 +34,6 @@ | |||
| 35 | \right. \quad {,(i=0,1,...n-1)} | 34 | \right. \quad {,(i=0,1,...n-1)} |
| 36 | $$ | 35 | $$ |
| 37 | 36 | ||
| 38 | - | ||
| 39 | ## 参数说明 | 37 | ## 参数说明 |
| 40 | 38 | ||
| 41 | <table style="undefined;table-layout: fixed; width: 1005px"><colgroup> | 39 | <table style="undefined;table-layout: fixed; width: 1005px"><colgroup> |
| @@ -71,6 +69,7 @@ | |||
| 71 | </tbody></table> | 69 | </tbody></table> |
| 72 | 70 | ||
| 73 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 71 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 72 | + | ||
| 74 | ## 约束说明 | 73 | ## 约束说明 |
| 75 | 74 | ||
| 76 | 无 | 75 | 无 |
| @@ -80,4 +79,4 @@ | |||
| 80 | | 调用方式 | 样例代码 | 说明 | | 79 | | 调用方式 | 样例代码 | 说明 | |
| 81 | | ---------------- | --------------------------- | --------------------------------------------------- | | 80 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 82 | | aclnn接口 | [test_aclnn_foreach_sign](examples/test_aclnn_foreach_sign.cpp) | 通过[aclnnForeachSign](docs/aclnnForeachSign.md)接口方式调用ForeachSign算子。 | | 81 | | aclnn接口 | [test_aclnn_foreach_sign](examples/test_aclnn_foreach_sign.cpp) | 通过[aclnnForeachSign](docs/aclnnForeachSign.md)接口方式调用ForeachSign算子。 | |
| 83 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_sign_proto.h)构图方式调用ForeachSign算子。 | | 82 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_sign_proto.h)构图方式调用ForeachSign算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表的每个张量进行正弦函数运算。 | 18 | - 算子功能:对输入张量列表的每个张量进行正弦函数运算。 |
| @@ -69,6 +68,7 @@ | |||
| 69 | </tbody></table> | 68 | </tbody></table> |
| 70 | 69 | ||
| 71 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 70 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 71 | + | ||
| 72 | ## 约束说明 | 72 | ## 约束说明 |
| 73 | 73 | ||
| 74 | 无 | 74 | 无 |
| @@ -78,4 +78,4 @@ | |||
| 78 | | 调用方式 | 样例代码 | 说明 | | 78 | | 调用方式 | 样例代码 | 说明 | |
| 79 | | ---------------- | --------------------------- | --------------------------------------------------- | | 79 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 80 | | aclnn接口 | [test_aclnn_foreach_sin](examples/test_aclnn_foreach_sin.cpp) | 通过[aclnnForeachSin](docs/aclnnForeachSin.md)接口方式调用ForeachSin算子。 | | 80 | | aclnn接口 | [test_aclnn_foreach_sin](examples/test_aclnn_foreach_sin.cpp) | 通过[aclnnForeachSin](docs/aclnnForeachSin.md)接口方式调用ForeachSin算子。 | |
| 81 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_sin_proto.h)构图方式调用ForeachSin算子。 | | 81 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_sin_proto.h)构图方式调用ForeachSin算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表的每个张量进行双曲正弦函数运算。 | 18 | - 算子功能:对输入张量列表的每个张量进行双曲正弦函数运算。 |
| @@ -63,6 +62,7 @@ | |||
| 63 | </tbody></table> | 62 | </tbody></table> |
| 64 | 63 | ||
| 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 64 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 65 | + | ||
| 66 | ## 约束说明 | 66 | ## 约束说明 |
| 67 | 67 | ||
| 68 | 无 | 68 | 无 |
| @@ -72,4 +72,4 @@ | |||
| 72 | | 调用方式 | 样例代码 | 说明 | | 72 | | 调用方式 | 样例代码 | 说明 | |
| 73 | | ---------------- | --------------------------- | --------------------------------------------------- | | 73 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 74 | | aclnn接口 | [test_aclnn_foreach_sinh](examples/test_aclnn_foreach_sinh.cpp) | 通过[aclnnForeachSinh](docs/aclnnForeachSinh.md)接口方式调用ForeachSinh算子。 | | 74 | | aclnn接口 | [test_aclnn_foreach_sinh](examples/test_aclnn_foreach_sinh.cpp) | 通过[aclnnForeachSinh](docs/aclnnForeachSinh.md)接口方式调用ForeachSinh算子。 | |
| 75 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_sinh_proto.h)构图方式调用ForeachSinh算子。 | | 75 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_sinh_proto.h)构图方式调用ForeachSinh算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表的每个张量进行平方根运算。 | 18 | - 算子功能:对输入张量列表的每个张量进行平方根运算。 |
| @@ -63,6 +62,7 @@ | |||
| 63 | </tbody></table> | 62 | </tbody></table> |
| 64 | 63 | ||
| 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 64 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 65 | + | ||
| 66 | ## 约束说明 | 66 | ## 约束说明 |
| 67 | 67 | ||
| 68 | 无 | 68 | 无 |
| @@ -72,4 +72,4 @@ | |||
| 72 | | 调用方式 | 样例代码 | 说明 | | 72 | | 调用方式 | 样例代码 | 说明 | |
| 73 | | ---------------- | --------------------------- | --------------------------------------------------- | | 73 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 74 | | aclnn接口 | [test_aclnn_foreach_sqrt](examples/test_aclnn_foreach_sqrt.cpp) | 通过[aclnnForeachSqrt](docs/aclnnForeachSqrt.md)接口方式调用ForeachSqrt算子。 | | 74 | | aclnn接口 | [test_aclnn_foreach_sqrt](examples/test_aclnn_foreach_sqrt.cpp) | 通过[aclnnForeachSqrt](docs/aclnnForeachSqrt.md)接口方式调用ForeachSqrt算子。 | |
| 75 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_sqrt_proto.h)构图方式调用ForeachSqrt算子。 | | 75 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_sqrt_proto.h)构图方式调用ForeachSqrt算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入的两个张量列表执行逐元素相减运算,并可以通过alpha参数调整相减系数。 | 18 | - 算子功能:对输入的两个张量列表执行逐元素相减运算,并可以通过alpha参数调整相减系数。 |
| @@ -79,6 +78,7 @@ | |||
| 79 | </tbody></table> | 78 | </tbody></table> |
| 80 | 79 | ||
| 81 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 80 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 81 | + | ||
| 82 | ## 约束说明 | 82 | ## 约束说明 |
| 83 | 83 | ||
| 84 | 无 | 84 | 无 |
| @@ -89,4 +89,4 @@ | |||
| 89 | | ---------------- | --------------------------- | --------------------------------------------------- | | 89 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 90 | | aclnn接口 | [test_aclnn_foreach_sub_list](examples/test_aclnn_foreach_sub_list.cpp) | 通过[aclnnForeachSubList](docs/aclnnForeachSubList.md)接口方式调用ForeachSubList算子。 | | 90 | | aclnn接口 | [test_aclnn_foreach_sub_list](examples/test_aclnn_foreach_sub_list.cpp) | 通过[aclnnForeachSubList](docs/aclnnForeachSubList.md)接口方式调用ForeachSubList算子。 | |
| 91 | | aclnn接口 | [test_aclnn_foreach_sub_list_v2](examples/test_aclnn_foreach_sub_list_v2.cpp) | 通过[aclnnForeachSubListV2](docs/aclnnForeachSubListV2.md)接口方式调用ForeachSubList算子。 | | 91 | | aclnn接口 | [test_aclnn_foreach_sub_list_v2](examples/test_aclnn_foreach_sub_list_v2.cpp) | 通过[aclnnForeachSubListV2](docs/aclnnForeachSubListV2.md)接口方式调用ForeachSubList算子。 | |
| 92 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_sub_list_proto.h)构图方式调用ForeachSubList算子。 | | 92 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_sub_list_proto.h)构图方式调用ForeachSubList算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对输入的两个张量列表执行逐元素相减运算,并可以通过alpha参数调整相减系数。 | 18 | - 接口功能:对输入的两个张量列表执行逐元素相减运算,并可以通过alpha参数调整相减系数。 |
| @@ -54,7 +53,7 @@ aclnnStatus aclnnForeachSubList( | |||
| 54 | 53 | ||
| 55 | ## aclnnForeachSubListGetWorkspaceSize | 54 | ## aclnnForeachSubListGetWorkspaceSize |
| 56 | 55 | ||
| 57 | -- **参数说明**: | 56 | +- **参数说明** |
| 58 | 57 | ||
| 59 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 58 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 60 | <col style="width: 170px"> | 59 | <col style="width: 170px"> |
| @@ -112,7 +111,7 @@ aclnnStatus aclnnForeachSubList( | |||
| 112 | <td>out(aclTensorList*)</td> | 111 | <td>out(aclTensorList*)</td> |
| 113 | <td>输出</td> | 112 | <td>输出</td> |
| 114 | <td>表示减法运算的输出张量列表,对应公式中的`y`。</td> | 113 | <td>表示减法运算的输出张量列表,对应公式中的`y`。</td> |
| 115 | - <td><ul><li>支持空tensor。</li><li>该参数中所有Tensor的数据类型保持一致。</li><li>数据类型和数据格式与入参`x1`的数据类型和数据格式一致,shape size大于等于入参`x1`的shape size。</li><ul></td> | 114 | + <td><ul><li>支持空tensor。</li><li>该参数中所有Tensor的数据类型保持一致。</li><li>数据类型和数据格式与入参`x1`的数据类型和数据格式一致,shape size大于等于入参`x1`的shape size。</li></ul></td> |
| 116 | <td>FLOAT32、FLOAT16、BFLOAT16、INT32</td> | 115 | <td>FLOAT32、FLOAT16、BFLOAT16、INT32</td> |
| 117 | <td>ND</td> | 116 | <td>ND</td> |
| 118 | <td>0-8</td> | 117 | <td>0-8</td> |
| @@ -141,8 +140,7 @@ aclnnStatus aclnnForeachSubList( | |||
| 141 | </tbody> | 140 | </tbody> |
| 142 | </table> | 141 | </table> |
| 143 | 142 | ||
| 144 | - | 143 | +- **返回值** |
| 145 | -- **返回值**: | ||
| 146 | 144 | ||
| 147 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 145 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 148 | 146 | ||
| @@ -183,14 +181,14 @@ aclnnStatus aclnnForeachSubList( | |||
| 183 | <tr> | 181 | <tr> |
| 184 | <td>x1、x2或out中的Tensor维度超过8维。</td></tr> | 182 | <td>x1、x2或out中的Tensor维度超过8维。</td></tr> |
| 185 | <tr> | 183 | <tr> |
| 186 | - <td>alpha元素个数不为1。</td></tr> | 184 | + <td>alpha元素个数不为1。</td> |
| 187 | </tr> | 185 | </tr> |
| 188 | </tbody> | 186 | </tbody> |
| 189 | </table> | 187 | </table> |
| 190 | 188 | ||
| 191 | ## aclnnForeachSubList | 189 | ## aclnnForeachSubList |
| 192 | 190 | ||
| 193 | -- **参数说明**: | 191 | +- **参数说明** |
| 194 | 192 | ||
| 195 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 193 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 196 | <col style="width: 173px"> | 194 | <col style="width: 173px"> |
| @@ -227,7 +225,7 @@ aclnnStatus aclnnForeachSubList( | |||
| 227 | </tbody> | 225 | </tbody> |
| 228 | </table> | 226 | </table> |
| 229 | 227 | ||
| 230 | -- **返回值**: | 228 | +- **返回值** |
| 231 | 229 | ||
| 232 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 230 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 233 | 231 | ||
| @@ -426,4 +424,4 @@ int main() { | |||
| 426 | aclFinalize(); | 424 | aclFinalize(); |
| 427 | return 0; | 425 | return 0; |
| 428 | } | 426 | } |
| 429 | -``` | 427 | +``` |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对两个张量列表中的元素执行逐个相减,并可以通过alpha参数调整相减系数。 | 18 | - 接口功能:对两个张量列表中的元素执行逐个相减,并可以通过alpha参数调整相减系数。 |
| @@ -54,7 +53,7 @@ aclnnStatus aclnnForeachSubListV2( | |||
| 54 | 53 | ||
| 55 | ## aclnnForeachSubListV2GetWorkspaceSize | 54 | ## aclnnForeachSubListV2GetWorkspaceSize |
| 56 | 55 | ||
| 57 | -- **参数说明:** | 56 | +- **参数说明** |
| 58 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 57 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 59 | <col style="width: 170px"> | 58 | <col style="width: 170px"> |
| 60 | <col style="width: 120px"> | 59 | <col style="width: 120px"> |
| @@ -140,7 +139,7 @@ aclnnStatus aclnnForeachSubListV2( | |||
| 140 | </tbody> | 139 | </tbody> |
| 141 | </table> | 140 | </table> |
| 142 | 141 | ||
| 143 | -- **返回值:** | 142 | +- **返回值** |
| 144 | 143 | ||
| 145 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 144 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 146 | 145 | ||
| @@ -185,7 +184,7 @@ aclnnStatus aclnnForeachSubListV2( | |||
| 185 | 184 | ||
| 186 | ## aclnnForeachSubListV2 | 185 | ## aclnnForeachSubListV2 |
| 187 | 186 | ||
| 188 | -- **参数说明:** | 187 | +- **参数说明** |
| 189 | 188 | ||
| 190 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 189 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 191 | <col style="width: 173px"> | 190 | <col style="width: 173px"> |
| @@ -222,7 +221,7 @@ aclnnStatus aclnnForeachSubListV2( | |||
| 222 | </tbody> | 221 | </tbody> |
| 223 | </table> | 222 | </table> |
| 224 | 223 | ||
| 225 | -- **返回值:** | 224 | +- **返回值** |
| 226 | 225 | ||
| 227 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 226 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 228 | 227 | ||
| @@ -418,4 +417,4 @@ int main() { | |||
| 418 | aclFinalize(); | 417 | aclFinalize(); |
| 419 | return 0; | 418 | return 0; |
| 420 | } | 419 | } |
| 421 | -``` | 420 | +``` |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表的每个张量与张量scalar执行相减运算。 | 18 | - 算子功能:对输入张量列表的每个张量与张量scalar执行相减运算。 |
| @@ -71,6 +70,7 @@ | |||
| 71 | </tbody></table> | 70 | </tbody></table> |
| 72 | 71 | ||
| 73 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 | 72 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 |
| 73 | + | ||
| 74 | ## 约束说明 | 74 | ## 约束说明 |
| 75 | 75 | ||
| 76 | 无 | 76 | 无 |
| @@ -81,4 +81,4 @@ | |||
| 81 | | ---------------- | --------------------------- | --------------------------------------------------- | | 81 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 82 | | aclnn接口 | [test_aclnn_foreach_sub_scalar](examples/test_aclnn_foreach_sub_scalar.cpp) | 通过[aclnnForeachSubScalar](docs/aclnnForeachSubScalar.md)接口方式调用ForeachSubScalar算子。 | | 82 | | aclnn接口 | [test_aclnn_foreach_sub_scalar](examples/test_aclnn_foreach_sub_scalar.cpp) | 通过[aclnnForeachSubScalar](docs/aclnnForeachSubScalar.md)接口方式调用ForeachSubScalar算子。 | |
| 83 | | aclnn接口 | [test_aclnn_foreach_sub_scalar_v2](examples/test_aclnn_foreach_sub_scalar_v2.cpp) | 通过[aclnnForeachSubScalarV2](docs/aclnnForeachSubScalarV2.md)接口方式调用ForeachSubScalar算子。 | | 83 | | aclnn接口 | [test_aclnn_foreach_sub_scalar_v2](examples/test_aclnn_foreach_sub_scalar_v2.cpp) | 通过[aclnnForeachSubScalarV2](docs/aclnnForeachSubScalarV2.md)接口方式调用ForeachSubScalar算子。 | |
| 84 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_sub_scalar_proto.h)构图方式调用ForeachSubScalar算子。 | | 84 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_sub_scalar_proto.h)构图方式调用ForeachSubScalar算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对输入张量列表的每个张量与张量scalar执行相减运算。 | 18 | - 接口功能:对输入张量列表的每个张量与张量scalar执行相减运算。 |
| @@ -52,7 +51,7 @@ aclnnStatus aclnnForeachSubScalar( | |||
| 52 | 51 | ||
| 53 | ## aclnnForeachSubScalarGetWorkspaceSize | 52 | ## aclnnForeachSubScalarGetWorkspaceSize |
| 54 | 53 | ||
| 55 | -- **参数说明**: | 54 | +- **参数说明** |
| 56 | 55 | ||
| 57 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 56 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 58 | <col style="width: 170px"> | 57 | <col style="width: 170px"> |
| @@ -90,7 +89,7 @@ aclnnStatus aclnnForeachSubScalar( | |||
| 90 | <td>scalar(aclTensor*)</td> | 89 | <td>scalar(aclTensor*)</td> |
| 91 | <td>输入</td> | 90 | <td>输入</td> |
| 92 | <td>表示减法运算的第二个输入张量,对应公式中的`scalar`。</td> | 91 | <td>表示减法运算的第二个输入张量,对应公式中的`scalar`。</td> |
| 93 | - <td><ul><li>不支持空tensor。</li><li>元素个数为1。</li><li>数据类型与入参`x`的数据类型具有一定对应关系:<ul><li>当`x`的数据类型为FLOAT32、FLOAT16、INT32时,数据类型与`x`的数据类型保持一致。</li><li>当`x`的数据类型为BFLOAT16时,数据类型支持FLOAT32。</li></ul></td> | 92 | + <td><ul><li>不支持空tensor。</li><li>元素个数为1。</li><li>数据类型与入参`x`的数据类型具有一定对应关系:<ul><li>当`x`的数据类型为FLOAT32、FLOAT16、INT32时,数据类型与`x`的数据类型保持一致。</li><li>当`x`的数据类型为BFLOAT16时,数据类型支持FLOAT32。</li></ul></li></ul></td> |
| 94 | <td>FLOAT32、FLOAT16、INT32</td> | 93 | <td>FLOAT32、FLOAT16、INT32</td> |
| 95 | <td>ND</td> | 94 | <td>ND</td> |
| 96 | <td>0-8</td> | 95 | <td>0-8</td> |
| @@ -100,7 +99,7 @@ aclnnStatus aclnnForeachSubScalar( | |||
| 100 | <td>out(aclTensorList*)</td> | 99 | <td>out(aclTensorList*)</td> |
| 101 | <td>输出</td> | 100 | <td>输出</td> |
| 102 | <td>表示减法运算的输出张量列表,对应公式中的`y`。</td> | 101 | <td>表示减法运算的输出张量列表,对应公式中的`y`。</td> |
| 103 | - <td><ul><li>支持空tensor。</li><li>该参数中所有Tensor的数据类型保持一致。</li><li>数据类型和数据格式与入参`x`的数据类型和数据格式一致,shape size大于等于入参`x`的shape size。</li><ul></td> | 102 | + <td><ul><li>支持空tensor。</li><li>该参数中所有Tensor的数据类型保持一致。</li><li>数据类型和数据格式与入参`x`的数据类型和数据格式一致,shape size大于等于入参`x`的shape size。</li></ul></td> |
| 104 | <td>FLOAT32、FLOAT16、BFLOAT16、INT32</td> | 103 | <td>FLOAT32、FLOAT16、BFLOAT16、INT32</td> |
| 105 | <td>ND</td> | 104 | <td>ND</td> |
| 106 | <td>0-8</td> | 105 | <td>0-8</td> |
| @@ -129,7 +128,7 @@ aclnnStatus aclnnForeachSubScalar( | |||
| 129 | </tbody> | 128 | </tbody> |
| 130 | </table> | 129 | </table> |
| 131 | 130 | ||
| 132 | -- **返回值**: | 131 | +- **返回值** |
| 133 | 132 | ||
| 134 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 133 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 135 | 134 | ||
| @@ -170,13 +169,13 @@ aclnnStatus aclnnForeachSubScalar( | |||
| 170 | <tr> | 169 | <tr> |
| 171 | <td>x或out中的Tensor维度超过8维。</td></tr> | 170 | <td>x或out中的Tensor维度超过8维。</td></tr> |
| 172 | <tr> | 171 | <tr> |
| 173 | - <td>scalar元素个数不为1。</td></tr> | 172 | + <td>scalar元素个数不为1。</td> |
| 174 | </tr> | 173 | </tr> |
| 175 | </tbody></table> | 174 | </tbody></table> |
| 176 | 175 | ||
| 177 | ## aclnnForeachSubScalar | 176 | ## aclnnForeachSubScalar |
| 178 | 177 | ||
| 179 | -- **参数说明**: | 178 | +- **参数说明** |
| 180 | 179 | ||
| 181 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 180 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 182 | <col style="width: 173px"> | 181 | <col style="width: 173px"> |
| @@ -213,7 +212,7 @@ aclnnStatus aclnnForeachSubScalar( | |||
| 213 | </tbody> | 212 | </tbody> |
| 214 | </table> | 213 | </table> |
| 215 | 214 | ||
| 216 | -- **返回值**: | 215 | +- **返回值** |
| 217 | 216 | ||
| 218 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 217 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 219 | 218 | ||
| @@ -392,4 +391,4 @@ int main() { | |||
| 392 | aclFinalize(); | 391 | aclFinalize(); |
| 393 | return 0; | 392 | return 0; |
| 394 | } | 393 | } |
| 395 | -``` | 394 | +``` |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表的每个张量与标量列表scalars的每个标量逐元素执行相减运算。 | 18 | - 算子功能:对输入张量列表的每个张量与标量列表scalars的每个标量逐元素执行相减运算。 |
| @@ -72,6 +71,7 @@ | |||
| 72 | </tbody></table> | 71 | </tbody></table> |
| 73 | 72 | ||
| 74 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 | 73 | - Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 |
| 74 | + | ||
| 75 | ## 约束说明 | 75 | ## 约束说明 |
| 76 | 76 | ||
| 77 | 无 | 77 | 无 |
| @@ -81,4 +81,4 @@ | |||
| 81 | | 调用方式 | 样例代码 | 说明 | | 81 | | 调用方式 | 样例代码 | 说明 | |
| 82 | | ---------------- | --------------------------- | --------------------------------------------------- | | 82 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 83 | | aclnn接口 | [test_aclnn_foreach_sub_scalar_list](examples/test_aclnn_foreach_sub_scalar_list.cpp) | 通过[aclnnForeachSubScalarList](docs/aclnnForeachSubScalarList.md)接口方式调用ForeachSubScalarList算子。 | | 83 | | aclnn接口 | [test_aclnn_foreach_sub_scalar_list](examples/test_aclnn_foreach_sub_scalar_list.cpp) | 通过[aclnnForeachSubScalarList](docs/aclnnForeachSubScalarList.md)接口方式调用ForeachSubScalarList算子。 | |
| 84 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_sub_scalar_list_proto.h)构图方式调用ForeachSubScalarList算子。 | | 84 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_sub_scalar_list_proto.h)构图方式调用ForeachSubScalarList算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表的每个张量进行正切函数运算。 | 18 | - 算子功能:对输入张量列表的每个张量进行正切函数运算。 |
| @@ -63,6 +62,7 @@ | |||
| 63 | </tbody></table> | 62 | </tbody></table> |
| 64 | 63 | ||
| 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 64 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 65 | + | ||
| 66 | ## 约束说明 | 66 | ## 约束说明 |
| 67 | 67 | ||
| 68 | 无 | 68 | 无 |
| @@ -72,4 +72,4 @@ | |||
| 72 | | 调用方式 | 样例代码 | 说明 | | 72 | | 调用方式 | 样例代码 | 说明 | |
| 73 | | ---------------- | --------------------------- | --------------------------------------------------- | | 73 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 74 | | aclnn接口 | [test_aclnn_foreach_tan](examples/test_aclnn_foreach_tan.cpp) | 通过[aclnnForeachTan](docs/aclnnForeachTan.md)接口方式调用ForeachTan算子。 | | 74 | | aclnn接口 | [test_aclnn_foreach_tan](examples/test_aclnn_foreach_tan.cpp) | 通过[aclnnForeachTan](docs/aclnnForeachTan.md)接口方式调用ForeachTan算子。 | |
| 75 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_tan_proto.h)构图方式调用ForeachTan算子。 | | 75 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_tan_proto.h)构图方式调用ForeachTan算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对输入张量列表的每个张量进行正切函数运算。 | 18 | - 接口功能:对输入张量列表的每个张量进行正切函数运算。 |
| @@ -50,7 +49,7 @@ aclnnStatus aclnnForeachTan( | |||
| 50 | 49 | ||
| 51 | ## aclnnForeachTanGetWorkspaceSize | 50 | ## aclnnForeachTanGetWorkspaceSize |
| 52 | 51 | ||
| 53 | -- **参数说明**: | 52 | +- **参数说明** |
| 54 | 53 | ||
| 55 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 54 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 56 | <col style="width: 170px"> | 55 | <col style="width: 170px"> |
| @@ -88,7 +87,7 @@ aclnnStatus aclnnForeachTan( | |||
| 88 | <td>out(aclTensorList*)</td> | 87 | <td>out(aclTensorList*)</td> |
| 89 | <td>输出</td> | 88 | <td>输出</td> |
| 90 | <td>表示进行正切函数运算的输出张量列表,对应公式中的`y`。</td> | 89 | <td>表示进行正切函数运算的输出张量列表,对应公式中的`y`。</td> |
| 91 | - <td><ul><li>支持空tensor。</li><li>该参数中所有Tensor的数据类型保持一致。</li><li>数据类型和数据格式与入参`x`的数据类型和数据格式一致,shape size大于等于入参`x`的shape size。</li><ul></td> | 90 | + <td><ul><li>支持空tensor。</li><li>该参数中所有Tensor的数据类型保持一致。</li><li>数据类型和数据格式与入参`x`的数据类型和数据格式一致,shape size大于等于入参`x`的shape size。</li></ul></td> |
| 92 | <td>FLOAT32、FLOAT16、BFLOAT16</td> | 91 | <td>FLOAT32、FLOAT16、BFLOAT16</td> |
| 93 | <td>ND</td> | 92 | <td>ND</td> |
| 94 | <td>0-8</td> | 93 | <td>0-8</td> |
| @@ -117,8 +116,7 @@ aclnnStatus aclnnForeachTan( | |||
| 117 | </tbody> | 116 | </tbody> |
| 118 | </table> | 117 | </table> |
| 119 | 118 | ||
| 120 | - | 119 | +- **返回值** |
| 121 | -- **返回值**: | ||
| 122 | 120 | ||
| 123 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 121 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 124 | 122 | ||
| @@ -163,7 +161,7 @@ aclnnStatus aclnnForeachTan( | |||
| 163 | 161 | ||
| 164 | ## aclnnForeachTan | 162 | ## aclnnForeachTan |
| 165 | 163 | ||
| 166 | -- **参数说明**: | 164 | +- **参数说明** |
| 167 | 165 | ||
| 168 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 166 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 169 | <col style="width: 173px"> | 167 | <col style="width: 173px"> |
| @@ -200,7 +198,7 @@ aclnnStatus aclnnForeachTan( | |||
| 200 | </tbody> | 198 | </tbody> |
| 201 | </table> | 199 | </table> |
| 202 | 200 | ||
| 203 | -- **返回值**: | 201 | +- **返回值** |
| 204 | 202 | ||
| 205 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 203 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 206 | 204 | ||
| @@ -377,4 +375,4 @@ int main() { | |||
| 377 | aclFinalize(); | 375 | aclFinalize(); |
| 378 | return 0; | 376 | return 0; |
| 379 | } | 377 | } |
| 380 | -``` | 378 | +``` |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量列表的每个张量进行双曲正切函数运算。 | 18 | - 算子功能:对输入张量列表的每个张量进行双曲正切函数运算。 |
| @@ -63,6 +62,7 @@ | |||
| 63 | </tbody></table> | 62 | </tbody></table> |
| 64 | 63 | ||
| 65 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 64 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 65 | + | ||
| 66 | ## 约束说明 | 66 | ## 约束说明 |
| 67 | 67 | ||
| 68 | 无 | 68 | 无 |
| @@ -72,4 +72,4 @@ | |||
| 72 | | 调用方式 | 样例代码 | 说明 | | 72 | | 调用方式 | 样例代码 | 说明 | |
| 73 | | ---------------- | --------------------------- | --------------------------------------------------- | | 73 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 74 | | aclnn接口 | [test_aclnn_foreach_tanh](examples/test_aclnn_foreach_tanh.cpp) | 通过[aclnnForeachTanh](docs/aclnnForeachTanh.md)接口方式调用ForeachTanh算子。 | | 74 | | aclnn接口 | [test_aclnn_foreach_tanh](examples/test_aclnn_foreach_tanh.cpp) | 通过[aclnnForeachTanh](docs/aclnnForeachTanh.md)接口方式调用ForeachTanh算子。 | |
| 75 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_tanh_proto.h)构图方式调用ForeachTanh算子。 | | 75 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_tanh_proto.h)构图方式调用ForeachTanh算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:原地更新输入张量列表,输入张量列表的每个张量置为0。 | 18 | - 算子功能:原地更新输入张量列表,输入张量列表的每个张量置为0。 |
| @@ -56,6 +55,7 @@ | |||
| 56 | </tbody></table> | 55 | </tbody></table> |
| 57 | 56 | ||
| 58 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 57 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 58 | + | ||
| 59 | ## 约束说明 | 59 | ## 约束说明 |
| 60 | 60 | ||
| 61 | 无 | 61 | 无 |
| @@ -65,4 +65,4 @@ | |||
| 65 | | 调用方式 | 样例代码 | 说明 | | 65 | | 调用方式 | 样例代码 | 说明 | |
| 66 | | ---------------- | --------------------------- | --------------------------------------------------- | | 66 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 67 | | aclnn接口 | [test_aclnn_foreach_zero_inplace](examples/test_aclnn_foreach_zero_inplace.cpp) | 通过[aclnnForeachZeroInplace](docs/aclnnForeachZeroInplace.md)接口方式调用ForeachZeroInplace算子。 | | 67 | | aclnn接口 | [test_aclnn_foreach_zero_inplace](examples/test_aclnn_foreach_zero_inplace.cpp) | 通过[aclnnForeachZeroInplace](docs/aclnnForeachZeroInplace.md)接口方式调用ForeachZeroInplace算子。 | |
| 68 | -| 图模式 | - | 通过[算子IR](op_graph/foreach_zero_inplace_proto.h)构图方式调用ForeachZeroInplace算子。 | | 68 | +| 图模式 | - | 通过[算子IR](op_graph/foreach_zero_inplace_proto.h)构图方式调用ForeachZeroInplace算子。 | |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | × | | 11 | | <term>Atlas 推理系列产品</term> | × | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 算子功能:AdaLayerNorm算子将LayerNorm和下游的Add、Mul融合起来,通过自适应参数scale和shift来调整归一化过程。 | 16 | - 算子功能:AdaLayerNorm算子将LayerNorm和下游的Add、Mul融合起来,通过自适应参数scale和shift来调整归一化过程。 |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:AdaLayerNorm算子将LayerNorm和下游的Add、Mul融合起来,通过自适应参数scale和shift来调整归一化过程。 | 18 | - 接口功能:AdaLayerNorm算子将LayerNorm和下游的Add、Mul融合起来,通过自适应参数scale和shift来调整归一化过程。 |
| @@ -59,7 +58,7 @@ aclnnStatus aclnnAdaLayerNorm( | |||
| 59 | 58 | ||
| 60 | ## aclnnAdaLayerNormGetWorkspaceSize | 59 | ## aclnnAdaLayerNormGetWorkspaceSize |
| 61 | 60 | ||
| 62 | -- **参数说明**: | 61 | +- **参数说明** |
| 63 | 62 | ||
| 64 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 63 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 65 | <col style="width: 170px"> | 64 | <col style="width: 170px"> |
| @@ -176,7 +175,7 @@ aclnnStatus aclnnAdaLayerNorm( | |||
| 176 | </tbody> | 175 | </tbody> |
| 177 | </table> | 176 | </table> |
| 178 | 177 | ||
| 179 | -- **返回值**: | 178 | +- **返回值** |
| 180 | 179 | ||
| 181 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 180 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 182 | 181 | ||
| @@ -221,7 +220,7 @@ aclnnStatus aclnnAdaLayerNorm( | |||
| 221 | 220 | ||
| 222 | ## aclnnAdaLayerNorm | 221 | ## aclnnAdaLayerNorm |
| 223 | 222 | ||
| 224 | -- **参数说明:** | 223 | +- **参数说明** |
| 225 | 224 | ||
| 226 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 225 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 227 | <col style="width: 173px"> | 226 | <col style="width: 173px"> |
| @@ -258,7 +257,7 @@ aclnnStatus aclnnAdaLayerNorm( | |||
| 258 | </tbody> | 257 | </tbody> |
| 259 | </table> | 258 | </table> |
| 260 | 259 | ||
| 261 | -- **返回值:** | 260 | +- **返回值** |
| 262 | 261 | ||
| 263 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 262 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 264 | 263 | ||
| @@ -436,4 +435,4 @@ int main() { | |||
| 436 | aclFinalize(); | 435 | aclFinalize(); |
| 437 | return 0; | 436 | return 0; |
| 438 | } | 437 | } |
| 439 | -``` | 438 | +``` |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | × | | 11 | | <term>Atlas 推理系列产品</term> | × | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 算子功能:AdaLayerNormQuant算子将AdaLayerNorm和下游的量化(目前仅支持DynamicQuant)融合起来。该算子主要是用于执行自适应层归一化的量化操作,即将输入数据进行归一化处理,并将其量化为低精度整数,以提高计算效率和减少内存占用。 | 16 | - 算子功能:AdaLayerNormQuant算子将AdaLayerNorm和下游的量化(目前仅支持DynamicQuant)融合起来。该算子主要是用于执行自适应层归一化的量化操作,即将输入数据进行归一化处理,并将其量化为低精度整数,以提高计算效率和减少内存占用。 |
| @@ -143,4 +142,4 @@ | |||
| 143 | 142 | ||
| 144 | | 调用方式 | 样例代码 | 说明 | | 143 | | 调用方式 | 样例代码 | 说明 | |
| 145 | | ---------------- | --------------------------- | --------------------------------------------------- | | 144 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 146 | -| aclnn接口 | [test_aclnn_ada_layer_norm_quant](examples/test_aclnn_ada_layer_norm_quant.cpp) | 通过[aclnnAdaLayerNormQuant](docs/aclnnAdaLayerNormQuant.md)接口方式调用AdaLayerNormQuant算子。 | | 145 | +| aclnn接口 | [test_aclnn_ada_layer_norm_quant](examples/test_aclnn_ada_layer_norm_quant.cpp) | 通过[aclnnAdaLayerNormQuant](docs/aclnnAdaLayerNormQuant.md)接口方式调用AdaLayerNormQuant算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:AdaLayerNormQuant算子将AdaLayerNorm和下游的量化(目前仅支持DynamicQuant)融合起来。该算子主要是用于执行自适应层归一化的量化操作,即将输入数据进行归一化处理,并将其量化为低精度整数,以提高计算效率和减少内存占用。 | 18 | - 接口功能:AdaLayerNormQuant算子将AdaLayerNorm和下游的量化(目前仅支持DynamicQuant)融合起来。该算子主要是用于执行自适应层归一化的量化操作,即将输入数据进行归一化处理,并将其量化为低精度整数,以提高计算效率和减少内存占用。 |
| @@ -83,7 +82,7 @@ aclnnStatus aclnnAdaLayerNormQuant( | |||
| 83 | 82 | ||
| 84 | ## aclnnAdaLayerNormQuantGetWorkspaceSize | 83 | ## aclnnAdaLayerNormQuantGetWorkspaceSize |
| 85 | 84 | ||
| 86 | -- **参数说明**: | 85 | +- **参数说明** |
| 87 | 86 | ||
| 88 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 87 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 89 | <col style="width: 170px"> | 88 | <col style="width: 170px"> |
| @@ -242,7 +241,7 @@ aclnnStatus aclnnAdaLayerNormQuant( | |||
| 242 | 241 | ||
| 243 | - <term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>:输出`out`的数据类型仅支持INT8。 | 242 | - <term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>:输出`out`的数据类型仅支持INT8。 |
| 244 | 243 | ||
| 245 | - **返回值**: | 244 | + **返回值** |
| 246 | 245 | ||
| 247 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 246 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 248 | 247 | ||
| @@ -296,7 +295,7 @@ aclnnStatus aclnnAdaLayerNormQuant( | |||
| 296 | 295 | ||
| 297 | ## aclnnAdaLayerNormQuant | 296 | ## aclnnAdaLayerNormQuant |
| 298 | 297 | ||
| 299 | -- **参数说明:** | 298 | +- **参数说明** |
| 300 | 299 | ||
| 301 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 300 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 302 | <col style="width: 173px"> | 301 | <col style="width: 173px"> |
| @@ -333,7 +332,7 @@ aclnnStatus aclnnAdaLayerNormQuant( | |||
| 333 | </tbody> | 332 | </tbody> |
| 334 | </table> | 333 | </table> |
| 335 | 334 | ||
| 336 | -- **返回值:** | 335 | +- **返回值** |
| 337 | 336 | ||
| 338 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 337 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 339 | 338 | ||
| @@ -530,4 +529,4 @@ int main() { | |||
| 530 | aclFinalize(); | 529 | aclFinalize(); |
| 531 | return 0; | 530 | return 0; |
| 532 | } | 531 | } |
| 533 | -``` | 532 | +``` |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | × | | 11 | | <term>Atlas 推理系列产品</term> | × | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 算子功能:AdaLayerNormV2算子将LayerNorm和下游的Add、Mul融合起来,通过自适应参数scale和shift来调整归一化过程。相比AdaLayerNorm算子,输出新增2个参数(输入的均值和输入的标准差的倒数);weight和bias支持的数据类型增加对应约束。 | 16 | - 算子功能:AdaLayerNormV2算子将LayerNorm和下游的Add、Mul融合起来,通过自适应参数scale和shift来调整归一化过程。相比AdaLayerNorm算子,输出新增2个参数(输入的均值和输入的标准差的倒数);weight和bias支持的数据类型增加对应约束。 |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:AdaLayerNormV2算子将LayerNorm和下游的Add、Mul融合起来,通过自适应参数scale和shift来调整归一化过程。相比AdaLayerNorm算子,输出新增2个参数(输入的均值和输入的标准差的倒数);weight和bias支持的数据类型增加对应约束。 | 18 | - 接口功能:AdaLayerNormV2算子将LayerNorm和下游的Add、Mul融合起来,通过自适应参数scale和shift来调整归一化过程。相比AdaLayerNorm算子,输出新增2个参数(输入的均值和输入的标准差的倒数);weight和bias支持的数据类型增加对应约束。 |
| @@ -69,8 +68,7 @@ aclnnStatus aclnnAdaLayerNormV2( | |||
| 69 | 68 | ||
| 70 | ## aclnnAdaLayerNormV2GetWorkspaceSize | 69 | ## aclnnAdaLayerNormV2GetWorkspaceSize |
| 71 | 70 | ||
| 72 | -- **参数说明**: | 71 | +- **参数说明** |
| 73 | - | ||
| 74 | 72 | ||
| 75 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 73 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 76 | <col style="width: 170px"> | 74 | <col style="width: 170px"> |
| @@ -207,7 +205,7 @@ aclnnStatus aclnnAdaLayerNormV2( | |||
| 207 | </tbody> | 205 | </tbody> |
| 208 | </table> | 206 | </table> |
| 209 | 207 | ||
| 210 | -- **返回值**: | 208 | +- **返回值** |
| 211 | 209 | ||
| 212 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 210 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 213 | 211 | ||
| @@ -255,7 +253,7 @@ aclnnStatus aclnnAdaLayerNormV2( | |||
| 255 | 253 | ||
| 256 | ## aclnnAdaLayerNormV2 | 254 | ## aclnnAdaLayerNormV2 |
| 257 | 255 | ||
| 258 | -- **参数说明**: | 256 | +- **参数说明** |
| 259 | 257 | ||
| 260 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 258 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 261 | <col style="width: 173px"> | 259 | <col style="width: 173px"> |
| @@ -292,8 +290,7 @@ aclnnStatus aclnnAdaLayerNormV2( | |||
| 292 | </tbody> | 290 | </tbody> |
| 293 | </table> | 291 | </table> |
| 294 | 292 | ||
| 295 | - | 293 | +- **返回值** |
| 296 | -- **返回值**: | ||
| 297 | 294 | ||
| 298 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 295 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 299 | 296 | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:实现AddLayerNorm功能。 | 18 | - 算子功能:实现AddLayerNorm功能。 |
| @@ -146,8 +145,8 @@ | |||
| 146 | - 所有的输入参数和输出参数`y`、`x`的数据类型不支持BFLOAT16。 | 145 | - 所有的输入参数和输出参数`y`、`x`的数据类型不支持BFLOAT16。 |
| 147 | - 在当前产品下的使用场景下,输出参数`mean`、`rstd`为无效参数,输出的值不生效。 | 146 | - 在当前产品下的使用场景下,输出参数`mean`、`rstd`为无效参数,输出的值不生效。 |
| 148 | - x1、x2、beta、gamma、bias五个输入的尾轴长度必须大于等于32Bytes。 | 147 | - x1、x2、beta、gamma、bias五个输入的尾轴长度必须大于等于32Bytes。 |
| 149 | - | ||
| 150 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 148 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 149 | + | ||
| 151 | ## 约束说明 | 150 | ## 约束说明 |
| 152 | 151 | ||
| 153 | - 是否支持空tensor:不支持空进空出。 | 152 | - 是否支持空tensor:不支持空进空出。 |
| @@ -158,4 +157,4 @@ | |||
| 158 | | 调用方式 | 样例代码 | 说明 | | 157 | | 调用方式 | 样例代码 | 说明 | |
| 159 | | ---------------- | --------------------------- | --------------------------------------------------- | | 158 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 160 | | aclnn接口 | [test_aclnn_add_layer_norm](examples/test_aclnn_add_layer_norm.cpp) | 通过[aclnnAddLayerNorm](docs/aclnnAddLayerNorm.md)接口方式调用AddLayerNorm算子。 | | 159 | | aclnn接口 | [test_aclnn_add_layer_norm](examples/test_aclnn_add_layer_norm.cpp) | 通过[aclnnAddLayerNorm](docs/aclnnAddLayerNorm.md)接口方式调用AddLayerNorm算子。 | |
| 161 | -| 图模式 | - | 通过[算子IR](op_graph/add_layer_norm_proto.h)构图方式调用AddLayerNorm算子。 | | 160 | +| 图模式 | - | 通过[算子IR](op_graph/add_layer_norm_proto.h)构图方式调用AddLayerNorm算子。 | |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | √ | | 11 | | <term>Atlas 推理系列产品</term> | √ | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 算子功能:LayerNorm是一种归一化方法,可以将网络层输入数据归一化到[0, 1]之间。LayerNormGrad算子是深度学习中用于反向传播阶段的一个关键算子,主要用于计算LayerNorm操作的梯度。AddLayerNormGrad算子是将Add和LayerNormGrad融合起来,减少搬入搬出操作。 | 16 | - 算子功能:LayerNorm是一种归一化方法,可以将网络层输入数据归一化到[0, 1]之间。LayerNormGrad算子是深度学习中用于反向传播阶段的一个关键算子,主要用于计算LayerNorm操作的梯度。AddLayerNormGrad算子是将Add和LayerNormGrad融合起来,减少搬入搬出操作。 |
| @@ -211,4 +210,4 @@ | |||
| 211 | | 调用方式 | 样例代码 | 说明 | | 210 | | 调用方式 | 样例代码 | 说明 | |
| 212 | | ---------------- | --------------------------- | --------------------------------------------------- | | 211 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 213 | | aclnn接口 | [test_aclnn_add_layer_norm_grad](examples/test_aclnn_add_layer_norm_grad.cpp) | 通过[aclnnAddLayerNormGrad](docs/aclnnAddLayerNormGrad.md)接口方式调用AddLayerNormGrad算子。 | | 212 | | aclnn接口 | [test_aclnn_add_layer_norm_grad](examples/test_aclnn_add_layer_norm_grad.cpp) | 通过[aclnnAddLayerNormGrad](docs/aclnnAddLayerNormGrad.md)接口方式调用AddLayerNormGrad算子。 | |
| 214 | -| 图模式 | - | 通过[算子IR](op_graph/add_layer_norm_grad_proto.h)构图方式调用AddLayerNormGrad算子。 | | 213 | +| 图模式 | - | 通过[算子IR](op_graph/add_layer_norm_grad_proto.h)构图方式调用AddLayerNormGrad算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | √ | | 13 | | <term>Atlas 推理系列产品</term> | √ | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:LayerNorm是一种归一化方法,可以将网络层输入数据归一化到[0, 1]之间。LayerNormGrad算子是深度学习中用于反向传播阶段的一个关键算子,主要用于计算LayerNorm操作的梯度。AddLayerNormGrad算子是将Add和LayerNormGrad融合起来,减少搬入搬出操作。 | 18 | - 接口功能:LayerNorm是一种归一化方法,可以将网络层输入数据归一化到[0, 1]之间。LayerNormGrad算子是深度学习中用于反向传播阶段的一个关键算子,主要用于计算LayerNorm操作的梯度。AddLayerNormGrad算子是将Add和LayerNormGrad融合起来,减少搬入搬出操作。 |
| @@ -128,8 +127,7 @@ aclnnStatus aclnnAddLayerNormGrad( | |||
| 128 | 127 | ||
| 129 | ## aclnnAddLayerNormGradGetWorkspaceSize | 128 | ## aclnnAddLayerNormGradGetWorkspaceSize |
| 130 | 129 | ||
| 131 | -- **参数说明:** | 130 | +- **参数说明** |
| 132 | - | ||
| 133 | 131 | ||
| 134 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 132 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 135 | <col style="width: 170px"> | 133 | <col style="width: 170px"> |
| @@ -278,8 +276,7 @@ aclnnStatus aclnnAddLayerNormGrad( | |||
| 278 | 276 | ||
| 279 | - <term>Atlas 推理系列产品</term>:参数`dy`、`x1`、`x2`、`gamma`、`dsumOptional`、`dxOut`的数据类型不支持BFLOAT16。 | 277 | - <term>Atlas 推理系列产品</term>:参数`dy`、`x1`、`x2`、`gamma`、`dsumOptional`、`dxOut`的数据类型不支持BFLOAT16。 |
| 280 | 278 | ||
| 281 | - | 279 | +- **返回值** |
| 282 | -- **返回值:** | ||
| 283 | 280 | ||
| 284 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 281 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 285 | 282 | ||
| @@ -312,7 +309,7 @@ aclnnStatus aclnnAddLayerNormGrad( | |||
| 312 | 309 | ||
| 313 | ## aclnnAddLayerNormGrad | 310 | ## aclnnAddLayerNormGrad |
| 314 | 311 | ||
| 315 | -- **参数说明:** | 312 | +- **参数说明** |
| 316 | 313 | ||
| 317 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 314 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 318 | <col style="width: 173px"> | 315 | <col style="width: 173px"> |
| @@ -349,7 +346,7 @@ aclnnStatus aclnnAddLayerNormGrad( | |||
| 349 | </tbody> | 346 | </tbody> |
| 350 | </table> | 347 | </table> |
| 351 | 348 | ||
| 352 | -- **返回值:** | 349 | +- **返回值** |
| 353 | 350 | ||
| 354 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 351 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 355 | 352 | ||
| @@ -605,4 +602,4 @@ int main() | |||
| 605 | aclFinalize(); | 602 | aclFinalize(); |
| 606 | return 0; | 603 | return 0; |
| 607 | } | 604 | } |
| 608 | -``` | 605 | +``` |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:LayerNorm算子是大模型常用的归一化操作。AddLayerNormQuant算子将LayerNorm前的Add算子和LayerNorm归一化输出给1个或2个下游的量化算子融合起来,减少搬入搬出操作。LayerNorm下游的量化算子可以是Quantize、AscendQuantV2或DynamicQuant算子,具体的量化算子类型由attr入参divMode和quantMode决定。当下游有2个量化算子时,2个量化算子的算子类型、输入输出dtype组合和可选输入的组合需要完全一致。 | 18 | - 算子功能:LayerNorm算子是大模型常用的归一化操作。AddLayerNormQuant算子将LayerNorm前的Add算子和LayerNorm归一化输出给1个或2个下游的量化算子融合起来,减少搬入搬出操作。LayerNorm下游的量化算子可以是Quantize、AscendQuantV2或DynamicQuant算子,具体的量化算子类型由attr入参divMode和quantMode决定。当下游有2个量化算子时,2个量化算子的算子类型、输入输出dtype组合和可选输入的组合需要完全一致。 |
| @@ -236,6 +235,7 @@ | |||
| 236 | </tbody></table> | 235 | </tbody></table> |
| 237 | 236 | ||
| 238 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | 237 | - Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 238 | + | ||
| 239 | ## 约束说明 | 239 | ## 约束说明 |
| 240 | 240 | ||
| 241 | 无 | 241 | 无 |
| @@ -245,4 +245,4 @@ | |||
| 245 | | 调用方式 | 样例代码 | 说明 | | 245 | | 调用方式 | 样例代码 | 说明 | |
| 246 | | ---------------- | --------------------------- | --------------------------------------------------- | | 246 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 247 | | aclnn接口 | - | 通过[aclnnAddLayerNormQuant](docs/aclnnAddLayerNormQuant.md)接口方式调用AddLayerNormQuant算子。 | | 247 | | aclnn接口 | - | 通过[aclnnAddLayerNormQuant](docs/aclnnAddLayerNormQuant.md)接口方式调用AddLayerNormQuant算子。 | |
| 248 | -| 图模式 | [test_geir_add_layer_norm_quant](examples/test_geir_add_layer_norm_quant.cpp) | 通过[算子IR](op_graph/add_layer_norm_quant_proto.h)构图方式调用AddLayerNormQuant算子。 | | 248 | +| 图模式 | [test_geir_add_layer_norm_quant](examples/test_geir_add_layer_norm_quant.cpp) | 通过[算子IR](op_graph/add_layer_norm_quant_proto.h)构图方式调用AddLayerNormQuant算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能 :LayerNorm算子是大模型常用的归一化操作。AddLayerNormQuant算子将LayerNorm前的Add算子和LayerNorm归一化输出给1个或2个下游的量化算子融合起来,减少搬入搬出操作。LayerNorm下游的量化算子可以是Quantize、AscendQuantV2或DynamicQuant算子,具体的量化算子类型由attr入参divMode和quantMode决定。当下游有2个量化算子时,2个量化算子的算子类型、输入输出dtype组合和可选输入的组合需要完全一致。 | 18 | - 接口功能 :LayerNorm算子是大模型常用的归一化操作。AddLayerNormQuant算子将LayerNorm前的Add算子和LayerNorm归一化输出给1个或2个下游的量化算子融合起来,减少搬入搬出操作。LayerNorm下游的量化算子可以是Quantize、AscendQuantV2或DynamicQuant算子,具体的量化算子类型由attr入参divMode和quantMode决定。当下游有2个量化算子时,2个量化算子的算子类型、输入输出dtype组合和可选输入的组合需要完全一致。 |
| @@ -127,7 +126,7 @@ aclnnStatus aclnnAddLayerNormQuant( | |||
| 127 | 126 | ||
| 128 | ## aclnnAddLayerNormQuantGetWorkspaceSize | 127 | ## aclnnAddLayerNormQuantGetWorkspaceSize |
| 129 | 128 | ||
| 130 | -- **参数说明:** | 129 | +- **参数说明** |
| 131 | 130 | ||
| 132 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 131 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 133 | <col style="width: 170px"> | 132 | <col style="width: 170px"> |
| @@ -354,7 +353,7 @@ aclnnStatus aclnnAddLayerNormQuant( | |||
| 354 | </tbody> | 353 | </tbody> |
| 355 | </table> | 354 | </table> |
| 356 | 355 | ||
| 357 | -- **返回值:** | 356 | +- **返回值** |
| 358 | 357 | ||
| 359 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 358 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 360 | 359 | ||
| @@ -394,7 +393,7 @@ aclnnStatus aclnnAddLayerNormQuant( | |||
| 394 | <ol> | 393 | <ol> |
| 395 | <li>gamma的维度和x1的维度的后几维不一致。</li> | 394 | <li>gamma的维度和x1的维度的后几维不一致。</li> |
| 396 | <li>当量化模式为动态,即输入quantMode的值为"dynamic"时,x1的维度小于2,或gamma的维度不为1。</li> | 395 | <li>当量化模式为动态,即输入quantMode的值为"dynamic"时,x1的维度小于2,或gamma的维度不为1。</li> |
| 397 | - <li>当量化模式为动态,即输入quantMode的值为"dynamic"时,outScales1Out的shape不为输入x1的shape剔除掉最后一维。</td> | 396 | + <li>当量化模式为动态,即输入quantMode的值为"dynamic"时,outScales1Out的shape不为输入x1的shape剔除掉最后一维。</li></ol></td> |
| 398 | </tr> | 397 | </tr> |
| 399 | <tr> | 398 | <tr> |
| 400 | <td>全部输入tensor的shape满足以下等量关系: | 399 | <td>全部输入tensor的shape满足以下等量关系: |
| @@ -413,7 +412,7 @@ aclnnStatus aclnnAddLayerNormQuant( | |||
| 413 | 412 | ||
| 414 | ## aclnnAddLayerNormQuant | 413 | ## aclnnAddLayerNormQuant |
| 415 | 414 | ||
| 416 | -- **参数说明:** | 415 | +- **参数说明** |
| 417 | 416 | ||
| 418 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 417 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 419 | <col style="width: 173px"> | 418 | <col style="width: 173px"> |
| @@ -450,7 +449,7 @@ aclnnStatus aclnnAddLayerNormQuant( | |||
| 450 | </tbody> | 449 | </tbody> |
| 451 | </table> | 450 | </table> |
| 452 | 451 | ||
| 453 | -- **返回值:** | 452 | +- **返回值** |
| 454 | 453 | ||
| 455 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 454 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 456 | 455 | ||
| @@ -459,6 +458,7 @@ aclnnStatus aclnnAddLayerNormQuant( | |||
| 459 | - 功能维度: | 458 | - 功能维度: |
| 460 | 459 | ||
| 461 | * 可选输入(scales1Optional、scales2Optional、zeroPoints1Optional、zeroPoints2Optional)支持的可选输入组合如下所示: | 460 | * 可选输入(scales1Optional、scales2Optional、zeroPoints1Optional、zeroPoints2Optional)支持的可选输入组合如下所示: |
| 461 | + | ||
| 462 | | scales1Optional | scales2Optional | zeroPoints1Optional | zeroPoints2Optional | quantMode | 是否合法 | | 462 | | scales1Optional | scales2Optional | zeroPoints1Optional | zeroPoints2Optional | quantMode | 是否合法 | |
| 463 | | --------------- | --------------- | ------------------- | ------------------- | ----------------- | :------ | | 463 | | --------------- | --------------- | ------------------- | ------------------- | ----------------- | :------ | |
| 464 | | T | T | T | T | "static" | T | | 464 | | T | T | T | T | "static" | T | |
| @@ -483,6 +483,7 @@ aclnnStatus aclnnAddLayerNormQuant( | |||
| 483 | - `X`代表任意情况均可。 | 483 | - `X`代表任意情况均可。 |
| 484 | - 数据类型支持说明: | 484 | - 数据类型支持说明: |
| 485 | - 当`quantMode`为"static"时: | 485 | - 当`quantMode`为"static"时: |
| 486 | + | ||
| 486 | | x1 数据类型 | x2 数据类型 | gamma 数据类型 | beta 数据类型 | bias 数据类型 | scale1 数据类型 | scale2 数据类型 | zeroPoints1 数据类型 | zeroPoints2 数据类型 | y1 数据类型 | y2 数据类型 | x 数据类型 | outScale1 数据类型 | outScale2 数据类型 | | 487 | | x1 数据类型 | x2 数据类型 | gamma 数据类型 | beta 数据类型 | bias 数据类型 | scale1 数据类型 | scale2 数据类型 | zeroPoints1 数据类型 | zeroPoints2 数据类型 | y1 数据类型 | y2 数据类型 | x 数据类型 | outScale1 数据类型 | outScale2 数据类型 | |
| 487 | | ---------- | --------- | ------------- | ----------- | ------------ | -------------- | -------------- | ------------------ | ------------------- | --------- | ---------- | --------- | ----------------- | :--------------- | | 488 | | ---------- | --------- | ------------- | ----------- | ------------ | -------------- | -------------- | ------------------ | ------------------- | --------- | ---------- | --------- | ----------------- | :--------------- | |
| 488 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | INT8 | INT8 | FLOAT16 | FLOAT32 | FLOAT32 | | 489 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | INT8 | INT8 | FLOAT16 | FLOAT32 | FLOAT32 | |
| @@ -492,6 +493,7 @@ aclnnStatus aclnnAddLayerNormQuant( | |||
| 492 | | BFLOAT16 | BFLOAT16 | BFLOAT16 | BFLOAT16 | BFLOAT16 | FLOAT32 | FLOAT32 | FLOAT32 | FLOAT32 | INT8 | INT8 | BFLOAT16 | FLOAT32 | FLOAT32 | | 493 | | BFLOAT16 | BFLOAT16 | BFLOAT16 | BFLOAT16 | BFLOAT16 | FLOAT32 | FLOAT32 | FLOAT32 | FLOAT32 | INT8 | INT8 | BFLOAT16 | FLOAT32 | FLOAT32 | |
| 493 | 494 | ||
| 494 | - 当`quantMode`为"dynamic"时: | 495 | - 当`quantMode`为"dynamic"时: |
| 496 | + | ||
| 495 | | x1 数据类型 | x2 数据类型 | gamma 数据类型 | beta 数据类型 | bias 数据类型 | scale1 数据类型 | scale2 数据类型 | zeroPoints1 数据类型 | zeroPoints2 数据类型 | y1 数据类型 | y2 数据类型 | x 数据类型 | outScale1 数据类型 | outScale2 数据类型 | | 497 | | x1 数据类型 | x2 数据类型 | gamma 数据类型 | beta 数据类型 | bias 数据类型 | scale1 数据类型 | scale2 数据类型 | zeroPoints1 数据类型 | zeroPoints2 数据类型 | y1 数据类型 | y2 数据类型 | x 数据类型 | outScale1 数据类型 | outScale2 数据类型 | |
| 496 | | ---------- | --------- | ------------- | ----------- | ------------ | -------------- | -------------- | ------------------ | ------------------- | --------- | ---------- | --------- | ----------------- | :--------------- | | 498 | | ---------- | --------- | ------------- | ----------- | ------------ | -------------- | -------------- | ------------------ | ------------------- | --------- | ---------- | --------- | ----------------- | :--------------- | |
| 497 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | INT8 | INT8 | FLOAT16 | FLOAT32 | FLOAT32 | | 499 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | INT8 | INT8 | FLOAT16 | FLOAT32 | FLOAT32 | |
| @@ -500,7 +502,6 @@ aclnnStatus aclnnAddLayerNormQuant( | |||
| 500 | - 确定性计算: | 502 | - 确定性计算: |
| 501 | - aclnnAddLayerNormQuant默认确定性实现。 | 503 | - aclnnAddLayerNormQuant默认确定性实现。 |
| 502 | 504 | ||
| 503 | - | ||
| 504 | ## 调用示例 | 505 | ## 调用示例 |
| 505 | 506 | ||
| 506 | 示例代码如下,仅供参考,具体编译和执行过程请参考[编译与运行样例](../../../docs/zh/context/编译与运行样例.md)。 | 507 | 示例代码如下,仅供参考,具体编译和执行过程请参考[编译与运行样例](../../../docs/zh/context/编译与运行样例.md)。 |
| @@ -788,5 +789,4 @@ int main() { | |||
| 788 | aclFinalize(); | 789 | aclFinalize(); |
| 789 | return 0; | 790 | return 0; |
| 790 | } | 791 | } |
| 791 | - | 792 | +``` |
| 792 | -``` | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:RmsNorm算子是大模型常用的归一化操作,AddRmsNormCast算子将AddRmsNorm后的Cast算子融合起来,减少搬入搬出操作。 | 18 | - 算子功能:RmsNorm算子是大模型常用的归一化操作,AddRmsNormCast算子将AddRmsNorm后的Cast算子融合起来,减少搬入搬出操作。 |
| @@ -77,13 +76,14 @@ | |||
| 77 | <td>FLOAT32</td> | 76 | <td>FLOAT32</td> |
| 78 | <td>-</td> | 77 | <td>-</td> |
| 79 | </tr> | 78 | </tr> |
| 79 | + <tr> | ||
| 80 | <td>y1</td> | 80 | <td>y1</td> |
| 81 | <td>输出</td> | 81 | <td>输出</td> |
| 82 | <td>归一化后经过类型转换的输出数据,公式中的输出`y1`。</td> | 82 | <td>归一化后经过类型转换的输出数据,公式中的输出`y1`。</td> |
| 83 | <td>FLOAT32</td> | 83 | <td>FLOAT32</td> |
| 84 | <td>ND</td> | 84 | <td>ND</td> |
| 85 | </tr> | 85 | </tr> |
| 86 | - </tr> | 86 | + <tr> |
| 87 | <td>y2</td> | 87 | <td>y2</td> |
| 88 | <td>输出</td> | 88 | <td>输出</td> |
| 89 | <td>归一化后的输出数据,公式中的输出`y2`。</td> | 89 | <td>归一化后的输出数据,公式中的输出`y2`。</td> |
| @@ -107,6 +107,7 @@ | |||
| 107 | </tbody></table> | 107 | </tbody></table> |
| 108 | 108 | ||
| 109 | - Kirin X90/Kirin 9030处理器系列产品:x1、x2、gamma、y2和x的数据类型不支持BFLOAT16。 | 109 | - Kirin X90/Kirin 9030处理器系列产品:x1、x2、gamma、y2和x的数据类型不支持BFLOAT16。 |
| 110 | + | ||
| 110 | ## 约束说明 | 111 | ## 约束说明 |
| 111 | 112 | ||
| 112 | 无 | 113 | 无 |
| @@ -116,4 +117,4 @@ | |||
| 116 | | 调用方式 | 样例代码 | 说明 | | 117 | | 调用方式 | 样例代码 | 说明 | |
| 117 | | ---------------- | --------------------------- | --------------------------------------------------- | | 118 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 118 | | aclnn接口 | [test_aclnn_add_rms_norm_cast](examples/test_aclnn_add_rms_norm_cast.cpp) | 通过[aclnnAddRmsNormCast](docs/aclnnAddRmsNormCast.md)接口方式调用AddRmsNormCast算子。 | | 119 | | aclnn接口 | [test_aclnn_add_rms_norm_cast](examples/test_aclnn_add_rms_norm_cast.cpp) | 通过[aclnnAddRmsNormCast](docs/aclnnAddRmsNormCast.md)接口方式调用AddRmsNormCast算子。 | |
| 119 | -| 图模式 | - | 通过[算子IR](op_graph/add_rms_norm_cast_proto.h)构图方式调用AddRmsNormCast算子。 | | 120 | +| 图模式 | - | 通过[算子IR](op_graph/add_rms_norm_cast_proto.h)构图方式调用AddRmsNormCast算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:RmsNorm算子是大模型常用的归一化操作,AddRmsNormCast算子将AddRmsNorm后的Cast算子融合起来,减少搬入搬出操作。 | 18 | - 接口功能:RmsNorm算子是大模型常用的归一化操作,AddRmsNormCast算子将AddRmsNorm后的Cast算子融合起来,减少搬入搬出操作。 |
| @@ -59,7 +58,7 @@ aclnnStatus aclnnAddRmsNormCast( | |||
| 59 | 58 | ||
| 60 | ## aclnnAddRmsNormCastGetWorkspaceSize | 59 | ## aclnnAddRmsNormCastGetWorkspaceSize |
| 61 | 60 | ||
| 62 | -- **参数说明:** | 61 | +- **参数说明** |
| 63 | 62 | ||
| 64 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 63 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 65 | <col style="width: 170px"> | 64 | <col style="width: 170px"> |
| @@ -186,7 +185,7 @@ aclnnStatus aclnnAddRmsNormCast( | |||
| 186 | </tbody> | 185 | </tbody> |
| 187 | </table> | 186 | </table> |
| 188 | 187 | ||
| 189 | -- **返回值:** | 188 | +- **返回值** |
| 190 | 189 | ||
| 191 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 190 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 192 | 191 | ||
| @@ -224,7 +223,7 @@ aclnnStatus aclnnAddRmsNormCast( | |||
| 224 | 223 | ||
| 225 | ## aclnnAddRmsNormCast | 224 | ## aclnnAddRmsNormCast |
| 226 | 225 | ||
| 227 | -- **参数说明:** | 226 | +- **参数说明** |
| 228 | 227 | ||
| 229 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 228 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 230 | <col style="width: 173px"> | 229 | <col style="width: 173px"> |
| @@ -261,7 +260,7 @@ aclnnStatus aclnnAddRmsNormCast( | |||
| 261 | </tbody> | 260 | </tbody> |
| 262 | </table> | 261 | </table> |
| 263 | 262 | ||
| 264 | -- **返回值:** | 263 | +- **返回值** |
| 265 | 264 | ||
| 266 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 265 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 267 | 266 | ||
| @@ -485,4 +484,4 @@ int main() | |||
| 485 | aclFinalize(); | 484 | aclFinalize(); |
| 486 | return 0; | 485 | return 0; |
| 487 | } | 486 | } |
| 488 | -``` | 487 | +``` |
| @@ -13,8 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | - | ||
| 18 | ## 功能说明 | 16 | ## 功能说明 |
| 19 | 17 | ||
| 20 | - 接口功能:RmsNorm算子是大模型常用的归一化操作,相比LayerNorm算子,其去掉了减去均值的部分。DynamicQuant算子则是为输入张量进行对称动态量化的算子。AddRmsNormDynamicQuant算子将RmsNorm前的Add算子和RmsNorm归一化输出给到的1个或2个DynamicQuant算子融合起来,减少搬入搬出操作。 | 18 | - 接口功能:RmsNorm算子是大模型常用的归一化操作,相比LayerNorm算子,其去掉了减去均值的部分。DynamicQuant算子则是为输入张量进行对称动态量化的算子。AddRmsNormDynamicQuant算子将RmsNorm前的Add算子和RmsNorm归一化输出给到的1个或2个DynamicQuant算子融合起来,减少搬入搬出操作。 |
| @@ -111,7 +109,7 @@ aclnnStatus aclnnAddRmsNormDynamicQuant( | |||
| 111 | 109 | ||
| 112 | ## aclnnAddRmsNormDynamicQuantGetWorkspaceSize | 110 | ## aclnnAddRmsNormDynamicQuantGetWorkspaceSize |
| 113 | 111 | ||
| 114 | -- **参数说明**: | 112 | +- **参数说明** |
| 115 | 113 | ||
| 116 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 114 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 117 | <col style="width: 170px"> | 115 | <col style="width: 170px"> |
| @@ -271,7 +269,7 @@ aclnnStatus aclnnAddRmsNormDynamicQuant( | |||
| 271 | - <term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>: | 269 | - <term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>: |
| 272 | - 出参`y1Out`、`y2Out`仅支持INT8。 | 270 | - 出参`y1Out`、`y2Out`仅支持INT8。 |
| 273 | 271 | ||
| 274 | -- **返回值:** | 272 | +- **返回值** |
| 275 | 273 | ||
| 276 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 274 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 277 | 275 | ||
| @@ -304,7 +302,7 @@ aclnnStatus aclnnAddRmsNormDynamicQuant( | |||
| 304 | 302 | ||
| 305 | ## aclnnAddRmsNormDynamicQuant | 303 | ## aclnnAddRmsNormDynamicQuant |
| 306 | 304 | ||
| 307 | -- **参数说明:** | 305 | +- **参数说明** |
| 308 | 306 | ||
| 309 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 307 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 310 | <col style="width: 173px"> | 308 | <col style="width: 173px"> |
| @@ -341,7 +339,7 @@ aclnnStatus aclnnAddRmsNormDynamicQuant( | |||
| 341 | </tbody> | 339 | </tbody> |
| 342 | </table> | 340 | </table> |
| 343 | 341 | ||
| 344 | -- **返回值:** | 342 | +- **返回值** |
| 345 | 343 | ||
| 346 | aclnnStatus:返回状态码。(具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)) | 344 | aclnnStatus:返回状态码。(具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)) |
| 347 | 345 | ||
| @@ -358,11 +356,14 @@ aclnnStatus aclnnAddRmsNormDynamicQuant( | |||
| 358 | - **各产品型号支持数据类型说明** | 356 | - **各产品型号支持数据类型说明** |
| 359 | 357 | ||
| 360 | - <term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>: | 358 | - <term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>: |
| 359 | + | ||
| 361 | | `x1`数据类型 | `x2`数据类型 | `gamma`数据类型 | `smoothScale1Optional`数据类型 | `smoothScale2Optional`数据类型 | `y1Out`数据类型 | `y2Out`数据类型 | `xOut`数据类型 | `scale1Out`数据类型 | `scale2Out`数据类型 | | 360 | | `x1`数据类型 | `x2`数据类型 | `gamma`数据类型 | `smoothScale1Optional`数据类型 | `smoothScale2Optional`数据类型 | `y1Out`数据类型 | `y2Out`数据类型 | `xOut`数据类型 | `scale1Out`数据类型 | `scale2Out`数据类型 | |
| 362 | | ----------- | ----------- | -------------- | ----------------------------- | ----------------------------- | -------------- | -------------- | ------------------ | ------------------ | ------------------ | | 361 | | ----------- | ----------- | -------------- | ----------------------------- | ----------------------------- | -------------- | -------------- | ------------------ | ------------------ | ------------------ | |
| 363 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | INT8 | INT8 | FLOAT16 | FLOAT32 | FLOAT32 | | 362 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | INT8 | INT8 | FLOAT16 | FLOAT32 | FLOAT32 | |
| 364 | | BFLOAT16 | BFLOAT16 | BFLOAT16 | BFLOAT16 | BFLOAT16 | INT8 | INT8 | BFLOAT16 | FLOAT32 | FLOAT32 | | 363 | | BFLOAT16 | BFLOAT16 | BFLOAT16 | BFLOAT16 | BFLOAT16 | INT8 | INT8 | BFLOAT16 | FLOAT32 | FLOAT32 | |
| 364 | + | ||
| 365 | - <term>Ascend 950PR/Ascend 950DT</term>: | 365 | - <term>Ascend 950PR/Ascend 950DT</term>: |
| 366 | + | ||
| 366 | | `x1`数据类型 | `x2`数据类型 | `gamma`数据类型 | `smoothScale1Optional`数据类型 | `smoothScale2Optional`数据类型 | `y1Out`数据类型 | `y2Out`数据类型 | `xOut`数据类型 | `scale1Out`数据类型 | `scale2Out`数据类型 | | 367 | | `x1`数据类型 | `x2`数据类型 | `gamma`数据类型 | `smoothScale1Optional`数据类型 | `smoothScale2Optional`数据类型 | `y1Out`数据类型 | `y2Out`数据类型 | `xOut`数据类型 | `scale1Out`数据类型 | `scale2Out`数据类型 | |
| 367 | | ----------- | ----------- | -------------- | ----------------------------- | ----------------------------- | -------------- | -------------- | ------------------ | ------------------ | ------------------ | | 368 | | ----------- | ----------- | -------------- | ----------------------------- | ----------------------------- | -------------- | -------------- | ------------------ | ------------------ | ------------------ | |
| 368 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | INT8 | INT8 | FLOAT16 | FLOAT32 | FLOAT32 | | 369 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | INT8 | INT8 | FLOAT16 | FLOAT32 | FLOAT32 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:RmsNorm算子是大模型常用的归一化操作,相比LayerNorm算子,其去掉了减去均值的部分。DynamicQuant算子则是为输入张量进行对称动态量化的算子。AddRmsNormDynamicQuantV2算子将RmsNorm前的Add算子和RmsNorm归一化输出给到的1个或2个DynamicQuant算子融合起来,减少搬入搬出操作。 | 18 | - 算子功能:RmsNorm算子是大模型常用的归一化操作,相比LayerNorm算子,其去掉了减去均值的部分。DynamicQuant算子则是为输入张量进行对称动态量化的算子。AddRmsNormDynamicQuantV2算子将RmsNorm前的Add算子和RmsNorm归一化输出给到的1个或2个DynamicQuant算子融合起来,减少搬入搬出操作。 |
| @@ -195,6 +194,7 @@ | |||
| 195 | </tbody></table> | 194 | </tbody></table> |
| 196 | 195 | ||
| 197 | - Kirin X90/Kirin 9030处理器系列产品:x1、x2、gamma、smooth_scale1、smooth_scale2、y4和x的数据类型不支持BFLOAT16。 | 196 | - Kirin X90/Kirin 9030处理器系列产品:x1、x2、gamma、smooth_scale1、smooth_scale2、y4和x的数据类型不支持BFLOAT16。 |
| 197 | + | ||
| 198 | ## 约束说明 | 198 | ## 约束说明 |
| 199 | 199 | ||
| 200 | 无 | 200 | 无 |
| @@ -203,4 +203,4 @@ | |||
| 203 | 203 | ||
| 204 | | 调用方式 | 样例代码 | 说明 | | 204 | | 调用方式 | 样例代码 | 说明 | |
| 205 | | ---------------- | --------------------------- | --------------------------------------------------- | | 205 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 206 | -| 图模式 | [test_geir_add_rms_norm_dynamic_quant_v2](examples/test_geir_add_rms_norm_dynamic_quant_v2.cpp) | 通过[算子IR](op_graph/add_rms_norm_dynamic_quant_v2_proto.h)构图方式调用AddRmsNormDynamicQuantV2算子。 | | 206 | +| 图模式 | [test_geir_add_rms_norm_dynamic_quant_v2](examples/test_geir_add_rms_norm_dynamic_quant_v2.cpp) | 通过[算子IR](op_graph/add_rms_norm_dynamic_quant_v2_proto.h)构图方式调用AddRmsNormDynamicQuantV2算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:RmsNorm是大模型常用的标准化操作,相比LayerNorm,其去掉了减去均值的部分。AddRmsNormQuant算子将RmsNorm前的Add算子以及RmsNorm归一化的输出给到1个或2个Quantize算子融合起来,减少搬入搬出操作。 | 18 | - 算子功能:RmsNorm是大模型常用的标准化操作,相比LayerNorm,其去掉了减去均值的部分。AddRmsNormQuant算子将RmsNorm前的Add算子以及RmsNorm归一化的输出给到1个或2个Quantize算子融合起来,减少搬入搬出操作。 |
| @@ -171,12 +170,12 @@ | |||
| 171 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>:x1、x2、gamma、x、beta的数据类型不支持FLOAT32,输出参数y1、y2的数据类型仅支持INT8。 | 170 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>:x1、x2、gamma、x、beta的数据类型不支持FLOAT32,输出参数y1、y2的数据类型仅支持INT8。 |
| 172 | 171 | ||
| 173 | - <term>Ascend 950PR/Ascend 950DT</term>:可选输入beta不支持配置。 | 172 | - <term>Ascend 950PR/Ascend 950DT</term>:可选输入beta不支持配置。 |
| 173 | + - Kirin X90/Kirin 9030处理器系列产品: | ||
| 174 | + - x1、x2、gamma、beta和x的数据类型只支持FLOAT16。 | ||
| 175 | + - scales1和scales2的数据类型只支持FLOAT32。 | ||
| 176 | + - zero_points1和zero_points2的数据类型只支持INT32。 | ||
| 177 | + - y1和y2的数据类型只支持INT8。 | ||
| 174 | 178 | ||
| 175 | -- Kirin X90/Kirin 9030处理器系列产品: | ||
| 176 | - - x1、x2、gamma、beta和x的数据类型只支持FLOAT16。 | ||
| 177 | - - scales1和scales2的数据类型只支持FLOAT32。 | ||
| 178 | - - zero_points1和zero_points2的数据类型只支持INT32。 | ||
| 179 | - - y1和y2的数据类型只支持INT8。 | ||
| 180 | ## 约束说明 | 179 | ## 约束说明 |
| 181 | 180 | ||
| 182 | <term>Atlas 推理系列产品</term>:`x1`、`x2`需要norm的维度数据个数不能小于32。`gamma`、`beta`、`scales1`、`scales2`、`zero_points1`、`zero_points2`的数据个数不能小于32。 | 181 | <term>Atlas 推理系列产品</term>:`x1`、`x2`需要norm的维度数据个数不能小于32。`gamma`、`beta`、`scales1`、`scales2`、`zero_points1`、`zero_points2`的数据个数不能小于32。 |
| @@ -186,4 +185,4 @@ | |||
| 186 | | 调用方式 | 样例代码 | 说明 | | 185 | | 调用方式 | 样例代码 | 说明 | |
| 187 | | ---------------- | --------------------------- | --------------------------------------------------- | | 186 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 188 | | aclnn接口 | [test_aclnn_add_rms_norm_quant](examples/test_aclnn_add_rms_norm_quant.cpp) | 通过[aclnnAddRmsNormQuant](docs/aclnnAddRmsNormQuant.md)接口方式调用AddRmsNormQuant算子。 | | 187 | | aclnn接口 | [test_aclnn_add_rms_norm_quant](examples/test_aclnn_add_rms_norm_quant.cpp) | 通过[aclnnAddRmsNormQuant](docs/aclnnAddRmsNormQuant.md)接口方式调用AddRmsNormQuant算子。 | |
| 189 | -| 图模式 | - | 通过[算子IR](op_graph/add_rms_norm_quant_proto.h)构图方式调用AddRmsNormQuant算子。 | | 188 | +| 图模式 | - | 通过[算子IR](op_graph/add_rms_norm_quant_proto.h)构图方式调用AddRmsNormQuant算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | √ | | 13 | | <term>Atlas 推理系列产品</term> | √ | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:RmsNorm算子是大模型常用的标准化操作,相比LayerNorm算子,其去掉了减去均值的部分。AddRmsNormQuant算子将RmsNorm前的Add算子以及RmsNorm后的Quantize算子融合起来,减少搬入搬出操作。 | 18 | - 接口功能:RmsNorm算子是大模型常用的标准化操作,相比LayerNorm算子,其去掉了减去均值的部分。AddRmsNormQuant算子将RmsNorm前的Add算子以及RmsNorm后的Quantize算子融合起来,减少搬入搬出操作。 |
| @@ -80,7 +79,7 @@ aclnnStatus aclnnAddRmsNormQuant( | |||
| 80 | 79 | ||
| 81 | ## aclnnAddRmsNormQuantGetWorkspaceSize | 80 | ## aclnnAddRmsNormQuantGetWorkspaceSize |
| 82 | 81 | ||
| 83 | -- **参数说明**: | 82 | +- **参数说明** |
| 84 | 83 | ||
| 85 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 84 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 86 | <col style="width: 170px"> | 85 | <col style="width: 170px"> |
| @@ -143,11 +142,12 @@ aclnnStatus aclnnAddRmsNormQuant( | |||
| 143 | <td>ND</td> | 142 | <td>ND</td> |
| 144 | <td>1-8</td> | 143 | <td>1-8</td> |
| 145 | <td>√</td> | 144 | <td>√</td> |
| 145 | + </tr> | ||
| 146 | <tr> | 146 | <tr> |
| 147 | <td>scales2Optional(aclTensor*)</td> | 147 | <td>scales2Optional(aclTensor*)</td> |
| 148 | <td>输入</td> | 148 | <td>输入</td> |
| 149 | <td>表示量化过程中得到y2Out进行的scales张量。对应公式中的`scales2`。</td> | 149 | <td>表示量化过程中得到y2Out进行的scales张量。对应公式中的`scales2`。</td> |
| 150 | - <td><ul><li>支持空Tensor。</li><li>可选参数,支持传入空指针。shape、数据类型与`scales1`保持一致。<li>当参数`divMode`的值为True时,该参数的值不能为0。</li></ul></td> | 150 | + <td><ul><li>支持空Tensor。</li><li>可选参数,支持传入空指针。shape、数据类型与`scales1`保持一致。</li><li>当参数`divMode`的值为True时,该参数的值不能为0。</li></ul></td> |
| 151 | <td>FLOAT32、FLOAT16、BFLOAT16</td> | 151 | <td>FLOAT32、FLOAT16、BFLOAT16</td> |
| 152 | <td>ND</td> | 152 | <td>ND</td> |
| 153 | <td>1-8</td> | 153 | <td>1-8</td> |
| @@ -272,7 +272,7 @@ aclnnStatus aclnnAddRmsNormQuant( | |||
| 272 | - 出参`y1Out`、`y2Out`仅支持INT8。 | 272 | - 出参`y1Out`、`y2Out`仅支持INT8。 |
| 273 | - 入参`divMode`仅支持True。 | 273 | - 入参`divMode`仅支持True。 |
| 274 | 274 | ||
| 275 | -- **返回值:** | 275 | +- **返回值** |
| 276 | 276 | ||
| 277 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 277 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 278 | 278 | ||
| @@ -311,7 +311,7 @@ aclnnStatus aclnnAddRmsNormQuant( | |||
| 311 | 311 | ||
| 312 | ## aclnnAddRmsNormQuant | 312 | ## aclnnAddRmsNormQuant |
| 313 | 313 | ||
| 314 | -- **参数说明**: | 314 | +- **参数说明** |
| 315 | 315 | ||
| 316 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 316 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 317 | <col style="width: 173px"> | 317 | <col style="width: 173px"> |
| @@ -348,7 +348,7 @@ aclnnStatus aclnnAddRmsNormQuant( | |||
| 348 | </tbody> | 348 | </tbody> |
| 349 | </table> | 349 | </table> |
| 350 | 350 | ||
| 351 | -- **返回值**: | 351 | +- **返回值** |
| 352 | 352 | ||
| 353 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 353 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 354 | 354 | ||
| @@ -363,15 +363,20 @@ aclnnStatus aclnnAddRmsNormQuant( | |||
| 363 | - 各产品型号支持数据类型说明: | 363 | - 各产品型号支持数据类型说明: |
| 364 | 364 | ||
| 365 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>: | 365 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>: |
| 366 | + | ||
| 366 | | x1数据类型 | x2数据类型 | gamma数据类型 | scales1数据类型 | scales2Optional数据类型 | zeroPoints1Optional数据类型 | zeroPoints2Optional数据类型 | y1Out数据类型 | y2Out数据类型 | xOut数据类型 | | 367 | | x1数据类型 | x2数据类型 | gamma数据类型 | scales1数据类型 | scales2Optional数据类型 | zeroPoints1Optional数据类型 | zeroPoints2Optional数据类型 | y1Out数据类型 | y2Out数据类型 | xOut数据类型 | |
| 367 | | - | - | - | - | - | - | - | - | - | - | | 368 | | - | - | - | - | - | - | - | - | - | - | |
| 368 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT32 | FLOAT32 | INT32 | INT32 | INT8 | INT8 | FLOAT16 | | 369 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT32 | FLOAT32 | INT32 | INT32 | INT8 | INT8 | FLOAT16 | |
| 369 | | BFLOAT16 | BFLOAT16 | BFLOAT16 | BFLOAT16 | BFLOAT16 | BFLOAT16 | BFLOAT16 | INT8 | INT8 | BFLOAT16 | | 370 | | BFLOAT16 | BFLOAT16 | BFLOAT16 | BFLOAT16 | BFLOAT16 | BFLOAT16 | BFLOAT16 | INT8 | INT8 | BFLOAT16 | |
| 371 | + | ||
| 370 | - <term>Atlas 推理系列产品</term>: | 372 | - <term>Atlas 推理系列产品</term>: |
| 373 | + | ||
| 371 | | x1数据类型 | x2数据类型 | gamma数据类型 | scales1数据类型 | scales2Optional数据类型 | zeroPoints1Optional数据类型 | zeroPoints2Optional数据类型 | y1Out数据类型 | y2Out数据类型 | xOut数据类型 | | 374 | | x1数据类型 | x2数据类型 | gamma数据类型 | scales1数据类型 | scales2Optional数据类型 | zeroPoints1Optional数据类型 | zeroPoints2Optional数据类型 | y1Out数据类型 | y2Out数据类型 | xOut数据类型 | |
| 372 | | - | - | - | - | - | - | - | - | - | - | | 375 | | - | - | - | - | - | - | - | - | - | - | |
| 373 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT32 | FLOAT32 | INT32 | INT32 | INT8 | INT8 | FLOAT16 | | 376 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT32 | FLOAT32 | INT32 | INT32 | INT8 | INT8 | FLOAT16 | |
| 377 | + | ||
| 374 | - <term>Ascend 950PR/Ascend 950DT</term>: | 378 | - <term>Ascend 950PR/Ascend 950DT</term>: |
| 379 | + | ||
| 375 | | x1数据类型 | x2数据类型 | gamma数据类型 | scales1数据类型 | scales2Optional数据类型 | zeroPoints1Optional数据类型 | zeroPoints2Optional数据类型 | y1Out数据类型 | y2Out数据类型 | xOut数据类型 | | 380 | | x1数据类型 | x2数据类型 | gamma数据类型 | scales1数据类型 | scales2Optional数据类型 | zeroPoints1Optional数据类型 | zeroPoints2Optional数据类型 | y1Out数据类型 | y2Out数据类型 | xOut数据类型 | |
| 376 | | - | - | - | - | - | - | - | - | - | - | | 381 | | - | - | - | - | - | - | - | - | - | - | |
| 377 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT32 | FLOAT32 | INT32 | INT32 | INT8 | INT8 | FLOAT16 | | 382 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT32 | FLOAT32 | INT32 | INT32 | INT8 | INT8 | FLOAT16 | |
| @@ -603,4 +608,4 @@ int main() | |||
| 603 | aclFinalize(); | 608 | aclFinalize(); |
| 604 | return 0; | 609 | return 0; |
| 605 | } | 610 | } |
| 606 | -``` | 611 | +``` |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | √ | | 11 | | <term>Atlas 推理系列产品</term> | √ | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能描述 | 14 | ## 功能描述 |
| 16 | 15 | ||
| 17 | - 算子功能:RmsNorm是大模型常用的标准化操作,相比LayerNorm,其去掉了减去均值的部分。AddRmsNormQuant算子将RmsNorm前的Add算子以及RmsNorm归一化的输出给到1个或2个Quantize算子融合起来,减少搬入搬出操作。AddRmsNormQuantV2算子相较于AddRmsNormQuant在RmsNorm计算过程中增加了偏置项bias参数,即计算公式中的`bias`。 | 16 | - 算子功能:RmsNorm是大模型常用的标准化操作,相比LayerNorm,其去掉了减去均值的部分。AddRmsNormQuant算子将RmsNorm前的Add算子以及RmsNorm归一化的输出给到1个或2个Quantize算子融合起来,减少搬入搬出操作。AddRmsNormQuantV2算子相较于AddRmsNormQuant在RmsNorm计算过程中增加了偏置项bias参数,即计算公式中的`bias`。 |
| @@ -177,7 +176,6 @@ | |||
| 177 | 176 | ||
| 178 | - <term>Atlas 推理系列产品</term>:参数`x1`、`x2`、`gamma`、`bias`、`scales1`、`scales2`、`zero_points1`、`zero_points2`、`x`、`resOut`的数据类型不支持BFLOAT16。 | 177 | - <term>Atlas 推理系列产品</term>:参数`x1`、`x2`、`gamma`、`bias`、`scales1`、`scales2`、`zero_points1`、`zero_points2`、`x`、`resOut`的数据类型不支持BFLOAT16。 |
| 179 | 178 | ||
| 180 | - | ||
| 181 | ## 约束说明 | 179 | ## 约束说明 |
| 182 | 180 | ||
| 183 | - <term>Atlas 推理系列产品</term>:`x1`、`x2`需要Norm的维度数据个数不能小于32。`gamma`、`bias`、`scales1`、`scales2`、`zeroPoints1`、`zeroPoints2`的数据个数不能小于32。 | 181 | - <term>Atlas 推理系列产品</term>:`x1`、`x2`需要Norm的维度数据个数不能小于32。`gamma`、`bias`、`scales1`、`scales2`、`zeroPoints1`、`zeroPoints2`的数据个数不能小于32。 |
| @@ -218,4 +216,4 @@ | |||
| 218 | 216 | ||
| 219 | | 调用方式 | 样例代码 | 说明 | | 217 | | 调用方式 | 样例代码 | 说明 | |
| 220 | | ---------------- | --------------------------- | --------------------------------------------------- | | 218 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 221 | -| aclnn接口 | [test_aclnn_add_rms_norm_quant_v2](examples/test_aclnn_add_rms_norm_quant_v2.cpp) | 通过[aclnnAddRmsNormQuantV2](docs/aclnnAddRmsNormQuantV2.md)接口方式调用AddRmsNormQuantV2算子。 | | 219 | +| aclnn接口 | [test_aclnn_add_rms_norm_quant_v2](examples/test_aclnn_add_rms_norm_quant_v2.cpp) | 通过[aclnnAddRmsNormQuantV2](docs/aclnnAddRmsNormQuantV2.md)接口方式调用AddRmsNormQuantV2算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | √ | | 13 | | <term>Atlas 推理系列产品</term> | √ | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能描述 | 16 | ## 功能描述 |
| 18 | 17 | ||
| 19 | - 接口功能:RmsNorm是大模型常用的标准化操作,相比LayerNorm,其去掉了减去均值的部分。AddRmsNormQuant算子将RmsNorm前的Add算子以及RmsNorm归一化的输出给到1个或2个Quantize算子融合起来,减少搬入搬出操作。AddRmsNormQuantV2算子相较于AddRmsNormQuant在RmsNorm计算过程中增加了偏置项betaOptional参数,即计算公式中的`beta`。 | 18 | - 接口功能:RmsNorm是大模型常用的标准化操作,相比LayerNorm,其去掉了减去均值的部分。AddRmsNormQuant算子将RmsNorm前的Add算子以及RmsNorm归一化的输出给到1个或2个Quantize算子融合起来,减少搬入搬出操作。AddRmsNormQuantV2算子相较于AddRmsNormQuant在RmsNorm计算过程中增加了偏置项betaOptional参数,即计算公式中的`beta`。 |
| @@ -86,8 +85,7 @@ aclnnStatus aclnnAddRmsNormQuantV2( | |||
| 86 | 85 | ||
| 87 | ## aclnnAddRmsNormQuantV2GetWorkspaceSize | 86 | ## aclnnAddRmsNormQuantV2GetWorkspaceSize |
| 88 | 87 | ||
| 89 | -- **参数说明**: | 88 | +- **参数说明** |
| 90 | - | ||
| 91 | 89 | ||
| 92 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 90 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 93 | <col style="width: 170px"> | 91 | <col style="width: 170px"> |
| @@ -150,6 +148,7 @@ aclnnStatus aclnnAddRmsNormQuantV2( | |||
| 150 | <td>ND</td> | 148 | <td>ND</td> |
| 151 | <td>1-8</td> | 149 | <td>1-8</td> |
| 152 | <td>√</td> | 150 | <td>√</td> |
| 151 | + </tr> | ||
| 153 | <tr> | 152 | <tr> |
| 154 | <td>scales2Optional(aclTensor*)</td> | 153 | <td>scales2Optional(aclTensor*)</td> |
| 155 | <td>输入</td> | 154 | <td>输入</td> |
| @@ -285,7 +284,7 @@ aclnnStatus aclnnAddRmsNormQuantV2( | |||
| 285 | 284 | ||
| 286 | - <term>Atlas 推理系列产品</term>:参数`x1`、`x2`、`gamma`、`scales1`、`scales2Optional`、`zeroPoints1Optional`、`zeroPoints2Optional`、`betaOptional`、`xOut`、`rmsNormOut`的数据类型不支持BFLOAT16。 | 285 | - <term>Atlas 推理系列产品</term>:参数`x1`、`x2`、`gamma`、`scales1`、`scales2Optional`、`zeroPoints1Optional`、`zeroPoints2Optional`、`betaOptional`、`xOut`、`rmsNormOut`的数据类型不支持BFLOAT16。 |
| 287 | 286 | ||
| 288 | -- **返回值:** | 287 | +- **返回值** |
| 289 | 288 | ||
| 290 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 289 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 291 | 290 | ||
| @@ -318,7 +317,7 @@ aclnnStatus aclnnAddRmsNormQuantV2( | |||
| 318 | 317 | ||
| 319 | ## aclnnAddRmsNormQuantV2 | 318 | ## aclnnAddRmsNormQuantV2 |
| 320 | 319 | ||
| 321 | -- **参数说明:** | 320 | +- **参数说明** |
| 322 | 321 | ||
| 323 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 322 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 324 | <col style="width: 173px"> | 323 | <col style="width: 173px"> |
| @@ -355,7 +354,7 @@ aclnnStatus aclnnAddRmsNormQuantV2( | |||
| 355 | </tbody> | 354 | </tbody> |
| 356 | </table> | 355 | </table> |
| 357 | 356 | ||
| 358 | -- **返回值:** | 357 | +- **返回值** |
| 359 | 358 | ||
| 360 | aclnnStatus:返回状态码。(具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)) | 359 | aclnnStatus:返回状态码。(具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)) |
| 361 | 360 | ||
| @@ -1,3 +1,3 @@ | |||
| 1 | # BatchNormElemt | 1 | # BatchNormElemt |
| 2 | 2 | ||
| 3 | -本目录仅包含BatchNormElemt算子对应的aclnn接口;如您想要贡献该算子的AscendC实现,请参考[贡献流程](../../CONTRIBUTING.md)。 | 3 | +本目录仅包含BatchNormElemt算子对应的aclnn接口;如您想要贡献该算子的AscendC实现,请参考[贡献流程](../../CONTRIBUTING.md)。 |
| @@ -13,7 +13,7 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | √ | | 14 | | <term>Atlas 训练系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | 16 | +## 功能说明 |
| 17 | 17 | ||
| 18 | - 接口功能:将全局的均值和标准差倒数作为算子输入,对x做BatchNorm计算。该算子是一个元素级别的BatchNorm操作函数,用于在某些特定场景下对输入数据进行归一化处理。与[aclnnBatchNorm](../../batch_norm_v3/docs/aclnnBatchNorm.md)相比,aclnnBatchNormElemt可能会针对特定的硬件或优化需求进行调整。 | 18 | - 接口功能:将全局的均值和标准差倒数作为算子输入,对x做BatchNorm计算。该算子是一个元素级别的BatchNorm操作函数,用于在某些特定场景下对输入数据进行归一化处理。与[aclnnBatchNorm](../../batch_norm_v3/docs/aclnnBatchNorm.md)相比,aclnnBatchNormElemt可能会针对特定的硬件或优化需求进行调整。 |
| 19 | 19 | ||
| @@ -56,8 +56,7 @@ aclnnStatus aclnnBatchNormElemt( | |||
| 56 | 56 | ||
| 57 | ## aclnnBatchNormElemtGetWorkspaceSize | 57 | ## aclnnBatchNormElemtGetWorkspaceSize |
| 58 | 58 | ||
| 59 | -- **参数说明:** | 59 | +- **参数说明** |
| 60 | - | ||
| 61 | 60 | ||
| 62 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 61 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 63 | <col style="width: 170px"> | 62 | <col style="width: 170px"> |
| @@ -131,7 +130,6 @@ aclnnStatus aclnnBatchNormElemt( | |||
| 131 | <td>1</td> | 130 | <td>1</td> |
| 132 | <td>√</td> | 131 | <td>√</td> |
| 133 | </tr> | 132 | </tr> |
| 134 | - </tr> | ||
| 135 | <tr> | 133 | <tr> |
| 136 | <td>eps(double)</td> | 134 | <td>eps(double)</td> |
| 137 | <td>输入</td> | 135 | <td>输入</td> |
| @@ -177,8 +175,7 @@ aclnnStatus aclnnBatchNormElemt( | |||
| 177 | 175 | ||
| 178 | - <term>Atlas 训练系列产品</term>、<term>Atlas 推理系列产品</term>:参数`input`、`weight`、`bias`、`mean`、`invstd`、`output`的数据类型不支持BFLOAT16。 | 176 | - <term>Atlas 训练系列产品</term>、<term>Atlas 推理系列产品</term>:参数`input`、`weight`、`bias`、`mean`、`invstd`、`output`的数据类型不支持BFLOAT16。 |
| 179 | 177 | ||
| 180 | -- **返回值:** | 178 | +- **返回值** |
| 181 | - | ||
| 182 | 179 | ||
| 183 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 180 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 184 | 181 | ||
| @@ -229,7 +226,7 @@ aclnnStatus aclnnBatchNormElemt( | |||
| 229 | 226 | ||
| 230 | ## aclnnBatchNormElemt | 227 | ## aclnnBatchNormElemt |
| 231 | 228 | ||
| 232 | -- **参数说明:** | 229 | +- **参数说明** |
| 233 | 230 | ||
| 234 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 231 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 235 | <col style="width: 173px"> | 232 | <col style="width: 173px"> |
| @@ -266,7 +263,7 @@ aclnnStatus aclnnBatchNormElemt( | |||
| 266 | </tbody> | 263 | </tbody> |
| 267 | </table> | 264 | </table> |
| 268 | 265 | ||
| 269 | -- **返回值:** | 266 | +- **返回值** |
| 270 | 267 | ||
| 271 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 268 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 272 | 269 | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:[aclnnBatchNorm](../../batch_norm_v3/docs/aclnnBatchNorm.md)的反向传播(高性能版本)。用于计算输入张量的梯度,以便在反向传播过程中更新模型参数。 | 18 | - 接口功能:[aclnnBatchNorm](../../batch_norm_v3/docs/aclnnBatchNorm.md)的反向传播(高性能版本)。用于计算输入张量的梯度,以便在反向传播过程中更新模型参数。 |
| @@ -81,7 +80,7 @@ aclnnStatus aclnnFastBatchNormBackward( | |||
| 81 | 80 | ||
| 82 | ## aclnnFastBatchNormBackwardGetWorkspaceSize | 81 | ## aclnnFastBatchNormBackwardGetWorkspaceSize |
| 83 | 82 | ||
| 84 | -- **参数说明:** | 83 | +- **参数说明** |
| 85 | 84 | ||
| 86 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 85 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 87 | <col style="width: 170px"> | 86 | <col style="width: 170px"> |
| @@ -271,7 +270,7 @@ aclnnStatus aclnnFastBatchNormBackward( | |||
| 271 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>: | 270 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>: |
| 272 | 271 | ||
| 273 | - 参数`weight`、`runningMean`、`runningVar`、`saveMean`、`saveInvstd`、`gradWeight`、`gradBias`的数据类型与`gradOut`的保持一致。 | 272 | - 参数`weight`、`runningMean`、`runningVar`、`saveMean`、`saveInvstd`、`gradWeight`、`gradBias`的数据类型与`gradOut`的保持一致。 |
| 274 | -- **返回值:** | 273 | +- **返回值** |
| 275 | 274 | ||
| 276 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 275 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 277 | 276 | ||
| @@ -340,7 +339,7 @@ aclnnStatus aclnnFastBatchNormBackward( | |||
| 340 | 339 | ||
| 341 | ## aclnnFastBatchNormBackward | 340 | ## aclnnFastBatchNormBackward |
| 342 | 341 | ||
| 343 | -- **参数说明:** | 342 | +- **参数说明** |
| 344 | 343 | ||
| 345 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 344 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 346 | <col style="width: 173px"> | 345 | <col style="width: 173px"> |
| @@ -376,7 +375,7 @@ aclnnStatus aclnnFastBatchNormBackward( | |||
| 376 | </tr> | 375 | </tr> |
| 377 | </tbody> | 376 | </tbody> |
| 378 | </table> | 377 | </table> |
| 379 | -- **返回值:** | 378 | +- **返回值** |
| 380 | 379 | ||
| 381 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 380 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 382 | 381 | ||
| @@ -602,4 +601,4 @@ int main() { | |||
| 602 | aclFinalize(); | 601 | aclFinalize(); |
| 603 | return 0; | 602 | return 0; |
| 604 | } | 603 | } |
| 605 | -``` | 604 | +``` |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | √ | | 11 | | <term>Atlas 推理系列产品</term> | √ | |
| 12 | | <term>Atlas 训练系列产品</term> | √ | | 12 | | <term>Atlas 训练系列产品</term> | √ | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 算子功能:对一个批次的数据做正则化处理,正则化之后生成的数据的统计结果为0均值、1标准差。 | 16 | - 算子功能:对一个批次的数据做正则化处理,正则化之后生成的数据的统计结果为0均值、1标准差。 |
| @@ -23,7 +22,6 @@ | |||
| 23 | $$ | 22 | $$ |
| 24 | E(x)表示均值,Var(x)表示方差,均需要在算子内部计算得到;ε表示一个极小的浮点数,防止分母为0的情况。 | 23 | E(x)表示均值,Var(x)表示方差,均需要在算子内部计算得到;ε表示一个极小的浮点数,防止分母为0的情况。 |
| 25 | 24 | ||
| 26 | - | ||
| 27 | ## 参数说明 | 25 | ## 参数说明 |
| 28 | 26 | ||
| 29 | <table style="undefined;table-layout: fixed; width: 1005px"><colgroup> | 27 | <table style="undefined;table-layout: fixed; width: 1005px"><colgroup> |
| @@ -139,7 +137,6 @@ | |||
| 139 | </tr> | 137 | </tr> |
| 140 | </tbody></table> | 138 | </tbody></table> |
| 141 | 139 | ||
| 142 | - | ||
| 143 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>: | 140 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>: |
| 144 | - 输入x和输出y的数据格式不支持NHWC、NDHWC。 | 141 | - 输入x和输出y的数据格式不支持NHWC、NDHWC。 |
| 145 | - 输出参数`save_rstd`保存的是x方差。 | 142 | - 输出参数`save_rstd`保存的是x方差。 |
| @@ -167,4 +164,4 @@ | |||
| 167 | | 调用方式 | 样例代码 | 说明 | | 164 | | 调用方式 | 样例代码 | 说明 | |
| 168 | | ---------------- | --------------------------- | --------------------------------------------------- | | 165 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 169 | | aclnn接口 | [test_aclnn_batch_norm_v3](examples/test_aclnn_batch_norm_v3.cpp) | 通过[aclnnBatchNorm](docs/aclnnBatchNorm.md)接口方式调用BatchNormV3算子。 | | 166 | | aclnn接口 | [test_aclnn_batch_norm_v3](examples/test_aclnn_batch_norm_v3.cpp) | 通过[aclnnBatchNorm](docs/aclnnBatchNorm.md)接口方式调用BatchNormV3算子。 | |
| 170 | -| 图模式 | - | 通过[算子IR](op_graph/batch_norm_v3_proto.h)构图方式调用BatchNormV3算子。 | | 167 | +| 图模式 | - | 通过[算子IR](op_graph/batch_norm_v3_proto.h)构图方式调用BatchNormV3算子。 | |
| @@ -1,3 +1,3 @@ | |||
| 1 | # BNTrainingReduce | 1 | # BNTrainingReduce |
| 2 | 2 | ||
| 3 | -本目录仅包含BNTrainingReduce算子对应的aclnn接口;如您想要贡献该算子的AscendC实现,请参考[贡献流程](../../CONTRIBUTING.md)。 | 3 | +本目录仅包含BNTrainingReduce算子对应的aclnn接口;如您想要贡献该算子的AscendC实现,请参考[贡献流程](../../CONTRIBUTING.md)。 |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:对输入张量x的元素进行深度归一化,通过计算其均值和标准差,将每个元素标准化为具有零均值和单位方差的输出张量。 | 18 | - 算子功能:对输入张量x的元素进行深度归一化,通过计算其均值和标准差,将每个元素标准化为具有零均值和单位方差的输出张量。 |
| @@ -49,7 +48,7 @@ | |||
| 49 | <td>x</td> | 48 | <td>x</td> |
| 50 | <td>输入</td> | 49 | <td>输入</td> |
| 51 | <td>输入数据,通常为神经网络的中间层输出,公式中的输入`x`。</td> | 50 | <td>输入数据,通常为神经网络的中间层输出,公式中的输入`x`。</td> |
| 52 | - <ul><li>输入数据,通常为神经网络的中间层输出,公式中的输入`x`。</li><li>shape支持2-8维度。</li></ul></td> | 51 | + <td><ul><li>输入数据,通常为神经网络的中间层输出,公式中的输入`x`。</li><li>shape支持2-8维度。</li></ul></td> |
| 53 | <td>FLOAT32、FLOAT16、BFLOAT16</td> | 52 | <td>FLOAT32、FLOAT16、BFLOAT16</td> |
| 54 | <td>ND</td> | 53 | <td>ND</td> |
| 55 | </tr> | 54 | </tr> |
| @@ -113,7 +112,8 @@ | |||
| 113 | 112 | ||
| 114 | - <term>Atlas 推理系列产品</term>:所有输入参数和输出参数y的数据类型不支持BFLOAT16。 | 113 | - <term>Atlas 推理系列产品</term>:所有输入参数和输出参数y的数据类型不支持BFLOAT16。 |
| 115 | 114 | ||
| 116 | -- Kirin X90/Kirin 9030处理器系列产品:所有输入参数和输出参数y的数据类型不支持BFLOAT16。 | 115 | + - Kirin X90/Kirin 9030处理器系列产品:所有输入参数和输出参数y的数据类型不支持BFLOAT16。 |
| 116 | + | ||
| 117 | ## 约束说明 | 117 | ## 约束说明 |
| 118 | 118 | ||
| 119 | 无 | 119 | 无 |
| @@ -123,4 +123,4 @@ | |||
| 123 | | 调用方式 | 样例代码 | 说明 | | 123 | | 调用方式 | 样例代码 | 说明 | |
| 124 | | ---------------- | --------------------------- | --------------------------------------------------- | | 124 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 125 | | aclnn接口 | [test_aclnn_deep_norm](examples/test_aclnn_deep_norm.cpp) | 通过[aclnnDeepNorm](docs/aclnnDeepNorm.md)接口方式调用DeepNorm算子。 | | 125 | | aclnn接口 | [test_aclnn_deep_norm](examples/test_aclnn_deep_norm.cpp) | 通过[aclnnDeepNorm](docs/aclnnDeepNorm.md)接口方式调用DeepNorm算子。 | |
| 126 | -| 图模式 | - | 通过[算子IR](op_graph/deep_norm_proto.h)构图方式调用DeepNorm算子。 | | 126 | +| 图模式 | - | 通过[算子IR](op_graph/deep_norm_proto.h)构图方式调用DeepNorm算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | √ | | 13 | | <term>Atlas 推理系列产品</term> | √ | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对输入张量x的元素进行深度归一化,通过计算其均值和标准差,将每个元素标准化为具有零均值和单位方差的输出张量。 | 18 | - 接口功能:对输入张量x的元素进行深度归一化,通过计算其均值和标准差,将每个元素标准化为具有零均值和单位方差的输出张量。 |
| @@ -56,7 +55,7 @@ aclnnStatus aclnnDeepNorm( | |||
| 56 | 55 | ||
| 57 | ## aclnnDeepNormGetWorkspaceSize | 56 | ## aclnnDeepNormGetWorkspaceSize |
| 58 | 57 | ||
| 59 | -- **参数说明**: | 58 | +- **参数说明** |
| 60 | 59 | ||
| 61 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 60 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 62 | <col style="width: 170px"> | 61 | <col style="width: 170px"> |
| @@ -234,7 +233,7 @@ aclnnStatus aclnnDeepNorm( | |||
| 234 | 233 | ||
| 235 | ## aclnnDeepNorm | 234 | ## aclnnDeepNorm |
| 236 | 235 | ||
| 237 | -- **参数说明:** | 236 | +- **参数说明** |
| 238 | 237 | ||
| 239 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 238 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 240 | <col style="width: 173px"> | 239 | <col style="width: 173px"> |
| @@ -271,8 +270,7 @@ aclnnStatus aclnnDeepNorm( | |||
| 271 | </tbody> | 270 | </tbody> |
| 272 | </table> | 271 | </table> |
| 273 | 272 | ||
| 274 | - | 273 | +- **返回值** |
| 275 | -- **返回值:** | ||
| 276 | 274 | ||
| 277 | 返回aclnnStatus状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 275 | 返回aclnnStatus状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 278 | 276 | ||
| @@ -512,4 +510,4 @@ int main() | |||
| 512 | aclFinalize(); | 510 | aclFinalize(); |
| 513 | return 0; | 511 | return 0; |
| 514 | } | 512 | } |
| 515 | -``` | 513 | +``` |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | √ | | 11 | | <term>Atlas 推理系列产品</term> | √ | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 算子功能:[DeepNorm](../deep_norm/README.md)的反向传播,完成张量x、张量gx、张量gamma的梯度计算,以及张量dy的求和计算。 | 16 | - 算子功能:[DeepNorm](../deep_norm/README.md)的反向传播,完成张量x、张量gx、张量gamma的梯度计算,以及张量dy的求和计算。 |
| @@ -164,4 +163,4 @@ | |||
| 164 | | 调用方式 | 样例代码 | 说明 | | 163 | | 调用方式 | 样例代码 | 说明 | |
| 165 | | ---------------- | --------------------------- | --------------------------------------------------- | | 164 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 166 | | aclnn接口 | [test_aclnn_deep_norm_grad](examples/test_aclnn_deep_norm_grad.cpp) | 通过[aclnnDeepNormGrad](docs/aclnnDeepNormGrad.md)接口方式调用DeepNormGrad算子。 | | 165 | | aclnn接口 | [test_aclnn_deep_norm_grad](examples/test_aclnn_deep_norm_grad.cpp) | 通过[aclnnDeepNormGrad](docs/aclnnDeepNormGrad.md)接口方式调用DeepNormGrad算子。 | |
| 167 | -| 图模式 | - | 通过[算子IR](op_graph/deep_norm_grad_proto.h)构图方式调用DeepNormGrad算子。 | | 166 | +| 图模式 | - | 通过[算子IR](op_graph/deep_norm_grad_proto.h)构图方式调用DeepNormGrad算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | √ | | 13 | | <term>Atlas 推理系列产品</term> | √ | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:[aclnnDeepNorm](../../deep_norm/docs/aclnnDeepNorm.md)的反向传播,完成张量x、张量gx、张量gamma的梯度计算,以及张量dy的求和计算。 | 18 | - 接口功能:[aclnnDeepNorm](../../deep_norm/docs/aclnnDeepNorm.md)的反向传播,完成张量x、张量gx、张量gamma的梯度计算,以及张量dy的求和计算。 |
| @@ -89,7 +88,7 @@ aclnnStatus aclnnDeepNormGrad( | |||
| 89 | 88 | ||
| 90 | ## aclnnDeepNormGradGetWorkspaceSize | 89 | ## aclnnDeepNormGradGetWorkspaceSize |
| 91 | 90 | ||
| 92 | -- **参数说明:** | 91 | +- **参数说明** |
| 93 | 92 | ||
| 94 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 93 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 95 | <col style="width: 170px"> | 94 | <col style="width: 170px"> |
| @@ -248,7 +247,7 @@ aclnnStatus aclnnDeepNormGrad( | |||
| 248 | 247 | ||
| 249 | - <term>Atlas 推理系列产品</term>:参数`dy`、`x`、`gx`、`gamma`、`dxOut`、`dgxOut`的数据类型不支持BFLOAT16。 | 248 | - <term>Atlas 推理系列产品</term>:参数`dy`、`x`、`gx`、`gamma`、`dxOut`、`dgxOut`的数据类型不支持BFLOAT16。 |
| 250 | 249 | ||
| 251 | -- **返回值:** | 250 | +- **返回值** |
| 252 | 251 | ||
| 253 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 252 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 254 | 253 | ||
| @@ -287,7 +286,7 @@ aclnnStatus aclnnDeepNormGrad( | |||
| 287 | 286 | ||
| 288 | ## aclnnDeepNormGrad | 287 | ## aclnnDeepNormGrad |
| 289 | 288 | ||
| 290 | -- **参数说明:** | 289 | +- **参数说明** |
| 291 | 290 | ||
| 292 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 291 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 293 | <col style="width: 173px"> | 292 | <col style="width: 173px"> |
| @@ -324,7 +323,7 @@ aclnnStatus aclnnDeepNormGrad( | |||
| 324 | </tbody> | 323 | </tbody> |
| 325 | </table> | 324 | </table> |
| 326 | 325 | ||
| 327 | -- **返回值:** | 326 | +- **返回值** |
| 328 | 327 | ||
| 329 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 328 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 330 | 329 | ||
| @@ -586,4 +585,4 @@ int main() | |||
| 586 | aclFinalize(); | 585 | aclFinalize(); |
| 587 | return 0; | 586 | return 0; |
| 588 | } | 587 | } |
| 589 | -``` | 588 | +``` |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | × | | 11 | | <term>Atlas 推理系列产品</term> | × | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 算子功能:DuaQuantizeAddLayerNorm是一个复杂的计算,结合了量化、加法和层归一化(Layer Normalization)的功能。 | 16 | - 算子功能:DuaQuantizeAddLayerNorm是一个复杂的计算,结合了量化、加法和层归一化(Layer Normalization)的功能。 |
| @@ -122,7 +121,7 @@ | |||
| 122 | <tr> | 121 | <tr> |
| 123 | <td>dtype</td> | 122 | <td>dtype</td> |
| 124 | <td>必选属性</td> | 123 | <td>必选属性</td> |
| 125 | - <ul><li>指定量化后的输出张量y的数据类型。</li><li>没有默认值。</li></ul></td> | 124 | + <td><ul><li>指定量化后的输出张量y的数据类型。</li><li>没有默认值。</li></ul></td> |
| 126 | <td>INT</td> | 125 | <td>INT</td> |
| 127 | <td>-</td> | 126 | <td>-</td> |
| 128 | </tr> | 127 | </tr> |
| @@ -178,4 +177,4 @@ | |||
| 178 | 177 | ||
| 179 | | 调用方式 | 样例代码 | 说明 | | 178 | | 调用方式 | 样例代码 | 说明 | |
| 180 | | ---------------- | --------------------------- | --------------------------------------------------- | | 179 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 181 | -| 图模式 | [test_geir_dua_quantize_add_layer_norm](examples/test_geir_dua_quantize_add_layer_norm.cpp) | 通过[算子IR](op_graph/dua_quantize_add_layer_norm_proto.h)构图方式调用DuaQuantizeAddLayerNorm算子。 | | 180 | +| 图模式 | [test_geir_dua_quantize_add_layer_norm](examples/test_geir_dua_quantize_add_layer_norm.cpp) | 通过[算子IR](op_graph/dua_quantize_add_layer_norm_proto.h)构图方式调用DuaQuantizeAddLayerNorm算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:GemmaRmsNorm算子是大模型常用的归一化操作,相比RmsNorm算子,在计算时对gamma执行了+1操作。 | 18 | - 接口功能:GemmaRmsNorm算子是大模型常用的归一化操作,相比RmsNorm算子,在计算时对gamma执行了+1操作。 |
| @@ -48,7 +47,7 @@ aclnnStatus aclnnGemmaRmsNorm( | |||
| 48 | 47 | ||
| 49 | ## aclnnGemmaRmsNormGetWorkspaceSize | 48 | ## aclnnGemmaRmsNormGetWorkspaceSize |
| 50 | 49 | ||
| 51 | -- **参数说明:** | 50 | +- **参数说明** |
| 52 | 51 | ||
| 53 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 52 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 54 | <col style="width: 170px"> | 53 | <col style="width: 170px"> |
| @@ -145,7 +144,7 @@ aclnnStatus aclnnGemmaRmsNorm( | |||
| 145 | </tbody> | 144 | </tbody> |
| 146 | </table> | 145 | </table> |
| 147 | 146 | ||
| 148 | -- **返回值:** | 147 | +- **返回值** |
| 149 | 148 | ||
| 150 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 149 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 151 | 150 | ||
| @@ -183,7 +182,7 @@ aclnnStatus aclnnGemmaRmsNorm( | |||
| 183 | 182 | ||
| 184 | ## aclnnGemmaRmsNorm | 183 | ## aclnnGemmaRmsNorm |
| 185 | 184 | ||
| 186 | -- **参数说明:** | 185 | +- **参数说明** |
| 187 | 186 | ||
| 188 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 187 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 189 | <col style="width: 173px"> | 188 | <col style="width: 173px"> |
| @@ -220,8 +219,7 @@ aclnnStatus aclnnGemmaRmsNorm( | |||
| 220 | </tbody> | 219 | </tbody> |
| 221 | </table> | 220 | </table> |
| 222 | 221 | ||
| 223 | - | 222 | +- **返回值** |
| 224 | -- **返回值:** | ||
| 225 | 223 | ||
| 226 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 224 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 227 | 225 | ||
| @@ -240,6 +238,7 @@ aclnnStatus aclnnGemmaRmsNorm( | |||
| 240 | - 当输入是Inf时,输出为Inf。 | 238 | - 当输入是Inf时,输出为Inf。 |
| 241 | - 当输入是NaN时,输出为NaN。 | 239 | - 当输入是NaN时,输出为NaN。 |
| 242 | - 各平台支持数据类型说明: | 240 | - 各平台支持数据类型说明: |
| 241 | + | ||
| 243 | | `x`数据类型 | `gamma`数据类型 | `yOut`数据类型 | `rstdOut`数据类型 | | 242 | | `x`数据类型 | `gamma`数据类型 | `yOut`数据类型 | `rstdOut`数据类型 | |
| 244 | | -------- | -------- | -------- | -------- | | 243 | | -------- | -------- | -------- | -------- | |
| 245 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT32 | | 244 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT32 | |
| @@ -411,4 +410,4 @@ int main() | |||
| 411 | aclFinalize(); | 410 | aclFinalize(); |
| 412 | return 0; | 411 | return 0; |
| 413 | } | 412 | } |
| 414 | -``` | 413 | +``` |
| @@ -1,3 +1,3 @@ | |||
| 1 | # GroupNorm | 1 | # GroupNorm |
| 2 | 2 | ||
| 3 | -本目录仅包含GroupNorm算子对应的aclnn接口;如您想要贡献该算子的AscendC实现,请参考[贡献流程](../../CONTRIBUTING.md)。 | 3 | +本目录仅包含GroupNorm算子对应的aclnn接口;如您想要贡献该算子的AscendC实现,请参考[贡献流程](../../CONTRIBUTING.md)。 |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | √ | | 13 | | <term>Atlas 推理系列产品</term> | √ | |
| 14 | | <term>Atlas 训练系列产品</term> | √ | | 14 | | <term>Atlas 训练系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:计算输入self的组归一化结果out,均值meanOut,标准差的倒数rstdOut。 | 18 | - 接口功能:计算输入self的组归一化结果out,均值meanOut,标准差的倒数rstdOut。 |
| @@ -64,7 +63,7 @@ aclnnStatus aclnnGroupNorm( | |||
| 64 | 63 | ||
| 65 | ## aclnnGroupNormGetWorkspaceSize | 64 | ## aclnnGroupNormGetWorkspaceSize |
| 66 | 65 | ||
| 67 | -- **参数说明:** | 66 | +- **参数说明** |
| 68 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 67 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 69 | <col style="width: 170px"> | 68 | <col style="width: 170px"> |
| 70 | <col style="width: 120px"> | 69 | <col style="width: 120px"> |
| @@ -127,7 +126,6 @@ aclnnStatus aclnnGroupNorm( | |||
| 127 | <td>-</td> | 126 | <td>-</td> |
| 128 | <td>-</td> | 127 | <td>-</td> |
| 129 | </tr> | 128 | </tr> |
| 130 | - </tr> | ||
| 131 | <tr> | 129 | <tr> |
| 132 | <td>C(int64_t)</td> | 130 | <td>C(int64_t)</td> |
| 133 | <td>输入</td> | 131 | <td>输入</td> |
| @@ -148,7 +146,6 @@ aclnnStatus aclnnGroupNorm( | |||
| 148 | <td>-</td> | 146 | <td>-</td> |
| 149 | <td>-</td> | 147 | <td>-</td> |
| 150 | </tr> | 148 | </tr> |
| 151 | - </tr> | ||
| 152 | <tr> | 149 | <tr> |
| 153 | <td>group(int64_t)</td> | 150 | <td>group(int64_t)</td> |
| 154 | <td>输入</td> | 151 | <td>输入</td> |
| @@ -226,8 +223,7 @@ aclnnStatus aclnnGroupNorm( | |||
| 226 | 223 | ||
| 227 | 参数`self`、`gamma`、`beta`、`out`、`meanOut`、`rstdOut`的数据类型不支持BFLOAT16。 | 224 | 参数`self`、`gamma`、`beta`、`out`、`meanOut`、`rstdOut`的数据类型不支持BFLOAT16。 |
| 228 | 225 | ||
| 229 | - | 226 | +- **返回值** |
| 230 | -- **返回值:** | ||
| 231 | 227 | ||
| 232 | aclnnStatus: 返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 228 | aclnnStatus: 返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 233 | 229 | ||
| @@ -302,7 +298,7 @@ aclnnStatus aclnnGroupNorm( | |||
| 302 | 298 | ||
| 303 | ## aclnnGroupNorm | 299 | ## aclnnGroupNorm |
| 304 | 300 | ||
| 305 | -- **参数说明:** | 301 | +- **参数说明** |
| 306 | 302 | ||
| 307 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 303 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 308 | <col style="width: 173px"> | 304 | <col style="width: 173px"> |
| @@ -339,8 +335,7 @@ aclnnStatus aclnnGroupNorm( | |||
| 339 | </tbody> | 335 | </tbody> |
| 340 | </table> | 336 | </table> |
| 341 | 337 | ||
| 342 | - | 338 | +- **返回值** |
| 343 | -- **返回值:** | ||
| 344 | 339 | ||
| 345 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 340 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 346 | 341 | ||
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | × | | 11 | | <term>Atlas 推理系列产品</term> | × | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 算子功能:GroupNorm用于计算输入张量的组归一化结果,均值,标准差的倒数,该算子是对GroupNorm的反向计算。用于计算输入张量的梯度,以便在反向传播过程中更新模型参数。 | 16 | - 算子功能:GroupNorm用于计算输入张量的组归一化结果,均值,标准差的倒数,该算子是对GroupNorm的反向计算。用于计算输入张量的梯度,以便在反向传播过程中更新模型参数。 |
| @@ -31,7 +30,6 @@ | |||
| 31 | \end{bmatrix} | 30 | \end{bmatrix} |
| 32 | $$ | 31 | $$ |
| 33 | 32 | ||
| 34 | - | ||
| 35 | ## 参数说明 | 33 | ## 参数说明 |
| 36 | 34 | ||
| 37 | <table style="undefined;table-layout: fixed; width: 1005px"><colgroup> | 35 | <table style="undefined;table-layout: fixed; width: 1005px"><colgroup> |
| @@ -154,4 +152,4 @@ | |||
| 154 | | 调用方式 | 样例代码 | 说明 | | 152 | | 调用方式 | 样例代码 | 说明 | |
| 155 | | ---------------- | --------------------------- | --------------------------------------------------- | | 153 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 156 | | aclnn接口 | [test_aclnn_group_norm_grad](examples/test_aclnn_group_norm_grad.cpp) | 通过[aclnnGroupNormBackward](docs/aclnnGroupNormBackward.md)接口方式调用GroupNormGrad算子。 | | 154 | | aclnn接口 | [test_aclnn_group_norm_grad](examples/test_aclnn_group_norm_grad.cpp) | 通过[aclnnGroupNormBackward](docs/aclnnGroupNormBackward.md)接口方式调用GroupNormGrad算子。 | |
| 157 | -| 图模式 | - | 通过[算子IR](op_graph/group_norm_grad_proto.h)构图方式调用GroupNormGrad算子。 | | 155 | +| 图模式 | - | 通过[算子IR](op_graph/group_norm_grad_proto.h)构图方式调用GroupNormGrad算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | √ | | 14 | | <term>Atlas 训练系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:[aclnnGroupNorm](../../group_norm/docs/aclnnGroupNorm.md)的反向计算。用于计算输入张量的梯度,以便在反向传播过程中更新模型参数。 | 18 | - 接口功能:[aclnnGroupNorm](../../group_norm/docs/aclnnGroupNorm.md)的反向计算。用于计算输入张量的梯度,以便在反向传播过程中更新模型参数。 |
| @@ -66,7 +65,7 @@ aclnnStatus aclnnGroupNormBackward( | |||
| 66 | 65 | ||
| 67 | ## aclnnGroupNormBackwardGetWorkspaceSize | 66 | ## aclnnGroupNormBackwardGetWorkspaceSize |
| 68 | 67 | ||
| 69 | -- **参数说明:** | 68 | +- **参数说明** |
| 70 | 69 | ||
| 71 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 70 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 72 | <col style="width: 170px"> | 71 | <col style="width: 170px"> |
| @@ -255,6 +254,7 @@ aclnnStatus aclnnGroupNormBackward( | |||
| 255 | - <term>Ascend 950PR/Ascend 950DT</term>: | 254 | - <term>Ascend 950PR/Ascend 950DT</term>: |
| 256 | 255 | ||
| 257 | 参数`mean`与`gradOut`支持的数据类型对应关系如下: | 256 | 参数`mean`与`gradOut`支持的数据类型对应关系如下: |
| 257 | + | ||
| 258 | |输入参数 | gradOut | mean | | 258 | |输入参数 | gradOut | mean | |
| 259 | |--|--|--| | 259 | |--|--|--| |
| 260 | |数据类型 | FLOAT32 | FLOAT32 | | 260 | |数据类型 | FLOAT32 | FLOAT32 | |
| @@ -263,7 +263,7 @@ aclnnStatus aclnnGroupNormBackward( | |||
| 263 | |数据类型 | BFLOAT16 | BFLOAT16 | | 263 | |数据类型 | BFLOAT16 | BFLOAT16 | |
| 264 | |数据类型 | BFLOAT16 | FLOAT32 | | 264 | |数据类型 | BFLOAT16 | FLOAT32 | |
| 265 | 265 | ||
| 266 | -- **返回值:** | 266 | +- **返回值** |
| 267 | 267 | ||
| 268 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 268 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 269 | 269 | ||
| @@ -338,7 +338,7 @@ aclnnStatus aclnnGroupNormBackward( | |||
| 338 | 338 | ||
| 339 | ## aclnnGroupNormBackward | 339 | ## aclnnGroupNormBackward |
| 340 | 340 | ||
| 341 | -- **参数说明:** | 341 | +- **参数说明** |
| 342 | 342 | ||
| 343 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 343 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 344 | <col style="width: 173px"> | 344 | <col style="width: 173px"> |
| @@ -375,7 +375,7 @@ aclnnStatus aclnnGroupNormBackward( | |||
| 375 | </tbody> | 375 | </tbody> |
| 376 | </table> | 376 | </table> |
| 377 | 377 | ||
| 378 | -- **返回值:** | 378 | +- **返回值** |
| 379 | 379 | ||
| 380 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 380 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 381 | 381 | ||
| @@ -617,4 +617,4 @@ int main() | |||
| 617 | aclFinalize(); | 617 | aclFinalize(); |
| 618 | return 0; | 618 | return 0; |
| 619 | } | 619 | } |
| 620 | -``` | 620 | +``` |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:计算输入self的组归一化结果out,均值meanOut,标准差的倒数rstdOut,以及silu的输出。 | 18 | - 算子功能:计算输入self的组归一化结果out,均值meanOut,标准差的倒数rstdOut,以及silu的输出。 |
| @@ -120,6 +119,7 @@ | |||
| 120 | </tbody></table> | 119 | </tbody></table> |
| 121 | 120 | ||
| 122 | - Kirin X90/Kirin 9030处理器系列产品:所有输入、输出的数据类型不支持BFLOAT16。 | 121 | - Kirin X90/Kirin 9030处理器系列产品:所有输入、输出的数据类型不支持BFLOAT16。 |
| 122 | + | ||
| 123 | ## 约束说明 | 123 | ## 约束说明 |
| 124 | 124 | ||
| 125 | 无 | 125 | 无 |
| @@ -130,4 +130,4 @@ | |||
| 130 | | ---------------- | --------------------------- | --------------------------------------------------- | | 130 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 131 | | aclnn接口 | [test_aclnn_group_norm_silu.cpp](examples/test_aclnn_group_norm_silu.cpp) | 通过[aclnnGroupNormSilu.md](docs/aclnnGroupNormSilu.md)接口方式调用GroupNormSilu算子。 | | 131 | | aclnn接口 | [test_aclnn_group_norm_silu.cpp](examples/test_aclnn_group_norm_silu.cpp) | 通过[aclnnGroupNormSilu.md](docs/aclnnGroupNormSilu.md)接口方式调用GroupNormSilu算子。 | |
| 132 | | aclnn接口 | [test_aclnn_group_norm_silu_v2.cpp](examples/test_aclnn_group_norm_silu_v2.cpp) | 通过[aclnnGroupNormSiluV2.md](docs/aclnnGroupNormSiluV2.md)接口方式调用GroupNormSilu算子。 | | 132 | | aclnn接口 | [test_aclnn_group_norm_silu_v2.cpp](examples/test_aclnn_group_norm_silu_v2.cpp) | 通过[aclnnGroupNormSiluV2.md](docs/aclnnGroupNormSiluV2.md)接口方式调用GroupNormSilu算子。 | |
| 133 | -| 图模式 | - | 通过[算子IR](op_graph/group_norm_silu_proto.h)构图方式调用GroupNormSilu算子。 | 133 | +| 图模式 | - | 通过[算子IR](op_graph/group_norm_silu_proto.h)构图方式调用GroupNormSilu算子。 |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | √ | | 13 | | <term>Atlas 推理系列产品</term> | √ | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:计算输入self的组归一化结果groupnormOut,均值meanOut,标准差的倒数rstdOut,将groupnormOut进行silu运算得到最终的输出out。 | 18 | - 接口功能:计算输入self的组归一化结果groupnormOut,均值meanOut,标准差的倒数rstdOut,将groupnormOut进行silu运算得到最终的输出out。 |
| @@ -62,7 +61,7 @@ aclnnStatus aclnnGroupNormSilu( | |||
| 62 | 61 | ||
| 63 | ## aclnnGroupNormSiluGetWorkspaceSize | 62 | ## aclnnGroupNormSiluGetWorkspaceSize |
| 64 | 63 | ||
| 65 | -- **参数说明:** | 64 | +- **参数说明** |
| 66 | 65 | ||
| 67 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 66 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 68 | <col style="width: 220px"> | 67 | <col style="width: 220px"> |
| @@ -192,7 +191,7 @@ aclnnStatus aclnnGroupNormSilu( | |||
| 192 | 191 | ||
| 193 | - <term>Ascend 950PR/Ascend 950DT</term>:meanOut和rstdOut数据类型要求与gamma和beta相同。 | 192 | - <term>Ascend 950PR/Ascend 950DT</term>:meanOut和rstdOut数据类型要求与gamma和beta相同。 |
| 194 | 193 | ||
| 195 | -- **返回值:** | 194 | +- **返回值** |
| 196 | 195 | ||
| 197 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 196 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 198 | 197 | ||
| @@ -228,7 +227,7 @@ aclnnStatus aclnnGroupNormSilu( | |||
| 228 | 227 | ||
| 229 | ## aclnnGroupNormSilu | 228 | ## aclnnGroupNormSilu |
| 230 | 229 | ||
| 231 | -- **参数说明:** | 230 | +- **参数说明** |
| 232 | 231 | ||
| 233 | <table> | 232 | <table> |
| 234 | <thead> | 233 | <thead> |
| @@ -261,7 +260,7 @@ aclnnStatus aclnnGroupNormSilu( | |||
| 261 | </tr> | 260 | </tr> |
| 262 | </tbody></table> | 261 | </tbody></table> |
| 263 | 262 | ||
| 264 | -- **返回值:** | 263 | +- **返回值** |
| 265 | 264 | ||
| 266 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 265 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 267 | 266 | ||
| @@ -480,4 +479,3 @@ int main() { | |||
| 480 | return 0; | 479 | return 0; |
| 481 | } | 480 | } |
| 482 | ``` | 481 | ``` |
| 483 | - | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | √ | | 13 | | <term>Atlas 推理系列产品</term> | √ | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:计算输入self的组归一化结果out,均值meanOut,标准差的倒数rstdOut,以及silu的输出。 | 18 | - 接口功能:计算输入self的组归一化结果out,均值meanOut,标准差的倒数rstdOut,以及silu的输出。 |
| @@ -64,7 +63,7 @@ aclnnStatus aclnnGroupNormSiluV2( | |||
| 64 | 63 | ||
| 65 | ## aclnnGroupNormSiluV2GetWorkspaceSize | 64 | ## aclnnGroupNormSiluV2GetWorkspaceSize |
| 66 | 65 | ||
| 67 | -- **参数说明:** | 66 | +- **参数说明** |
| 68 | 67 | ||
| 69 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 68 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 70 | <col style="width: 220px"> | 69 | <col style="width: 220px"> |
| @@ -204,7 +203,7 @@ aclnnStatus aclnnGroupNormSiluV2( | |||
| 204 | 203 | ||
| 205 | - <term>Ascend 950PR/Ascend 950DT</term>:meanOut和rstdOut数据类型要求与gamma和beta相同。 | 204 | - <term>Ascend 950PR/Ascend 950DT</term>:meanOut和rstdOut数据类型要求与gamma和beta相同。 |
| 206 | 205 | ||
| 207 | -- **返回值:** | 206 | +- **返回值** |
| 208 | 207 | ||
| 209 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 208 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 210 | 209 | ||
| @@ -240,7 +239,7 @@ aclnnStatus aclnnGroupNormSiluV2( | |||
| 240 | 239 | ||
| 241 | ## aclnnGroupNormSiluV2 | 240 | ## aclnnGroupNormSiluV2 |
| 242 | 241 | ||
| 243 | -- **参数说明:** | 242 | +- **参数说明** |
| 244 | 243 | ||
| 245 | <table> | 244 | <table> |
| 246 | <thead> | 245 | <thead> |
| @@ -273,7 +272,7 @@ aclnnStatus aclnnGroupNormSiluV2( | |||
| 273 | </tr> | 272 | </tr> |
| 274 | </tbody></table> | 273 | </tbody></table> |
| 275 | 274 | ||
| 276 | -- **返回值:** | 275 | +- **返回值** |
| 277 | 276 | ||
| 278 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 277 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 279 | 278 | ||
| @@ -493,4 +492,3 @@ int main() { | |||
| 493 | return 0; | 492 | return 0; |
| 494 | } | 493 | } |
| 495 | ``` | 494 | ``` |
| 496 | - | ||
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | x | | 11 | | <term>Atlas 推理系列产品</term> | x | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 接口功能:计算输入self的组归一化,输出均值meanOut,标准差的倒数rstdOut,以及对silu的输出结果进行量化的结果out。 | 16 | - 接口功能:计算输入self的组归一化,输出均值meanOut,标准差的倒数rstdOut,以及对silu的输出结果进行量化的结果out。 |
| @@ -38,7 +37,6 @@ | |||
| 38 | out = round(siluOut / quantScale) | 37 | out = round(siluOut / quantScale) |
| 39 | $$ | 38 | $$ |
| 40 | 39 | ||
| 41 | - | ||
| 42 | ## 参数说明 | 40 | ## 参数说明 |
| 43 | 41 | ||
| 44 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 42 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| @@ -193,4 +191,4 @@ | |||
| 193 | 191 | ||
| 194 | | 调用方式 | 样例代码 | 说明 | | 192 | | 调用方式 | 样例代码 | 说明 | |
| 195 | | ---------------- | --------------------------- | --------------------------------------------------- | | 193 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 196 | -| aclnn接口 | [test_aclnn_group_norm_silu_quant.cpp](examples/test_aclnn_group_norm_silu_quant.cpp) | 通过[aclnnGroupNormSiluQuant.md](docs/aclnnGroupNormSiluQuant.md)接口方式调用GroupNormSiluQuant算子。 | | 194 | +| aclnn接口 | [test_aclnn_group_norm_silu_quant.cpp](examples/test_aclnn_group_norm_silu_quant.cpp) | 通过[aclnnGroupNormSiluQuant.md](docs/aclnnGroupNormSiluQuant.md)接口方式调用GroupNormSiluQuant算子。 | |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | × | | 11 | | <term>Atlas 推理系列产品</term> | × | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 接口功能:计算输入self的组归一化,输出均值meanOut,标准差的倒数rstdOut,以及对silu的输出结果进行量化的结果out。 | 16 | - 接口功能:计算输入self的组归一化,输出均值meanOut,标准差的倒数rstdOut,以及对silu的输出结果进行量化的结果out。 |
| @@ -71,7 +70,7 @@ aclnnStatus aclnnGroupNormSiluQuant( | |||
| 71 | 70 | ||
| 72 | ## aclnnGroupNormSiluQuantGetWorkspaceSize | 71 | ## aclnnGroupNormSiluQuantGetWorkspaceSize |
| 73 | 72 | ||
| 74 | -- **参数说明:** | 73 | +- **参数说明** |
| 75 | 74 | ||
| 76 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 75 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 77 | <col style="width: 187px"> | 76 | <col style="width: 187px"> |
| @@ -217,7 +216,7 @@ aclnnStatus aclnnGroupNormSiluQuant( | |||
| 217 | </tr> | 216 | </tr> |
| 218 | </tbody></table> | 217 | </tbody></table> |
| 219 | 218 | ||
| 220 | -- **返回值:** | 219 | +- **返回值** |
| 221 | 220 | ||
| 222 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 221 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 223 | 222 | ||
| @@ -253,7 +252,7 @@ aclnnStatus aclnnGroupNormSiluQuant( | |||
| 253 | 252 | ||
| 254 | ## aclnnGroupNormSiluQuant | 253 | ## aclnnGroupNormSiluQuant |
| 255 | 254 | ||
| 256 | -- **参数说明:** | 255 | +- **参数说明** |
| 257 | 256 | ||
| 258 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 257 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 259 | <col style="width: 173px"> | 258 | <col style="width: 173px"> |
| @@ -271,7 +270,7 @@ aclnnStatus aclnnGroupNormSiluQuant( | |||
| 271 | </tbody> | 270 | </tbody> |
| 272 | </table> | 271 | </table> |
| 273 | 272 | ||
| 274 | -- **返回值:** | 273 | +- **返回值** |
| 275 | 274 | ||
| 276 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 275 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 277 | 276 | ||
| @@ -509,4 +508,3 @@ int main() { | |||
| 509 | return 0; | 508 | return 0; |
| 510 | } | 509 | } |
| 511 | ``` | 510 | ``` |
| 512 | - | ||
| @@ -133,6 +133,7 @@ | |||
| 133 | </tbody></table> | 133 | </tbody></table> |
| 134 | 134 | ||
| 135 | - Kirin X90/Kirin 9030处理器系列产品:所有输入、输出的数据类型不支持BFLOAT16。 | 135 | - Kirin X90/Kirin 9030处理器系列产品:所有输入、输出的数据类型不支持BFLOAT16。 |
| 136 | + | ||
| 136 | ## 约束说明 | 137 | ## 约束说明 |
| 137 | 138 | ||
| 138 | 无 | 139 | 无 |
| @@ -142,4 +143,4 @@ | |||
| 142 | | 调用方式 | 样例代码 | 说明 | | 143 | | 调用方式 | 样例代码 | 说明 | |
| 143 | | ---------------- | --------------------------- | --------------------------------------------------- | | 144 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 144 | | aclnn接口 | [test_aclnn_group_norm_swish.cpp](examples/test_aclnn_group_norm_swish.cpp) | 通过[aclnnGroupNormSwish](docs/aclnnGroupNormSwish.md)接口方式调用aclnnGroupNormSwish算子。 | | 145 | | aclnn接口 | [test_aclnn_group_norm_swish.cpp](examples/test_aclnn_group_norm_swish.cpp) | 通过[aclnnGroupNormSwish](docs/aclnnGroupNormSwish.md)接口方式调用aclnnGroupNormSwish算子。 | |
| 145 | -| 图模式 | - | 通过[算子IR](op_graph/group_norm_swish_proto.h)构图方式调用GroupNormSwish算子。 | | 146 | +| 图模式 | - | 通过[算子IR](op_graph/group_norm_swish_proto.h)构图方式调用GroupNormSwish算子。 | |
| @@ -69,7 +69,7 @@ aclnnStatus aclnnGroupNormSwish( | |||
| 69 | 69 | ||
| 70 | ## aclnnGroupNormSwishGetWorkspaceSize | 70 | ## aclnnGroupNormSwishGetWorkspaceSize |
| 71 | 71 | ||
| 72 | -- **参数说明:** | 72 | +- **参数说明** |
| 73 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 73 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 74 | <col style="width: 220px"> | 74 | <col style="width: 220px"> |
| 75 | <col style="width: 120px"> | 75 | <col style="width: 120px"> |
| @@ -96,7 +96,7 @@ aclnnStatus aclnnGroupNormSwish( | |||
| 96 | <td>x(aclTensor*)</td> | 96 | <td>x(aclTensor*)</td> |
| 97 | <td>输入</td> | 97 | <td>输入</td> |
| 98 | <td>待组归一化的目标张量,yOut计算公式中的x。</td> | 98 | <td>待组归一化的目标张量,yOut计算公式中的x。</td> |
| 99 | - <td><ul><li>不支持空tensor。</li><li>维度支持2D到8D,1维为N,第2维为C,要求x第0维和第1维大于0,第1维要求能被group整除。</td> | 99 | + <td><ul><li>不支持空tensor。</li><li>维度支持2D到8D,1维为N,第2维为C,要求x第0维和第1维大于0,第1维要求能被group整除。</li></ul></td> |
| 100 | <td>FLOAT16、FLOAT、BFLOAT16</td> | 100 | <td>FLOAT16、FLOAT、BFLOAT16</td> |
| 101 | <td>ND</td> | 101 | <td>ND</td> |
| 102 | <td>2-8</td> | 102 | <td>2-8</td> |
| @@ -106,7 +106,7 @@ aclnnStatus aclnnGroupNormSwish( | |||
| 106 | <td>gamma(aclTensor*)</td> | 106 | <td>gamma(aclTensor*)</td> |
| 107 | <td>输入</td> | 107 | <td>输入</td> |
| 108 | <td>组归一化中的gamma参数,yOut计算公式中的γ。</td> | 108 | <td>组归一化中的gamma参数,yOut计算公式中的γ。</td> |
| 109 | - <td><ul><li>不支持空tensor。</li><li>元素数量需与输入x的第1维度相同,gamma与beta的数据类型必须保持一致,且数据类型与x相同或者为FLOAT。</td> | 109 | + <td><ul><li>不支持空tensor。</li><li>元素数量需与输入x的第1维度相同,gamma与beta的数据类型必须保持一致,且数据类型与x相同或者为FLOAT。</li></ul></td> |
| 110 | <td>FLOAT16、FLOAT、BFLOAT16</td> | 110 | <td>FLOAT16、FLOAT、BFLOAT16</td> |
| 111 | <td>ND</td> | 111 | <td>ND</td> |
| 112 | <td>1</td> | 112 | <td>1</td> |
| @@ -116,7 +116,7 @@ aclnnStatus aclnnGroupNormSwish( | |||
| 116 | <td>beta(aclTensor*)</td> | 116 | <td>beta(aclTensor*)</td> |
| 117 | <td>输入</td> | 117 | <td>输入</td> |
| 118 | <td>组归一化中的 beta 参数,yOut计算公式中的β。</td> | 118 | <td>组归一化中的 beta 参数,yOut计算公式中的β。</td> |
| 119 | - <td><ul><li>不支持空tensor。</li><li>元素数量需与输入x的第1维度相同,gamma与beta的数据类型必须保持一致,且数据类型与x相同或者为FLOAT。</td> | 119 | + <td><ul><li>不支持空tensor。</li><li>元素数量需与输入x的第1维度相同,gamma与beta的数据类型必须保持一致,且数据类型与x相同或者为FLOAT。</li></ul></td> |
| 120 | <td>FLOAT16、FLOAT、BFLOAT16</td> | 120 | <td>FLOAT16、FLOAT、BFLOAT16</td> |
| 121 | <td>ND</td> | 121 | <td>ND</td> |
| 122 | <td>2</td> | 122 | <td>2</td> |
| @@ -224,7 +224,7 @@ aclnnStatus aclnnGroupNormSwish( | |||
| 224 | </tr> | 224 | </tr> |
| 225 | </tbody></table> | 225 | </tbody></table> |
| 226 | 226 | ||
| 227 | -- **返回值:** | 227 | +- **返回值** |
| 228 | 228 | ||
| 229 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 229 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 230 | 230 | ||
| @@ -257,7 +257,7 @@ aclnnStatus aclnnGroupNormSwish( | |||
| 257 | 257 | ||
| 258 | ## aclnnGroupNormSwish | 258 | ## aclnnGroupNormSwish |
| 259 | 259 | ||
| 260 | -- **参数说明:** | 260 | +- **参数说明** |
| 261 | <table> | 261 | <table> |
| 262 | <thead> | 262 | <thead> |
| 263 | <tr> | 263 | <tr> |
| @@ -289,7 +289,7 @@ aclnnStatus aclnnGroupNormSwish( | |||
| 289 | </tr> | 289 | </tr> |
| 290 | </tbody></table> | 290 | </tbody></table> |
| 291 | 291 | ||
| 292 | -- **返回值:** | 292 | +- **返回值** |
| 293 | 293 | ||
| 294 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 294 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 295 | 295 | ||
| @@ -494,4 +494,3 @@ int main() { | |||
| 494 | return 0; | 494 | return 0; |
| 495 | } | 495 | } |
| 496 | ``` | 496 | ``` |
| 497 | - | ||
| @@ -11,7 +11,6 @@ | |||
| 11 | 11 | ||
| 12 | - 算子功能:[aclnnGroupNormSwish](../../norm/group_norm_swish/docs/aclnnGroupNormSwish.md)的反向操作。 | 12 | - 算子功能:[aclnnGroupNormSwish](../../norm/group_norm_swish/docs/aclnnGroupNormSwish.md)的反向操作。 |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 参数说明 | 14 | ## 参数说明 |
| 16 | 15 | ||
| 17 | <table style="undefined;table-layout: fixed; width: 1005px"><colgroup> | 16 | <table style="undefined;table-layout: fixed; width: 1005px"><colgroup> |
| @@ -139,4 +138,4 @@ | |||
| 139 | | 调用方式 | 样例代码 | 说明 | | 138 | | 调用方式 | 样例代码 | 说明 | |
| 140 | | ---------------- | --------------------------- | --------------------------------------------------- | | 139 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 141 | | aclnn接口 | [test_aclnn_group_norm_swish_grad.cpp](examples/test_aclnn_group_norm_swish_grad.cpp) | 通过[aclnnGroupNormSwishGrad](docs/aclnnGroupNormSwishGrad.md)接口方式调用GroupNormSwishGrad算子。 | | 140 | | aclnn接口 | [test_aclnn_group_norm_swish_grad.cpp](examples/test_aclnn_group_norm_swish_grad.cpp) | 通过[aclnnGroupNormSwishGrad](docs/aclnnGroupNormSwishGrad.md)接口方式调用GroupNormSwishGrad算子。 | |
| 142 | -| 图模式 | - | 通过[算子IR](op_graph/group_norm_swish_grad_proto.h)构图方式调用GroupNormSwishGrad算子。 | | 141 | +| 图模式 | - | 通过[算子IR](op_graph/group_norm_swish_grad_proto.h)构图方式调用GroupNormSwishGrad算子。 | |
| @@ -51,7 +51,8 @@ aclnnStatus aclnnGroupNormSwishGrad( | |||
| 51 | 51 | ||
| 52 | ## aclnnGroupNormSwishGradGetWorkspaceSize | 52 | ## aclnnGroupNormSwishGradGetWorkspaceSize |
| 53 | 53 | ||
| 54 | -- **参数说明:** | 54 | +- **参数说明** |
| 55 | + | ||
| 55 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 56 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 56 | <col style="width: 220px"> | 57 | <col style="width: 220px"> |
| 57 | <col style="width: 120px"> | 58 | <col style="width: 120px"> |
| @@ -78,7 +79,7 @@ aclnnStatus aclnnGroupNormSwishGrad( | |||
| 78 | <td>dy(aclTensor*)</td> | 79 | <td>dy(aclTensor*)</td> |
| 79 | <td>输入</td> | 80 | <td>输入</td> |
| 80 | <td>反向计算的梯度。</td> | 81 | <td>反向计算的梯度。</td> |
| 81 | - <td><ul><li>不支持空tensor。</li><li>维度支持2D到8D,1维为N,第2维为C。</td> | 82 | + <td><ul><li>不支持空tensor。</li><li>维度支持2D到8D,1维为N,第2维为C。</li></ul></td> |
| 82 | <td>FLOAT16、FLOAT、BFLOAT16</td> | 83 | <td>FLOAT16、FLOAT、BFLOAT16</td> |
| 83 | <td>ND</td> | 84 | <td>ND</td> |
| 84 | <td>2-8</td> | 85 | <td>2-8</td> |
| @@ -88,7 +89,7 @@ aclnnStatus aclnnGroupNormSwishGrad( | |||
| 88 | <td>mean(aclTensor*)</td> | 89 | <td>mean(aclTensor*)</td> |
| 89 | <td>输入</td> | 90 | <td>输入</td> |
| 90 | <td>正向计算的第二个输出,表示input分组后每个组的均值。</td> | 91 | <td>正向计算的第二个输出,表示input分组后每个组的均值。</td> |
| 91 | - <td><ul><li>不支持空tensor。</li><li>数据类型与gamma相同,其中N与dy的第0维度保持一致。</td> | 92 | + <td><ul><li>不支持空tensor。</li><li>数据类型与gamma相同,其中N与dy的第0维度保持一致。</li></ul></td> |
| 92 | <td>FLOAT16、FLOAT、BFLOAT16</td> | 93 | <td>FLOAT16、FLOAT、BFLOAT16</td> |
| 93 | <td>ND</td> | 94 | <td>ND</td> |
| 94 | <td>2</td> | 95 | <td>2</td> |
| @@ -98,7 +99,7 @@ aclnnStatus aclnnGroupNormSwishGrad( | |||
| 98 | <td>rstd(aclTensor*)</td> | 99 | <td>rstd(aclTensor*)</td> |
| 99 | <td>输入</td> | 100 | <td>输入</td> |
| 100 | <td>正向计算的第三个输出,表示input分组后每个组的标准差倒数。</td> | 101 | <td>正向计算的第三个输出,表示input分组后每个组的标准差倒数。</td> |
| 101 | - <td><ul><li>不支持空tensor。</li><li>数据类型与gamma相同,其中N与dy的第0维度保持一致。</td> | 102 | + <td><ul><li>不支持空tensor。</li><li>数据类型与gamma相同,其中N与dy的第0维度保持一致。</li></ul></td> |
| 102 | <td>FLOAT16、FLOAT、BFLOAT16</td> | 103 | <td>FLOAT16、FLOAT、BFLOAT16</td> |
| 103 | <td>ND</td> | 104 | <td>ND</td> |
| 104 | <td>2</td> | 105 | <td>2</td> |
| @@ -108,7 +109,7 @@ aclnnStatus aclnnGroupNormSwishGrad( | |||
| 108 | <td>x(aclTensor*)</td> | 109 | <td>x(aclTensor*)</td> |
| 109 | <td>输入</td> | 110 | <td>输入</td> |
| 110 | <td>正向的输入x。</td> | 111 | <td>正向的输入x。</td> |
| 111 | - <td><ul><li>不支持空tensor。</li><li>数据类型和shape与dy相同。</td> | 112 | + <td><ul><li>不支持空tensor。</li><li>数据类型和shape与dy相同。</li></ul></td> |
| 112 | <td>FLOAT16、FLOAT、BFLOAT16</td> | 113 | <td>FLOAT16、FLOAT、BFLOAT16</td> |
| 113 | <td>ND</td> | 114 | <td>ND</td> |
| 114 | <td>2-8</td> | 115 | <td>2-8</td> |
| @@ -118,7 +119,7 @@ aclnnStatus aclnnGroupNormSwishGrad( | |||
| 118 | <td>gamma(aclTensor*)</td> | 119 | <td>gamma(aclTensor*)</td> |
| 119 | <td>输入</td> | 120 | <td>输入</td> |
| 120 | <td>每个channel的缩放系数。</td> | 121 | <td>每个channel的缩放系数。</td> |
| 121 | - <td><ul><li>不支持空tensor。</li><li>数据类型和维度与dy相同,元素个数需要等于C</td> | 122 | + <td><ul><li>不支持空tensor。</li><li>数据类型和维度与dy相同,元素个数需要等于C。</li></ul></td> |
| 122 | <td>FLOAT16、FLOAT、BFLOAT16</td> | 123 | <td>FLOAT16、FLOAT、BFLOAT16</td> |
| 123 | <td>ND</td> | 124 | <td>ND</td> |
| 124 | <td>1</td> | 125 | <td>1</td> |
| @@ -128,7 +129,7 @@ aclnnStatus aclnnGroupNormSwishGrad( | |||
| 128 | <td>beta(aclTensor*)</td> | 129 | <td>beta(aclTensor*)</td> |
| 129 | <td>输入</td> | 130 | <td>输入</td> |
| 130 | <td>每个channel的偏移系数。</td> | 131 | <td>每个channel的偏移系数。</td> |
| 131 | - <td><ul><li>不支持空tensor。</li><li>数据类型和维度与dy相同,元素个数需要等于C</td> | 132 | + <td><ul><li>不支持空tensor。</li><li>数据类型和维度与dy相同,元素个数需要等于C。</li></ul></td> |
| 132 | <td>FLOAT16、FLOAT、BFLOAT16</td> | 133 | <td>FLOAT16、FLOAT、BFLOAT16</td> |
| 133 | <td>ND</td> | 134 | <td>ND</td> |
| 134 | <td>1</td> | 135 | <td>1</td> |
| @@ -236,7 +237,7 @@ aclnnStatus aclnnGroupNormSwishGrad( | |||
| 236 | </tr> | 237 | </tr> |
| 237 | </tbody></table> | 238 | </tbody></table> |
| 238 | 239 | ||
| 239 | -- **返回值:** | 240 | +- **返回值** |
| 240 | 241 | ||
| 241 | aclnnStatus: 返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 242 | aclnnStatus: 返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 242 | 243 | ||
| @@ -275,7 +276,7 @@ aclnnStatus aclnnGroupNormSwishGrad( | |||
| 275 | 276 | ||
| 276 | ## aclnnGroupNormSwishGrad | 277 | ## aclnnGroupNormSwishGrad |
| 277 | 278 | ||
| 278 | -- **参数说明:** | 279 | +- **参数说明** |
| 279 | <table> | 280 | <table> |
| 280 | <thead> | 281 | <thead> |
| 281 | <tr> | 282 | <tr> |
| @@ -307,7 +308,7 @@ aclnnStatus aclnnGroupNormSwishGrad( | |||
| 307 | </tr> | 308 | </tr> |
| 308 | </tbody></table> | 309 | </tbody></table> |
| 309 | 310 | ||
| 310 | -- **返回值:** | 311 | +- **返回值** |
| 311 | 312 | ||
| 312 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 313 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 313 | 314 | ||
| @@ -319,12 +320,12 @@ aclnnStatus aclnnGroupNormSwishGrad( | |||
| 319 | - 输入shape限制: | 320 | - 输入shape限制: |
| 320 | 1. numGroups大于0。 | 321 | 1. numGroups大于0。 |
| 321 | 2. C能被group整除。 | 322 | 2. C能被group整除。 |
| 322 | - 3. dy的元素个不等于 N * C * HxW。 | 323 | + 3. dy的元素个不等于$N * C * HxW$。 |
| 323 | - 4. mean的元素个数等于 N * group。 | 324 | + 4. mean的元素个数等于$N * group$。 |
| 324 | - 5. rstd的元素个数等于 N * group。 | 325 | + 5. rstd的元素个数等于$N * group$。 |
| 325 | - 6. x的元素个数等于 N * C * HxW。 | 326 | + 6. x的元素个数等于$N * C * HxW$。 |
| 326 | - 7. gamma的元素个数等于 C。 | 327 | + 7. gamma的元素个数等于C。 |
| 327 | - 8. beta的元素个数等于 C。 | 328 | + 8. beta的元素个数等于C。 |
| 328 | 9. C与group比值超不过4000。 | 329 | 9. C与group比值超不过4000。 |
| 329 | 330 | ||
| 330 | ## 调用示例 | 331 | ## 调用示例 |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | × | | 11 | | <term>Atlas 推理系列产品</term> | × | |
| 12 | | <term>Atlas 训练系列产品</term> | √ | | 12 | | <term>Atlas 训练系列产品</term> | √ | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 算子功能:计算输入x的组归一化结果out,均值meanOut,以及标准差的倒数rstdOut。 | 16 | - 算子功能:计算输入x的组归一化结果out,均值meanOut,以及标准差的倒数rstdOut。 |
| @@ -128,4 +127,4 @@ | |||
| 128 | 127 | ||
| 129 | | 调用方式 | 样例代码 | 说明 | | 128 | | 调用方式 | 样例代码 | 说明 | |
| 130 | | ---------------- | --------------------------- | --------------------------------------------------- | | 129 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 131 | -| 图模式调用 | [test_geir_group_norm_v2](./examples/test_geir_group_norm_v2.cpp) | 通过[算子IR](./op_graph/group_norm_v2_proto.h)构图方式调用GroupNormV2算子。 | | 130 | +| 图模式调用 | [test_geir_group_norm_v2](./examples/test_geir_group_norm_v2.cpp) | 通过[算子IR](./op_graph/group_norm_v2_proto.h)构图方式调用GroupNormV2算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:是一种结合了原位加法和层归一化的算法。输出参数`x1`(对应公式中的`y`)、`x2`(对应公式中的`x`)复用了输入参数`x1`、`x2`输入地址,实现InplaceAddLayerNorm功能。 | 18 | - 算子功能:是一种结合了原位加法和层归一化的算法。输出参数`x1`(对应公式中的`y`)、`x2`(对应公式中的`x`)复用了输入参数`x1`、`x2`输入地址,实现InplaceAddLayerNorm功能。 |
| @@ -132,7 +131,8 @@ | |||
| 132 | - 所有的输入参数和输出参数`x1`、`x2`的数据类型不支持BFLOAT16。 | 131 | - 所有的输入参数和输出参数`x1`、`x2`的数据类型不支持BFLOAT16。 |
| 133 | - x1、x2、beta、gamma、bias五个输入的尾轴长度必须大于等于32Bytes。 | 132 | - x1、x2、beta、gamma、bias五个输入的尾轴长度必须大于等于32Bytes。 |
| 134 | 133 | ||
| 135 | -- Kirin X90/Kirin 9030处理器系列产品:所有输入、输出的数据类型不支持BFLOAT16。 | 134 | + - Kirin X90/Kirin 9030处理器系列产品:所有输入、输出的数据类型不支持BFLOAT16。 |
| 135 | + | ||
| 136 | ## 约束说明 | 136 | ## 约束说明 |
| 137 | 137 | ||
| 138 | - 是否支持空tensor:不支持空进空出。 | 138 | - 是否支持空tensor:不支持空进空出。 |
| @@ -142,4 +142,4 @@ | |||
| 142 | 142 | ||
| 143 | | 调用方式 | 样例代码 | 说明 | | 143 | | 调用方式 | 样例代码 | 说明 | |
| 144 | | ---------------- | --------------------------- | --------------------------------------------------- | | 144 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 145 | -| 图模式 | [test_geir_inplace_add_layer_norm](examples/test_geir_inplace_add_layer_norm.cpp) | 通过[算子IR](op_graph/inplace_add_layer_norm_proto.h)构图方式调用InplaceAddLayerNorm算子。 | | 145 | +| 图模式 | [test_geir_inplace_add_layer_norm](examples/test_geir_inplace_add_layer_norm.cpp) | 通过[算子IR](op_graph/inplace_add_layer_norm_proto.h)构图方式调用InplaceAddLayerNorm算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:RmsNorm算子是大模型常用的归一化操作,相比LayerNorm算子,其去掉了减去均值的部分。AddRmsNorm算子将RmsNorm前的Add算子融合起来,减少搬入搬出操作。InplaceAddRmsNorm是一种结合了原位加法和RMS归一化的操作。 | 18 | - 算子功能:RmsNorm算子是大模型常用的归一化操作,相比LayerNorm算子,其去掉了减去均值的部分。AddRmsNorm算子将RmsNorm前的Add算子融合起来,减少搬入搬出操作。InplaceAddRmsNorm是一种结合了原位加法和RMS归一化的操作。 |
| @@ -99,8 +98,8 @@ | |||
| 99 | - <term>Atlas 推理系列产品</term>: | 98 | - <term>Atlas 推理系列产品</term>: |
| 100 | - 所有输入参数和输出参数`x1`、`x2`的数据类型不支持BFLOAT16。 | 99 | - 所有输入参数和输出参数`x1`、`x2`的数据类型不支持BFLOAT16。 |
| 101 | - 在当前产品下的使用场景下,输出参数`rstd`为无效参数,输出的值不生效。 | 100 | - 在当前产品下的使用场景下,输出参数`rstd`为无效参数,输出的值不生效。 |
| 101 | + - Kirin X90/Kirin 9030处理器系列产品:所有输入、输出的数据类型不支持BFLOAT16。 | ||
| 102 | 102 | ||
| 103 | -- Kirin X90/Kirin 9030处理器系列产品:所有输入、输出的数据类型不支持BFLOAT16。 | ||
| 104 | ## 约束说明 | 103 | ## 约束说明 |
| 105 | 104 | ||
| 106 | 无 | 105 | 无 |
| @@ -110,4 +109,4 @@ | |||
| 110 | | 调用方式 | 样例代码 | 说明 | | 109 | | 调用方式 | 样例代码 | 说明 | |
| 111 | | ---------------- | --------------------------- | --------------------------------------------------- | | 110 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 112 | | aclnn接口 | [test_aclnn_inplace_add_rms_norm](examples/test_aclnn_inplace_add_rms_norm.cpp) | 通过[aclnnInplaceAddRmsNorm](docs/aclnnInplaceAddRmsNorm.md)接口方式调用InplaceAddRmsNorm算子。 | | 111 | | aclnn接口 | [test_aclnn_inplace_add_rms_norm](examples/test_aclnn_inplace_add_rms_norm.cpp) | 通过[aclnnInplaceAddRmsNorm](docs/aclnnInplaceAddRmsNorm.md)接口方式调用InplaceAddRmsNorm算子。 | |
| 113 | -| 图模式 | - | 通过[算子IR](op_graph/inplace_add_rms_norm_proto.h)构图方式调用InplaceAddRmsNorm算子。 | | 112 | +| 图模式 | - | 通过[算子IR](op_graph/inplace_add_rms_norm_proto.h)构图方式调用InplaceAddRmsNorm算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | √ | | 13 | | <term>Atlas 推理系列产品</term> | √ | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:RmsNorm算子是大模型常用的归一化操作,相比LayerNorm算子,其去掉了减去均值的部分。AddRmsNorm算子将RmsNorm前的Add算子融合起来,减少搬入搬出操作。 | 18 | - 接口功能:RmsNorm算子是大模型常用的归一化操作,相比LayerNorm算子,其去掉了减去均值的部分。AddRmsNorm算子将RmsNorm前的Add算子融合起来,减少搬入搬出操作。 |
| @@ -52,7 +51,7 @@ aclnnStatus aclnnInplaceAddRmsNorm( | |||
| 52 | 51 | ||
| 53 | ## aclnnInplaceAddRmsNormGetWorkspaceSize | 52 | ## aclnnInplaceAddRmsNormGetWorkspaceSize |
| 54 | 53 | ||
| 55 | -- **参数说明:** | 54 | +- **参数说明** |
| 56 | 55 | ||
| 57 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 56 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 58 | <col style="width: 170px"> | 57 | <col style="width: 170px"> |
| @@ -153,7 +152,7 @@ aclnnStatus aclnnInplaceAddRmsNorm( | |||
| 153 | - 参数`x1Ref`、`x2Ref`、`gamma`的数据类型不支持BFLOAT16。 | 152 | - 参数`x1Ref`、`x2Ref`、`gamma`的数据类型不支持BFLOAT16。 |
| 154 | - 参数`rstdOut`在当前产品使用场景下无效。 | 153 | - 参数`rstdOut`在当前产品使用场景下无效。 |
| 155 | 154 | ||
| 156 | -- **返回值:** | 155 | +- **返回值** |
| 157 | 156 | ||
| 158 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 157 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 159 | 158 | ||
| @@ -186,7 +185,7 @@ aclnnStatus aclnnInplaceAddRmsNorm( | |||
| 186 | 185 | ||
| 187 | ## aclnnInplaceAddRmsNorm | 186 | ## aclnnInplaceAddRmsNorm |
| 188 | 187 | ||
| 189 | -- **参数说明:** | 188 | +- **参数说明** |
| 190 | 189 | ||
| 191 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 190 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 192 | <col style="width: 173px"> | 191 | <col style="width: 173px"> |
| @@ -223,7 +222,7 @@ aclnnStatus aclnnInplaceAddRmsNorm( | |||
| 223 | </tbody> | 222 | </tbody> |
| 224 | </table> | 223 | </table> |
| 225 | 224 | ||
| 226 | -- **返回值:** | 225 | +- **返回值** |
| 227 | 226 | ||
| 228 | aclnnStatus:返回状态码。(具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)) | 227 | aclnnStatus:返回状态码。(具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)) |
| 229 | 228 | ||
| @@ -405,4 +404,4 @@ int main() | |||
| 405 | aclFinalize(); | 404 | aclFinalize(); |
| 406 | return 0; | 405 | return 0; |
| 407 | } | 406 | } |
| 408 | -``` | 407 | +``` |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | × | | 11 | | <term>Atlas 推理系列产品</term> | × | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 算子功能:用于执行Instance Normalization(实例归一化)操作。与[BatchNorm](../batch_norm_v3/README.md)相比,InstanceNorm在每个样本的实例上进行归一化,而不是在整个批次上进行归一化,这使得该函数更适合处理图像等数据。 | 16 | - 算子功能:用于执行Instance Normalization(实例归一化)操作。与[BatchNorm](../batch_norm_v3/README.md)相比,InstanceNorm在每个样本的实例上进行归一化,而不是在整个批次上进行归一化,这使得该函数更适合处理图像等数据。 |
| @@ -106,4 +105,4 @@ | |||
| 106 | 105 | ||
| 107 | | 调用方式 | 调用样例 | 说明 | | 106 | | 调用方式 | 调用样例 | 说明 | |
| 108 | |--------------|------------------------------------------------------------------------|--------------------------------------------------------------| | 107 | |--------------|------------------------------------------------------------------------|--------------------------------------------------------------| |
| 109 | -| 图模式调用 | [test_geir_instance_norm](./examples/test_geir_instance_norm.cpp) | 通过[算子IR](op_graph/instance_norm_proto.h)构图方式调用InstanceNorm算子。 | | 108 | +| 图模式调用 | [test_geir_instance_norm](./examples/test_geir_instance_norm.cpp) | 通过[算子IR](op_graph/instance_norm_proto.h)构图方式调用InstanceNorm算子。 | |
| @@ -1,3 +1,3 @@ | |||
| 1 | # InstanceNormV3 | 1 | # InstanceNormV3 |
| 2 | 2 | ||
| 3 | -本目录仅包含InstanceNormV3算子对应的aclnn接口;如您想要贡献该算子的AscendC实现,请参考[贡献流程](../../CONTRIBUTING.md)。 | 3 | +本目录仅包含InstanceNormV3算子对应的aclnn接口;如您想要贡献该算子的AscendC实现,请参考[贡献流程](../../CONTRIBUTING.md)。 |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | √ | | 11 | | <term>Atlas 推理系列产品</term> | √ | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 接口功能:用于执行Instance Normalization(实例归一化)操作。与[aclnnBatchNorm](../../batch_norm_v3/docs/aclnnBatchNorm.md)相比,aclnnInstanceNorm在每个样本的实例上进行归一化,而不是在整个批次上进行归一化,这使得该函数更适合处理图像等数据。 | 16 | - 接口功能:用于执行Instance Normalization(实例归一化)操作。与[aclnnBatchNorm](../../batch_norm_v3/docs/aclnnBatchNorm.md)相比,aclnnInstanceNorm在每个样本的实例上进行归一化,而不是在整个批次上进行归一化,这使得该函数更适合处理图像等数据。 |
| @@ -49,7 +48,7 @@ aclnnStatus aclnnInstanceNorm( | |||
| 49 | 48 | ||
| 50 | ## aclnnInstanceNormGetWorkspaceSize | 49 | ## aclnnInstanceNormGetWorkspaceSize |
| 51 | 50 | ||
| 52 | -- **参数说明:** | 51 | +- **参数说明** |
| 53 | 52 | ||
| 54 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 53 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 55 | <col style="width: 170px"> | 54 | <col style="width: 170px"> |
| @@ -176,7 +175,7 @@ aclnnStatus aclnnInstanceNorm( | |||
| 176 | </tbody> | 175 | </tbody> |
| 177 | </table> | 176 | </table> |
| 178 | 177 | ||
| 179 | -- **返回值:** | 178 | +- **返回值** |
| 180 | 179 | ||
| 181 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 180 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 182 | 181 | ||
| @@ -234,7 +233,7 @@ aclnnStatus aclnnInstanceNorm( | |||
| 234 | 233 | ||
| 235 | ## aclnnInstanceNorm | 234 | ## aclnnInstanceNorm |
| 236 | 235 | ||
| 237 | -- **参数说明:** | 236 | +- **参数说明** |
| 238 | 237 | ||
| 239 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 238 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 240 | <col style="width: 173px"> | 239 | <col style="width: 173px"> |
| @@ -271,7 +270,7 @@ aclnnStatus aclnnInstanceNorm( | |||
| 271 | </tbody> | 270 | </tbody> |
| 272 | </table> | 271 | </table> |
| 273 | 272 | ||
| 274 | -- **返回值:** | 273 | +- **返回值** |
| 275 | 274 | ||
| 276 | aclnnStatus:返回状态码。(具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)) | 275 | aclnnStatus:返回状态码。(具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)) |
| 277 | 276 | ||
| @@ -503,4 +502,4 @@ int main() | |||
| 503 | aclFinalize(); | 502 | aclFinalize(); |
| 504 | return 0; | 503 | return 0; |
| 505 | } | 504 | } |
| 506 | -``` | 505 | +``` |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | × | | 11 | | <term>Atlas 推理系列产品</term> | × | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 算子功能:LayerNorm的反向传播。用于计算输入张量的梯度,以便在反向传播过程中更新模型参数。 | 16 | - 算子功能:LayerNorm的反向传播。用于计算输入张量的梯度,以便在反向传播过程中更新模型参数。 |
| @@ -50,6 +49,7 @@ | |||
| 50 | $$ | 49 | $$ |
| 51 | 50 | ||
| 52 | 其中,N为进行归一化计算的轴的维度,即归一化轴维度的大小。 | 51 | 其中,N为进行归一化计算的轴的维度,即归一化轴维度的大小。 |
| 52 | + | ||
| 53 | ## 参数说明 | 53 | ## 参数说明 |
| 54 | 54 | ||
| 55 | <table style="undefined;table-layout: fixed; width: 1005px"><colgroup> | 55 | <table style="undefined;table-layout: fixed; width: 1005px"><colgroup> |
| @@ -71,62 +71,61 @@ | |||
| 71 | <tr> | 71 | <tr> |
| 72 | <td>dy</td> | 72 | <td>dy</td> |
| 73 | <td>输入</td> | 73 | <td>输入</td> |
| 74 | - <td><ul><li>不支持空Tensor。<li>表示反向计算的梯度张量,对应计算公式中的`gradOut`。<li>与输入`x`的数据类型相同。<li>shape与`x`的shape相等,为[A1,...,Ai,R1,...,Rj]。</li></ul></td> | 74 | + <td><ul><li>不支持空Tensor。</li><li>表示反向计算的梯度张量,对应计算公式中的`gradOut`。</li><li>与输入`x`的数据类型相同。</li><li>shape与`x`的shape相等,为[A1,...,Ai,R1,...,Rj]。</li></ul></td> |
| 75 | <td>FLOAT32、FLOAT16、BFLOAT16</td> | 75 | <td>FLOAT32、FLOAT16、BFLOAT16</td> |
| 76 | <td>ND</td> | 76 | <td>ND</td> |
| 77 | </tr> | 77 | </tr> |
| 78 | <tr> | 78 | <tr> |
| 79 | <td>x</td> | 79 | <td>x</td> |
| 80 | <td>输入</td> | 80 | <td>输入</td> |
| 81 | - <td><ul><li>不支持空Tensor。<li>正向计算的首个输入,对应计算公式中的`input`。<li>与输入`dy`的数据类型相同。<li>shape与`dy`的shape相等,为[A1,...,Ai,R1,...,Rj]。</li></ul></td> | 81 | + <td><ul><li>不支持空Tensor。</li><li>正向计算的首个输入,对应计算公式中的`input`。</li><li>与输入`dy`的数据类型相同。</li><li>shape与`dy`的shape相等,为[A1,...,Ai,R1,...,Rj]。</li></ul></td> |
| 82 | <td>FLOAT32、FLOAT16、BFLOAT16</td> | 82 | <td>FLOAT32、FLOAT16、BFLOAT16</td> |
| 83 | <td>ND</td> | 83 | <td>ND</td> |
| 84 | </tr> | 84 | </tr> |
| 85 | <tr> | 85 | <tr> |
| 86 | <td>variance</td> | 86 | <td>variance</td> |
| 87 | <td>输入</td> | 87 | <td>输入</td> |
| 88 | - <td><ul><li>不支持空Tensor。<li>正向计算的第三个输出,表示`x`的方差,对应计算公式中的`variance`。<li>与输入mean的数据类型相同且位宽不低于输入`x`的数据类型位宽。<li>shape与`mean`的shape相等,为[A1,...,Ai,1,...,1],Ai后共有j个1,与需要norm的轴长度保持相同。</li></ul></td> | 88 | + <td><ul><li>不支持空Tensor。</li><li>正向计算的第三个输出,表示`x`的方差,对应计算公式中的`variance`。</li><li>与输入mean的数据类型相同且位宽不低于输入`x`的数据类型位宽。</li><li>shape与`mean`的shape相等,为[A1,...,Ai,1,...,1],Ai后共有j个1,与需要norm的轴长度保持相同。</li></ul></td> |
| 89 | <td>FLOAT32、FLOAT16、BFLOAT16</td> | 89 | <td>FLOAT32、FLOAT16、BFLOAT16</td> |
| 90 | <td>ND</td> | 90 | <td>ND</td> |
| 91 | </tr> | 91 | </tr> |
| 92 | <tr> | 92 | <tr> |
| 93 | <td>mean</td> | 93 | <td>mean</td> |
| 94 | <td>输入</td> | 94 | <td>输入</td> |
| 95 | - <td><ul><li>不支持空Tensor。<li>正向计算的第二个输出,表示`x`的均值,对应计算公式中的`mean`。<li>与输入`variance`的数据类型相同且位宽不低于输入`x`的数据类型位宽。<li>shape与`variance`的shape相等,为[A1,...,Ai,1,...,1],Ai后共有j个1,与需要norm的轴长度保持相同。</li></ul></td> | 95 | + <td><ul><li>不支持空Tensor。</li><li>正向计算的第二个输出,表示`x`的均值,对应计算公式中的`mean`。</li><li>与输入`variance`的数据类型相同且位宽不低于输入`x`的数据类型位宽。</li><li>shape与`variance`的shape相等,为[A1,...,Ai,1,...,1],Ai后共有j个1,与需要norm的轴长度保持相同。</li></ul></td> |
| 96 | <td>FLOAT32、FLOAT16、BFLOAT16</td> | 96 | <td>FLOAT32、FLOAT16、BFLOAT16</td> |
| 97 | <td>ND</td> | 97 | <td>ND</td> |
| 98 | </tr> | 98 | </tr> |
| 99 | <tr> | 99 | <tr> |
| 100 | <td>gamma</td> | 100 | <td>gamma</td> |
| 101 | <td>输入</td> | 101 | <td>输入</td> |
| 102 | - <td><ul><li>不支持空Tensor。<li>表示权重张量,对应公式中的`weight`。</li></ul></td> | 102 | + <td><ul><li>不支持空Tensor。</li><li>表示权重张量,对应公式中的`weight`。</li></ul></td> |
| 103 | <td>FLOAT32、FLOAT16、BFLOAT16</td> | 103 | <td>FLOAT32、FLOAT16、BFLOAT16</td> |
| 104 | <td>ND</td> | 104 | <td>ND</td> |
| 105 | </tr> | 105 | </tr> |
| 106 | <tr> | 106 | <tr> |
| 107 | <td>pd_x</td> | 107 | <td>pd_x</td> |
| 108 | <td>输出</td> | 108 | <td>输出</td> |
| 109 | - <td><ul><li>不支持空Tensor。<li>表示反向传播的输出梯度,对应计算公式中的`gradInputOut`。<li>与输入`x`的数据类型相同,shape与`x`的shape相等。</li></ul></td> | 109 | + <td><ul><li>不支持空Tensor。</li><li>表示反向传播的输出梯度,对应计算公式中的`gradInputOut`。</li><li>与输入`x`的数据类型相同,shape与`x`的shape相等。</li></ul></td> |
| 110 | <td>FLOAT32、FLOAT16、BFLOAT16</td> | 110 | <td>FLOAT32、FLOAT16、BFLOAT16</td> |
| 111 | <td>ND</td> | 111 | <td>ND</td> |
| 112 | </tr> | 112 | </tr> |
| 113 | <tr> | 113 | <tr> |
| 114 | <td>pd_gamma</td> | 114 | <td>pd_gamma</td> |
| 115 | <td>输出</td> | 115 | <td>输出</td> |
| 116 | - <td><ul><li>不支持空Tensor。<li>表示反向传播权重的梯度,对应计算公式中的`gradWeightOut`。<li>与输入`gamma`的数据类型相同,shape与`pd_beta`的shape相等。</li></ul></td> | 116 | + <td><ul><li>不支持空Tensor。</li><li>表示反向传播权重的梯度,对应计算公式中的`gradWeightOut`。</li><li>与输入`gamma`的数据类型相同,shape与`pd_beta`的shape相等。</li></ul></td> |
| 117 | <td>FLOAT32、FLOAT16、BFLOAT16</td> | 117 | <td>FLOAT32、FLOAT16、BFLOAT16</td> |
| 118 | <td>ND</td> | 118 | <td>ND</td> |
| 119 | </tr> | 119 | </tr> |
| 120 | <tr> | 120 | <tr> |
| 121 | <td>pd_beta</td> | 121 | <td>pd_beta</td> |
| 122 | <td>输出</td> | 122 | <td>输出</td> |
| 123 | - <td><ul><li>不支持空Tensor。<li>表示反向传播偏置的梯度,对应计算公式中的`gradBiasOut`。<li>与输入`gamma`的数据类型相同,shape与`pd_gamma`的shape相等。</li></ul></td> | 123 | + <td><ul><li>不支持空Tensor。</li><li>表示反向传播偏置的梯度,对应计算公式中的`gradBiasOut`。</li><li>与输入`gamma`的数据类型相同,shape与`pd_gamma`的shape相等。</li></ul></td> |
| 124 | <td>FLOAT32、FLOAT16、BFLOAT16</td> | 124 | <td>FLOAT32、FLOAT16、BFLOAT16</td> |
| 125 | <td>ND</td> | 125 | <td>ND</td> |
| 126 | </tr> | 126 | </tr> |
| 127 | </tbody></table> | 127 | </tbody></table> |
| 128 | 128 | ||
| 129 | - | ||
| 130 | ## 约束说明 | 129 | ## 约束说明 |
| 131 | 130 | ||
| 132 | 无 | 131 | 无 |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | × | | 11 | | <term>Atlas 推理系列产品</term> | × | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 算子功能:[LayerNormV4](../layer_norm_v4/README.md)的反向传播。用于计算输入张量的梯度,以便在反向传播过程中更新模型参数。 | 16 | - 算子功能:[LayerNormV4](../layer_norm_v4/README.md)的反向传播。用于计算输入张量的梯度,以便在反向传播过程中更新模型参数。 |
| @@ -130,7 +129,6 @@ | |||
| 130 | </tr> | 129 | </tr> |
| 131 | </tbody></table> | 130 | </tbody></table> |
| 132 | 131 | ||
| 133 | - | ||
| 134 | ## 约束说明 | 132 | ## 约束说明 |
| 135 | 133 | ||
| 136 | 无 | 134 | 无 |
| @@ -140,4 +138,4 @@ | |||
| 140 | | 调用方式 | 样例代码 | 说明 | | 138 | | 调用方式 | 样例代码 | 说明 | |
| 141 | | ---------------- | --------------------------- | --------------------------------------------------- | | 139 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 142 | | aclnn接口 | [test_aclnn_layer_norm_grad_v3](examples/test_aclnn_layer_norm_grad_v3.cpp) | 通过[aclnnLayerNormBackward](docs/aclnnLayerNormBackward.md)接口方式调用LayerNormGradV3算子。 | | 140 | | aclnn接口 | [test_aclnn_layer_norm_grad_v3](examples/test_aclnn_layer_norm_grad_v3.cpp) | 通过[aclnnLayerNormBackward](docs/aclnnLayerNormBackward.md)接口方式调用LayerNormGradV3算子。 | |
| 143 | -| 图模式 | - | 通过[算子IR](op_graph/layer_norm_grad_v3_proto.h)构图方式调用LayerNormGradV3算子。 | | 141 | +| 图模式 | - | 通过[算子IR](op_graph/layer_norm_grad_v3_proto.h)构图方式调用LayerNormGradV3算子。 | |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | × | | 11 | | <term>Atlas 推理系列产品</term> | × | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 算子功能:LayerNorm算子是大模型常用的归一化操作。LayerNormQuant算子将LayerNorm归一化输出和下游的量化算子融合起来,减少搬入搬出操作。 | 16 | - 算子功能:LayerNorm算子是大模型常用的归一化操作。LayerNormQuant算子将LayerNorm归一化输出和下游的量化算子融合起来,减少搬入搬出操作。 |
| @@ -142,4 +141,4 @@ | |||
| 142 | 141 | ||
| 143 | | 调用方式 | 样例代码 | 说明 | | 142 | | 调用方式 | 样例代码 | 说明 | |
| 144 | | ---------------- | --------------------------- | --------------------------------------------------- | | 143 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 145 | -| aclnn接口 | [test_aclnn_layer_norm_quant](examples/arch35/test_aclnn_layer_norm_quant.cpp) | 通过[aclnnLayerNormQuant](docs/aclnnLayerNormQuant.md)接口方式调用LayerNormQuant算子。 | | 144 | +| aclnn接口 | [test_aclnn_layer_norm_quant](examples/arch35/test_aclnn_layer_norm_quant.cpp) | 通过[aclnnLayerNormQuant](docs/aclnnLayerNormQuant.md)接口方式调用LayerNormQuant算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能 :LayerNorm算子是大模型常用的归一化操作。LayerNormQuant算子将LayerNorm归一化输出和下游的量化算子融合起来,减少搬入搬出操作。 | 18 | - 接口功能 :LayerNorm算子是大模型常用的归一化操作。LayerNormQuant算子将LayerNorm归一化输出和下游的量化算子融合起来,减少搬入搬出操作。 |
| @@ -81,7 +80,7 @@ aclnnStatus aclnnLayerNormQuant( | |||
| 81 | 80 | ||
| 82 | ## aclnnLayerNormQuantGetWorkspaceSize | 81 | ## aclnnLayerNormQuantGetWorkspaceSize |
| 83 | 82 | ||
| 84 | -- **参数说明:** | 83 | +- **参数说明** |
| 85 | 84 | ||
| 86 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 85 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 87 | <col style="width: 170px"> | 86 | <col style="width: 170px"> |
| @@ -218,7 +217,7 @@ aclnnStatus aclnnLayerNormQuant( | |||
| 218 | </tbody> | 217 | </tbody> |
| 219 | </table> | 218 | </table> |
| 220 | 219 | ||
| 221 | -- **返回值:** | 220 | +- **返回值** |
| 222 | 221 | ||
| 223 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 222 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 224 | 223 | ||
| @@ -269,7 +268,7 @@ aclnnStatus aclnnLayerNormQuant( | |||
| 269 | 268 | ||
| 270 | ## aclnnLayerNormQuant | 269 | ## aclnnLayerNormQuant |
| 271 | 270 | ||
| 272 | -- **参数说明:** | 271 | +- **参数说明** |
| 273 | 272 | ||
| 274 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 273 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 275 | <col style="width: 173px"> | 274 | <col style="width: 173px"> |
| @@ -306,7 +305,7 @@ aclnnStatus aclnnLayerNormQuant( | |||
| 306 | </tbody> | 305 | </tbody> |
| 307 | </table> | 306 | </table> |
| 308 | 307 | ||
| 309 | -- **返回值:** | 308 | +- **返回值** |
| 310 | 309 | ||
| 311 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 310 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 312 | 311 | ||
| @@ -315,7 +314,6 @@ aclnnStatus aclnnLayerNormQuant( | |||
| 315 | - 确定性计算: | 314 | - 确定性计算: |
| 316 | - aclnnLayerNormQuant默认确定性实现。 | 315 | - aclnnLayerNormQuant默认确定性实现。 |
| 317 | 316 | ||
| 318 | - | ||
| 319 | ## 调用示例 | 317 | ## 调用示例 |
| 320 | 318 | ||
| 321 | 示例代码如下,仅供参考,具体编译和执行过程请参考[编译与运行样例](../../../docs/zh/context/编译与运行样例.md)。 | 319 | 示例代码如下,仅供参考,具体编译和执行过程请参考[编译与运行样例](../../../docs/zh/context/编译与运行样例.md)。 |
| @@ -530,4 +528,4 @@ int main() | |||
| 530 | aclFinalize(); | 528 | aclFinalize(); |
| 531 | return 0; | 529 | return 0; |
| 532 | } | 530 | } |
| 533 | -``` | 531 | +``` |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | √ | | 11 | | <term>Atlas 推理系列产品</term> | √ | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 算子功能: | 16 | - 算子功能: |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能: | 18 | - 算子功能: |
| @@ -115,11 +114,11 @@ | |||
| 115 | </tbody></table> | 114 | </tbody></table> |
| 116 | 115 | ||
| 117 | - <term>Atlas 推理系列产品</term>:输入参数(除了normalized_shape)和所有输出参数的数据类型不支持BFLOAT16。 | 116 | - <term>Atlas 推理系列产品</term>:输入参数(除了normalized_shape)和所有输出参数的数据类型不支持BFLOAT16。 |
| 117 | + - Kirin X90/Kirin 9030处理器系列产品: | ||
| 118 | + - 所有输入、输出的数据类型不支持BFLOAT16。 | ||
| 119 | + - normalized_shape的数据类型不支持INT64。 | ||
| 120 | + - mean和rstd的数据类型不支持FLOAT16、BFLOAT16。 | ||
| 118 | 121 | ||
| 119 | -- Kirin X90/Kirin 9030处理器系列产品: | ||
| 120 | - - 所有输入、输出的数据类型不支持BFLOAT16。 | ||
| 121 | - - normalized_shape的数据类型不支持INT64。 | ||
| 122 | - - mean和rstd的数据类型不支持FLOAT16、BFLOAT16。 | ||
| 123 | ## 约束说明 | 122 | ## 约束说明 |
| 124 | 123 | ||
| 125 | 无 | 124 | 无 |
| @@ -131,4 +130,4 @@ | |||
| 131 | | aclnn接口 | [test_aclnn_fast_layer_norm](examples/test_aclnn_fast_layer_norm.cpp) | 通过[aclnnFastLayerNorm](docs/aclnnFastLayerNorm.md)接口方式调用LayerNormV4算子。 | | 130 | | aclnn接口 | [test_aclnn_fast_layer_norm](examples/test_aclnn_fast_layer_norm.cpp) | 通过[aclnnFastLayerNorm](docs/aclnnFastLayerNorm.md)接口方式调用LayerNormV4算子。 | |
| 132 | | aclnn接口 | [test_aclnn_layer_norm_v4](examples/test_aclnn_layer_norm_v4.cpp) | 通过[aclnnLayerNorm](docs/aclnnLayerNorm&aclnnLayerNormWithImplMode.md)接口方式调用LayerNormV4算子。 | | 131 | | aclnn接口 | [test_aclnn_layer_norm_v4](examples/test_aclnn_layer_norm_v4.cpp) | 通过[aclnnLayerNorm](docs/aclnnLayerNorm&aclnnLayerNormWithImplMode.md)接口方式调用LayerNormV4算子。 | |
| 133 | | aclnn接口 | [test_aclnn_layer_norm_with_impl_mode](examples/test_aclnn_layer_norm_with_impl_mode.cpp) | 通过[aclnnLayerNormWithImplMode](docs/aclnnLayerNorm&aclnnLayerNormWithImplMode.md)接口方式调用LayerNormV4算子。 | | 132 | | aclnn接口 | [test_aclnn_layer_norm_with_impl_mode](examples/test_aclnn_layer_norm_with_impl_mode.cpp) | 通过[aclnnLayerNormWithImplMode](docs/aclnnLayerNorm&aclnnLayerNormWithImplMode.md)接口方式调用LayerNormV4算子。 | |
| 134 | -| 图模式 | - | 通过[算子IR](op_graph/layer_norm_v4_proto.h)构图方式调用LayerNormV4算子。 | | 133 | +| 图模式 | - | 通过[算子IR](op_graph/layer_norm_v4_proto.h)构图方式调用LayerNormV4算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:对指定层进行均值为0、标准差为1的归一化计算。aclnnFastLayerNorm接口相比aclnnLayerNorm接口,整体性能提升了50%,内存与GPU保持一致,累加序优化导致精度存在差异。 | 18 | - 接口功能:对指定层进行均值为0、标准差为1的归一化计算。aclnnFastLayerNorm接口相比aclnnLayerNorm接口,整体性能提升了50%,内存与GPU保持一致,累加序优化导致精度存在差异。 |
| @@ -62,7 +61,7 @@ aclnnStatus aclnnFastLayerNorm( | |||
| 62 | 61 | ||
| 63 | ## aclnnFastLayerNormGetWorkspaceSize | 62 | ## aclnnFastLayerNormGetWorkspaceSize |
| 64 | 63 | ||
| 65 | -- **参数说明:** | 64 | +- **参数说明** |
| 66 | 65 | ||
| 67 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 66 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 68 | <col style="width: 170px"> | 67 | <col style="width: 170px"> |
| @@ -189,8 +188,7 @@ aclnnStatus aclnnFastLayerNorm( | |||
| 189 | </tbody> | 188 | </tbody> |
| 190 | </table> | 189 | </table> |
| 191 | 190 | ||
| 192 | - | 191 | +- **返回值** |
| 193 | -- **返回值:** | ||
| 194 | 192 | ||
| 195 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 193 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 196 | 194 | ||
| @@ -250,10 +248,9 @@ aclnnStatus aclnnFastLayerNorm( | |||
| 250 | </tr> | 248 | </tr> |
| 251 | </tbody></table> | 249 | </tbody></table> |
| 252 | 250 | ||
| 253 | - | ||
| 254 | ## aclnnFastLayerNorm | 251 | ## aclnnFastLayerNorm |
| 255 | 252 | ||
| 256 | -- **参数说明:** | 253 | +- **参数说明** |
| 257 | 254 | ||
| 258 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 255 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 259 | <col style="width: 173px"> | 256 | <col style="width: 173px"> |
| @@ -290,9 +287,7 @@ aclnnStatus aclnnFastLayerNorm( | |||
| 290 | </tbody> | 287 | </tbody> |
| 291 | </table> | 288 | </table> |
| 292 | 289 | ||
| 293 | - | 290 | +- **返回值** |
| 294 | - | ||
| 295 | -- **返回值:** | ||
| 296 | 291 | ||
| 297 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 292 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 298 | 293 | ||
| @@ -506,4 +501,4 @@ int main() | |||
| 506 | aclFinalize(); | 501 | aclFinalize(); |
| 507 | return 0; | 502 | return 0; |
| 508 | } | 503 | } |
| 509 | -``` | 504 | +``` |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | √ | | 11 | | <term>Atlas 推理系列产品</term> | √ | |
| 12 | | <term>Atlas 训练系列产品</term> | √ | | 12 | | <term>Atlas 训练系列产品</term> | √ | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 接口功能:返回给定张量的矩阵范数或者向量范数。 | 16 | - 接口功能:返回给定张量的矩阵范数或者向量范数。 |
| @@ -107,7 +106,6 @@ | |||
| 107 | </tr> | 106 | </tr> |
| 108 | </tbody></table> | 107 | </tbody></table> |
| 109 | 108 | ||
| 110 | - | ||
| 111 | ## 约束说明 | 109 | ## 约束说明 |
| 112 | 110 | ||
| 113 | 无 | 111 | 无 |
| @@ -117,4 +115,4 @@ | |||
| 117 | | 调用方式 | 样例代码 | 说明 | | 115 | | 调用方式 | 样例代码 | 说明 | |
| 118 | | ---------------- | --------------------------- | --------------------------------------------------- | | 116 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 119 | | aclnn接口 | [test_aclnn_norm](./examples/test_aclnn_norm.cpp) | 通过[aclnnNorm](docs/aclnnNorm.md)接口方式调用LpNormV2算子。 | | 117 | | aclnn接口 | [test_aclnn_norm](./examples/test_aclnn_norm.cpp) | 通过[aclnnNorm](docs/aclnnNorm.md)接口方式调用LpNormV2算子。 | |
| 120 | -| aclnn接口 | [test_aclnn_LinalgVectorNorm](./examples/test_aclnn_LinalgVectorNorm.cpp) | 通过[aclnnLinalgVectorNorm](docs/aclnnLinalgVectorNorm.md)接口方式调用LpNormV2算子。 | | 118 | +| aclnn接口 | [test_aclnn_LinalgVectorNorm](./examples/test_aclnn_LinalgVectorNorm.cpp) | 通过[aclnnLinalgVectorNorm](docs/aclnnLinalgVectorNorm.md)接口方式调用LpNormV2算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | √ | | 14 | | <term>Atlas 训练系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:计算输入张量的向量范数。 | 18 | - 接口功能:计算输入张量的向量范数。 |
| @@ -49,7 +48,7 @@ aclnnStatus aclnnLinalgVectorNorm( | |||
| 49 | 48 | ||
| 50 | ## aclnnLinalgVectorNormGetWorkspaceSize | 49 | ## aclnnLinalgVectorNormGetWorkspaceSize |
| 51 | 50 | ||
| 52 | -- **参数说明:** | 51 | +- **参数说明** |
| 53 | 52 | ||
| 54 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 53 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 55 | <col style="width: 170px"> | 54 | <col style="width: 170px"> |
| @@ -128,7 +127,7 @@ aclnnStatus aclnnLinalgVectorNorm( | |||
| 128 | <td>输出</td> | 127 | <td>输出</td> |
| 129 | <td>计算输出张量。对应公式中的out。</td> | 128 | <td>计算输出张量。对应公式中的out。</td> |
| 130 | <td>若keepDims为true,除dim指定维度上的size为1以外,其余维度的shape需要与self保持一致;若keepDims为false,reduce轴的维度不保留,其余维度shape需要与self一致。</td> | 129 | <td>若keepDims为true,除dim指定维度上的size为1以外,其余维度的shape需要与self保持一致;若keepDims为false,reduce轴的维度不保留,其余维度shape需要与self一致。</td> |
| 131 | - <td>FLOAT32、FLOAT16、BFLOAT16</li></ul></td> | 130 | + <td>FLOAT32、FLOAT16、BFLOAT16</td> |
| 132 | <td>ND</td> | 131 | <td>ND</td> |
| 133 | <td>0-8</td> | 132 | <td>0-8</td> |
| 134 | <td>√</td> | 133 | <td>√</td> |
| @@ -159,7 +158,7 @@ aclnnStatus aclnnLinalgVectorNorm( | |||
| 159 | - <term>Ascend 950PR/Ascend 950DT</term>:ord参数数值额外支持2147483647.0、-2147483648.0、Inf、-Inf。 | 158 | - <term>Ascend 950PR/Ascend 950DT</term>:ord参数数值额外支持2147483647.0、-2147483648.0、Inf、-Inf。 |
| 160 | - <term>Atlas 推理系列产品</term>、<term>Atlas 训练系列产品</term>、<term>Atlas 200I/500 A2 推理产品</term>:数据类型不支持BFLOAT16。 | 159 | - <term>Atlas 推理系列产品</term>、<term>Atlas 训练系列产品</term>、<term>Atlas 200I/500 A2 推理产品</term>:数据类型不支持BFLOAT16。 |
| 161 | 160 | ||
| 162 | -- **返回值**: | 161 | +- **返回值** |
| 163 | 162 | ||
| 164 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 163 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 165 | 164 | ||
| @@ -185,7 +184,7 @@ aclnnStatus aclnnLinalgVectorNorm( | |||
| 185 | </tr> | 184 | </tr> |
| 186 | <tr> | 185 | <tr> |
| 187 | <td rowspan="8">ACLNN_ERR_PARAM_INVALID</td> | 186 | <td rowspan="8">ACLNN_ERR_PARAM_INVALID</td> |
| 188 | - <td rowspan="8">161002</td> | 187 | + <td rowspan="8">161002</td></tr> |
| 189 | <tr> | 188 | <tr> |
| 190 | <td>dims超过[-N, N-1] (N表示self的维度)。</td> | 189 | <td>dims超过[-N, N-1] (N表示self的维度)。</td> |
| 191 | </tr> | 190 | </tr> |
| @@ -208,7 +207,7 @@ aclnnStatus aclnnLinalgVectorNorm( | |||
| 208 | 207 | ||
| 209 | ## aclnnLinalgVectorNorm | 208 | ## aclnnLinalgVectorNorm |
| 210 | 209 | ||
| 211 | -- **参数说明:** | 210 | +- **参数说明** |
| 212 | 211 | ||
| 213 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 212 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 214 | <col style="width: 173px"> | 213 | <col style="width: 173px"> |
| @@ -245,7 +244,7 @@ aclnnStatus aclnnLinalgVectorNorm( | |||
| 245 | </tbody> | 244 | </tbody> |
| 246 | </table> | 245 | </table> |
| 247 | 246 | ||
| 248 | -- **返回值:** | 247 | +- **返回值** |
| 249 | 248 | ||
| 250 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 249 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 251 | 250 | ||
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | √ | | 13 | | <term>Atlas 推理系列产品</term> | √ | |
| 14 | | <term>Atlas 训练系列产品</term> | √ | | 14 | | <term>Atlas 训练系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:返回给定张量的矩阵范数或者向量范数。 | 18 | - 接口功能:返回给定张量的矩阵范数或者向量范数。 |
| @@ -72,7 +71,7 @@ aclnnStatus aclnnNorm( | |||
| 72 | 71 | ||
| 73 | ## aclnnNormGetWorkspaceSize | 72 | ## aclnnNormGetWorkspaceSize |
| 74 | 73 | ||
| 75 | -- **参数说明:** | 74 | +- **参数说明** |
| 76 | 75 | ||
| 77 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 76 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 78 | <col style="width: 170px"> | 77 | <col style="width: 170px"> |
| @@ -171,7 +170,7 @@ aclnnStatus aclnnNorm( | |||
| 171 | </tbody> | 170 | </tbody> |
| 172 | </table> | 171 | </table> |
| 173 | 172 | ||
| 174 | -- **返回值**: | 173 | +- **返回值** |
| 175 | 174 | ||
| 176 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 175 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 177 | 176 | ||
| @@ -219,7 +218,7 @@ aclnnStatus aclnnNorm( | |||
| 219 | 218 | ||
| 220 | ## aclnnNorm | 219 | ## aclnnNorm |
| 221 | 220 | ||
| 222 | -- **参数说明:** | 221 | +- **参数说明** |
| 223 | 222 | ||
| 224 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 223 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 225 | <col style="width: 173px"> | 224 | <col style="width: 173px"> |
| @@ -256,7 +255,7 @@ aclnnStatus aclnnNorm( | |||
| 256 | </tbody> | 255 | </tbody> |
| 257 | </table> | 256 | </table> |
| 258 | 257 | ||
| 259 | -- **返回值:** | 258 | +- **返回值** |
| 260 | 259 | ||
| 261 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 260 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 262 | 261 | ||
| @@ -86,6 +86,7 @@ | |||
| 86 | 86 | ||
| 87 | - <term>Atlas 训练系列产品</term>:不支持BFLOAT16。 | 87 | - <term>Atlas 训练系列产品</term>:不支持BFLOAT16。 |
| 88 | - Kirin X90/Kirin 9030处理器系列产品:所有输入、输出的数据类型不支持BFLOAT16。 | 88 | - Kirin X90/Kirin 9030处理器系列产品:所有输入、输出的数据类型不支持BFLOAT16。 |
| 89 | + | ||
| 89 | ## 约束说明 | 90 | ## 约束说明 |
| 90 | 91 | ||
| 91 | 无 | 92 | 无 |
| @@ -22,7 +22,9 @@ | |||
| 22 | $$ | 22 | $$ |
| 23 | 23 | ||
| 24 | ## 函数原型 | 24 | ## 函数原型 |
| 25 | + | ||
| 25 | 每个算子分为[两段式接口](../../../docs/zh/context/两段式接口.md),必须先调用“aclnnMaskedSoftmaxWithRelPosBiasGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnMaskedSoftmaxWithRelPosBias”接口执行计算。 | 26 | 每个算子分为[两段式接口](../../../docs/zh/context/两段式接口.md),必须先调用“aclnnMaskedSoftmaxWithRelPosBiasGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnMaskedSoftmaxWithRelPosBias”接口执行计算。 |
| 27 | + | ||
| 26 | ```Cpp | 28 | ```Cpp |
| 27 | aclnnStatus aclnnMaskedSoftmaxWithRelPosBiasGetWorkspaceSize( | 29 | aclnnStatus aclnnMaskedSoftmaxWithRelPosBiasGetWorkspaceSize( |
| 28 | const aclTensor *x, | 30 | const aclTensor *x, |
| @@ -34,6 +36,7 @@ aclnnStatus aclnnMaskedSoftmaxWithRelPosBiasGetWorkspaceSize( | |||
| 34 | uint64_t *workspaceSize, | 36 | uint64_t *workspaceSize, |
| 35 | aclOpExecutor **executor) | 37 | aclOpExecutor **executor) |
| 36 | ``` | 38 | ``` |
| 39 | + | ||
| 37 | ```Cpp | 40 | ```Cpp |
| 38 | aclnnStatus aclnnMaskedSoftmaxWithRelPosBias( | 41 | aclnnStatus aclnnMaskedSoftmaxWithRelPosBias( |
| 39 | void *workspace, | 42 | void *workspace, |
| @@ -41,9 +44,10 @@ aclnnStatus aclnnMaskedSoftmaxWithRelPosBias( | |||
| 41 | aclOpExecutor *executor, | 44 | aclOpExecutor *executor, |
| 42 | aclrtStream stream) | 45 | aclrtStream stream) |
| 43 | ``` | 46 | ``` |
| 47 | + | ||
| 44 | ## aclnnMaskedSoftmaxWithRelPosBiasGetWorkspaceSize | 48 | ## aclnnMaskedSoftmaxWithRelPosBiasGetWorkspaceSize |
| 45 | 49 | ||
| 46 | -- **参数说明:** | 50 | +- **参数说明** |
| 47 | 51 | ||
| 48 | <table style="undefined;table-layout: fixed; width: 1494px"><colgroup> | 52 | <table style="undefined;table-layout: fixed; width: 1494px"><colgroup> |
| 49 | <col style="width: 146px"> | 53 | <col style="width: 146px"> |
| @@ -142,7 +146,7 @@ aclnnStatus aclnnMaskedSoftmaxWithRelPosBias( | |||
| 142 | 146 | ||
| 143 | - <term>Atlas 推理系列产品</term>:不支持BFLOAT16。 | 147 | - <term>Atlas 推理系列产品</term>:不支持BFLOAT16。 |
| 144 | 148 | ||
| 145 | -- **返回值:** | 149 | +- **返回值** |
| 146 | <p>aclnnStatus:返回状态码,具体参见<a href="../../../docs/zh/context/aclnn返回码.md">aclnn返回码</a>。</p> | 150 | <p>aclnnStatus:返回状态码,具体参见<a href="../../../docs/zh/context/aclnn返回码.md">aclnn返回码</a>。</p> |
| 147 | <p>第一段接口完成入参校验,出现以下场景报错:</p> | 151 | <p>第一段接口完成入参校验,出现以下场景报错:</p> |
| 148 | <table style="undefined;table-layout: fixed;width: 1155px"><colgroup> | 152 | <table style="undefined;table-layout: fixed;width: 1155px"><colgroup> |
| @@ -172,7 +176,7 @@ aclnnStatus aclnnMaskedSoftmaxWithRelPosBias( | |||
| 172 | 176 | ||
| 173 | ## aclnnMaskedSoftmaxWithRelPosBias | 177 | ## aclnnMaskedSoftmaxWithRelPosBias |
| 174 | 178 | ||
| 175 | -- **参数说明:** | 179 | +- **参数说明** |
| 176 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 180 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 177 | <col style="width: 173px"> | 181 | <col style="width: 173px"> |
| 178 | <col style="width: 112px"> | 182 | <col style="width: 112px"> |
| @@ -208,11 +212,12 @@ aclnnStatus aclnnMaskedSoftmaxWithRelPosBias( | |||
| 208 | </tbody> | 212 | </tbody> |
| 209 | </table> | 213 | </table> |
| 210 | 214 | ||
| 211 | -- **返回值:** | 215 | +- **返回值** |
| 212 | 216 | ||
| 213 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 217 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 214 | 218 | ||
| 215 | ## 约束说明 | 219 | ## 约束说明 |
| 220 | + | ||
| 216 | - 确定性计算: | 221 | - 确定性计算: |
| 217 | - aclnnMaskedSoftmaxWithRelPosBias默认确定性实现。 | 222 | - aclnnMaskedSoftmaxWithRelPosBias默认确定性实现。 |
| 218 | 223 | ||
| @@ -221,7 +226,8 @@ aclnnStatus aclnnMaskedSoftmaxWithRelPosBias( | |||
| 221 | - 需要保证传递给算子的shape所需要的ub空间小于AI处理器版本总ub的大小,该算子所需要的ub空间的总大小minComputeSize如下,其中s2AlignedSize 表示S2对齐32Byte后的结果。 | 226 | - 需要保证传递给算子的shape所需要的ub空间小于AI处理器版本总ub的大小,该算子所需要的ub空间的总大小minComputeSize如下,其中s2AlignedSize 表示S2对齐32Byte后的结果。 |
| 222 | 227 | ||
| 223 | - 对于attenMaskOptional存在的情况: | 228 | - 对于attenMaskOptional存在的情况: |
| 224 | - ``` | 229 | + |
| 230 | + ```tex | ||
| 225 | 对于FLOAT类型,公式如下: | 231 | 对于FLOAT类型,公式如下: |
| 226 | dtypeSize = 4; | 232 | dtypeSize = 4; |
| 227 | xSize = s2AlignedSize * dtypeSize; | 233 | xSize = s2AlignedSize * dtypeSize; |
| @@ -233,8 +239,10 @@ aclnnStatus aclnnMaskedSoftmaxWithRelPosBias( | |||
| 233 | softMaskMinTmpSize = 288; | 239 | softMaskMinTmpSize = 288; |
| 234 | minComputeSize = xSize * 16 + softMaskMinTmpSize; | 240 | minComputeSize = xSize * 16 + softMaskMinTmpSize; |
| 235 | ``` | 241 | ``` |
| 242 | + | ||
| 236 | - 对于attenMaskOptional不存在的情况: | 243 | - 对于attenMaskOptional不存在的情况: |
| 237 | - ``` | 244 | + |
| 245 | + ```tex | ||
| 238 | 对于FLOAT类型,公式如下: | 246 | 对于FLOAT类型,公式如下: |
| 239 | dtypeSize = 4; | 247 | dtypeSize = 4; |
| 240 | xSize = s2AlignedSize * dtypeSize; | 248 | xSize = s2AlignedSize * dtypeSize; |
| @@ -246,6 +254,7 @@ aclnnStatus aclnnMaskedSoftmaxWithRelPosBias( | |||
| 246 | softMaskMinTmpSize = 288; | 254 | softMaskMinTmpSize = 288; |
| 247 | minComputeSize = xSize* 12 + softMaskMinTmpSize; | 255 | minComputeSize = xSize* 12 + softMaskMinTmpSize; |
| 248 | ``` | 256 | ``` |
| 257 | + | ||
| 249 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>:如果为BFLOAT16类型,其与FLOAT16类型的公式保持一致。 | 258 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>:如果为BFLOAT16类型,其与FLOAT16类型的公式保持一致。 |
| 250 | 259 | ||
| 251 | ## 调用示例 | 260 | ## 调用示例 |
| @@ -173,10 +173,11 @@ | |||
| 173 | </tbody></table> | 173 | </tbody></table> |
| 174 | 174 | ||
| 175 | ## 约束说明 | 175 | ## 约束说明 |
| 176 | + | ||
| 176 | 无 | 177 | 无 |
| 177 | 178 | ||
| 178 | ## 调用说明 | 179 | ## 调用说明 |
| 179 | 180 | ||
| 180 | | 调用方式 | 样例代码 | 说明 | | 181 | | 调用方式 | 样例代码 | 说明 | |
| 181 | | ---------------- | --------------------------- | --------------------------------------------------- | | 182 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 182 | -| 图模式 | - | 暂不支持通过图融合以外的方式调用 | | 183 | +| 图模式 | - | 暂不支持通过图融合以外的方式调用 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:是一种结合了量化、加法和层归一化的操作。依次完成以下操作: | 18 | - 算子功能:是一种结合了量化、加法和层归一化的操作。依次完成以下操作: |
| @@ -155,6 +154,7 @@ | |||
| 155 | - 所有输入、输出的数据类型不支持BFLOAT16。 | 154 | - 所有输入、输出的数据类型不支持BFLOAT16。 |
| 156 | - scales的数据类型不支持FLOAT16、BFLOAT16。 | 155 | - scales的数据类型不支持FLOAT16、BFLOAT16。 |
| 157 | - zero_points1的数据类型不支持FLOAT16。 | 156 | - zero_points1的数据类型不支持FLOAT16。 |
| 157 | + | ||
| 158 | ## 约束说明 | 158 | ## 约束说明 |
| 159 | 159 | ||
| 160 | 无 | 160 | 无 |
| @@ -163,4 +163,4 @@ | |||
| 163 | 163 | ||
| 164 | | 调用方式 | 样例代码 | 说明 | | 164 | | 调用方式 | 样例代码 | 说明 | |
| 165 | | ---------------- | --------------------------- | --------------------------------------------------- | | 165 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 166 | -| 图模式 | [test_geir_quantize_add_layer_norm](examples/test_geir_quantize_add_layer_norm.cpp) | 通过[算子IR](op_graph/quantize_add_layer_norm_proto.h)构图方式调用QuantizeAddLayerNorm算子。 | | 166 | +| 图模式 | [test_geir_quantize_add_layer_norm](examples/test_geir_quantize_add_layer_norm.cpp) | 通过[算子IR](op_graph/quantize_add_layer_norm_proto.h)构图方式调用QuantizeAddLayerNorm算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:将输入Tensor执行一个反量化的计算,再根据输入的weight、bias、epsilon执行归一化,最后根据输出的outputScale以及outputZeroPoint执行量化。 | 18 | - 算子功能:将输入Tensor执行一个反量化的计算,再根据输入的weight、bias、epsilon执行归一化,最后根据输出的outputScale以及outputZeroPoint执行量化。 |
| @@ -61,6 +60,7 @@ | |||
| 61 | <td>模型输入的量化后的数据,对应公式中的`x`。</td> | 60 | <td>模型输入的量化后的数据,对应公式中的`x`。</td> |
| 62 | <td>INT8、UINT8、INT32</td> | 61 | <td>INT8、UINT8、INT32</td> |
| 63 | <td>NCHW</td> | 62 | <td>NCHW</td> |
| 63 | + </tr> | ||
| 64 | <tr> | 64 | <tr> |
| 65 | <td>mean</td> | 65 | <td>mean</td> |
| 66 | <td>输入</td> | 66 | <td>输入</td> |
| @@ -134,6 +134,7 @@ | |||
| 134 | </tbody></table> | 134 | </tbody></table> |
| 135 | 135 | ||
| 136 | - Kirin X90/Kirin 9030处理器系列产品:output_zero_point的数据类型只支持INT32。 | 136 | - Kirin X90/Kirin 9030处理器系列产品:output_zero_point的数据类型只支持INT32。 |
| 137 | + | ||
| 137 | ## 约束说明 | 138 | ## 约束说明 |
| 138 | 139 | ||
| 139 | 无 | 140 | 无 |
| @@ -142,4 +143,4 @@ | |||
| 142 | 143 | ||
| 143 | | 调用方式 | 样例代码 | 说明 | | 144 | | 调用方式 | 样例代码 | 说明 | |
| 144 | | ---------------- | --------------------------- | --------------------------------------------------- | | 145 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 145 | -| aclnn接口 | [test_aclnn_quantized_batch_norm](examples/test_aclnn_quantized_batch_norm.cpp) | 通过[aclnnQuantizedBatchNorm](docs/aclnnQuantizedBatchNorm.md)接口方式调用QuantizedBatchNorm算子。 | | 146 | +| aclnn接口 | [test_aclnn_quantized_batch_norm](examples/test_aclnn_quantized_batch_norm.cpp) | 通过[aclnnQuantizedBatchNorm](docs/aclnnQuantizedBatchNorm.md)接口方式调用QuantizedBatchNorm算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能: | 18 | - 接口功能: |
| @@ -70,7 +69,7 @@ aclnnStatus aclnnQuantizedBatchNorm( | |||
| 70 | 69 | ||
| 71 | ## aclnnQuantizedBatchNormGetWorkspaceSize | 70 | ## aclnnQuantizedBatchNormGetWorkspaceSize |
| 72 | 71 | ||
| 73 | -- **参数说明**: | 72 | +- **参数说明** |
| 74 | 73 | ||
| 75 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 74 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 76 | <col style="width: 170px"> | 75 | <col style="width: 170px"> |
| @@ -144,7 +143,6 @@ aclnnStatus aclnnQuantizedBatchNorm( | |||
| 144 | <td>-</td> | 143 | <td>-</td> |
| 145 | <td>-</td> | 144 | <td>-</td> |
| 146 | </tr> | 145 | </tr> |
| 147 | - </tr> | ||
| 148 | <tr> | 146 | <tr> |
| 149 | <td>outputScale(aclScalar*)</td> | 147 | <td>outputScale(aclScalar*)</td> |
| 150 | <td>输入</td> | 148 | <td>输入</td> |
| @@ -228,7 +226,7 @@ aclnnStatus aclnnQuantizedBatchNorm( | |||
| 228 | </tbody> | 226 | </tbody> |
| 229 | </table> | 227 | </table> |
| 230 | 228 | ||
| 231 | -- **返回值**: | 229 | +- **返回值** |
| 232 | 230 | ||
| 233 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 231 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 234 | 232 | ||
| @@ -261,7 +259,7 @@ aclnnStatus aclnnQuantizedBatchNorm( | |||
| 261 | 259 | ||
| 262 | ## aclnnQuantizedBatchNorm | 260 | ## aclnnQuantizedBatchNorm |
| 263 | 261 | ||
| 264 | -- **参数说明**: | 262 | +- **参数说明** |
| 265 | 263 | ||
| 266 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 264 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 267 | <col style="width: 173px"> | 265 | <col style="width: 173px"> |
| @@ -298,7 +296,7 @@ aclnnStatus aclnnQuantizedBatchNorm( | |||
| 298 | </tbody> | 296 | </tbody> |
| 299 | </table> | 297 | </table> |
| 300 | 298 | ||
| 301 | -- **返回值**: | 299 | +- **返回值** |
| 302 | 300 | ||
| 303 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 301 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 304 | 302 | ||
| @@ -538,4 +536,4 @@ int main() | |||
| 538 | aclFinalize(); | 536 | aclFinalize(); |
| 539 | return 0; | 537 | return 0; |
| 540 | } | 538 | } |
| 541 | -``` | 539 | +``` |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | × | | 11 | | <term>Atlas 推理系列产品</term> | × | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 算子功能:返回一个张量,其中输入张量self沿维度dim的每个子张量都经过归一化,使得子张量的p范数低于maxNorm值。 | 16 | - 算子功能:返回一个张量,其中输入张量self沿维度dim的每个子张量都经过归一化,使得子张量的p范数低于maxNorm值。 |
| @@ -74,6 +74,7 @@ | |||
| 74 | <td>表示归一化后的标准差倒数,公式中`Rms(x)`的倒数。</td> | 74 | <td>表示归一化后的标准差倒数,公式中`Rms(x)`的倒数。</td> |
| 75 | <td>FLOAT32</td> | 75 | <td>FLOAT32</td> |
| 76 | <td>ND</td> | 76 | <td>ND</td> |
| 77 | + </tr> | ||
| 77 | </tbody></table> | 78 | </tbody></table> |
| 78 | 79 | ||
| 79 | - <term>Atlas 推理系列产品</term>、<term>Kirin X90/Kirin 9030 处理器系列产品</term>:所有输入参数和输出参数的数据类型不支持BFLOAT16。 | 80 | - <term>Atlas 推理系列产品</term>、<term>Kirin X90/Kirin 9030 处理器系列产品</term>:所有输入参数和输出参数的数据类型不支持BFLOAT16。 |
| @@ -87,4 +88,4 @@ | |||
| 87 | | 调用方式 | 样例代码 | 说明 | | 88 | | 调用方式 | 样例代码 | 说明 | |
| 88 | | ---------------- | --------------------------- | --------------------------------------------------- | | 89 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 89 | | aclnn接口 | [test_aclnn_rms_norm](examples/test_aclnn_rms_norm.cpp) | 通过[aclnnRmsNorm](docs/aclnnRmsNorm.md)接口方式调用RmsNorm算子。 | | 90 | | aclnn接口 | [test_aclnn_rms_norm](examples/test_aclnn_rms_norm.cpp) | 通过[aclnnRmsNorm](docs/aclnnRmsNorm.md)接口方式调用RmsNorm算子。 | |
| 90 | -| 图模式 | - | 通过[算子IR](op_graph/rms_norm_proto.h)构图方式调用RmsNorm算子。 | | 91 | +| 图模式 | - | 通过[算子IR](op_graph/rms_norm_proto.h)构图方式调用RmsNorm算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | √ | | 13 | | <term>Atlas 推理系列产品</term> | √ | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:RmsNorm算子是大模型常用的归一化操作,相比LayerNorm算子,其去掉了减去均值的部分。 | 18 | - 接口功能:RmsNorm算子是大模型常用的归一化操作,相比LayerNorm算子,其去掉了减去均值的部分。 |
| @@ -48,7 +47,7 @@ aclnnStatus aclnnRmsNorm( | |||
| 48 | 47 | ||
| 49 | ## aclnnRmsNormGetWorkspaceSize | 48 | ## aclnnRmsNormGetWorkspaceSize |
| 50 | 49 | ||
| 51 | -- **参数说明:** | 50 | +- **参数说明** |
| 52 | 51 | ||
| 53 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 52 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 54 | <col style="width: 170px"> | 53 | <col style="width: 170px"> |
| @@ -147,8 +146,7 @@ aclnnStatus aclnnRmsNorm( | |||
| 147 | 146 | ||
| 148 | - <term>Atlas 推理系列产品</term>:参数`x`、`gamma`、`yOut`的数据类型不支持BFLOAT16。 | 147 | - <term>Atlas 推理系列产品</term>:参数`x`、`gamma`、`yOut`的数据类型不支持BFLOAT16。 |
| 149 | 148 | ||
| 150 | - | 149 | +- **返回值** |
| 151 | -- **返回值:** | ||
| 152 | 150 | ||
| 153 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 151 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 154 | 152 | ||
| @@ -186,7 +184,7 @@ aclnnStatus aclnnRmsNorm( | |||
| 186 | 184 | ||
| 187 | ## aclnnRmsNorm | 185 | ## aclnnRmsNorm |
| 188 | 186 | ||
| 189 | -- **参数说明:** | 187 | +- **参数说明** |
| 190 | 188 | ||
| 191 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 189 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 192 | <col style="width: 173px"> | 190 | <col style="width: 173px"> |
| @@ -223,8 +221,7 @@ aclnnStatus aclnnRmsNorm( | |||
| 223 | </tbody> | 221 | </tbody> |
| 224 | </table> | 222 | </table> |
| 225 | 223 | ||
| 226 | - | 224 | +- **返回值** |
| 227 | -- **返回值:** | ||
| 228 | 225 | ||
| 229 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 226 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 230 | 227 | ||
| @@ -236,6 +233,7 @@ aclnnStatus aclnnRmsNorm( | |||
| 236 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Ascend 950PR/Ascend 950DT</term>:当输入是Inf时,输出为Inf。当输入是NaN时,输出为NaN。 | 233 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Ascend 950PR/Ascend 950DT</term>:当输入是Inf时,输出为Inf。当输入是NaN时,输出为NaN。 |
| 237 | - 各平台支持数据类型说明: | 234 | - 各平台支持数据类型说明: |
| 238 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Ascend 950PR/Ascend 950DT</term>: | 235 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Ascend 950PR/Ascend 950DT</term>: |
| 236 | + | ||
| 239 | | `x`数据类型 | `gamma`数据类型 | `yOut`数据类型 | `rstdOut`数据类型 | | 237 | | `x`数据类型 | `gamma`数据类型 | `yOut`数据类型 | `rstdOut`数据类型 | |
| 240 | | -------- | -------- | -------- | -------- | | 238 | | -------- | -------- | -------- | -------- | |
| 241 | | FLOAT16 | FLOAT32 | FLOAT16 | FLOAT32 | | 239 | | FLOAT16 | FLOAT32 | FLOAT16 | FLOAT32 | |
| @@ -243,7 +241,9 @@ aclnnStatus aclnnRmsNorm( | |||
| 243 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT32 | | 241 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT32 | |
| 244 | | BFLOAT16 | BFLOAT16 | BFLOAT16 | FLOAT32 | | 242 | | BFLOAT16 | BFLOAT16 | BFLOAT16 | FLOAT32 | |
| 245 | | FLOAT32 | FLOAT32 | FLOAT32 | FLOAT32 | | 243 | | FLOAT32 | FLOAT32 | FLOAT32 | FLOAT32 | |
| 244 | + | ||
| 246 | - <term>Atlas 推理系列产品</term>: | 245 | - <term>Atlas 推理系列产品</term>: |
| 246 | + | ||
| 247 | | `x`数据类型 | `gamma`数据类型 | `yOut`数据类型 | `rstdOut`数据类型 | | 247 | | `x`数据类型 | `gamma`数据类型 | `yOut`数据类型 | `rstdOut`数据类型 | |
| 248 | | -------- | -------- | -------- | -------- | | 248 | | -------- | -------- | -------- | -------- | |
| 249 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT32 | | 249 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT32 | |
| @@ -414,4 +414,4 @@ int main() | |||
| 414 | aclFinalize(); | 414 | aclFinalize(); |
| 415 | return 0; | 415 | return 0; |
| 416 | } | 416 | } |
| 417 | -``` | 417 | +``` |
| @@ -11,7 +11,6 @@ | |||
| 11 | | <term>Atlas 推理系列产品</term> | √ | | 11 | | <term>Atlas 推理系列产品</term> | √ | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | - | ||
| 15 | ## 功能说明 | 14 | ## 功能说明 |
| 16 | 15 | ||
| 17 | - 算子功能:[RmsNorm](../rms_norm/README.md)的反向计算。用于计算RmsNorm的梯度,即在反向传播过程中计算输入张量的梯度。 | 16 | - 算子功能:[RmsNorm](../rms_norm/README.md)的反向计算。用于计算RmsNorm的梯度,即在反向传播过程中计算输入张量的梯度。 |
| @@ -33,7 +32,6 @@ | |||
| 33 | dg_i = \frac{x_i}{\operatorname{Rms}(\mathbf{x})} dy_i | 32 | dg_i = \frac{x_i}{\operatorname{Rms}(\mathbf{x})} dy_i |
| 34 | $$ | 33 | $$ |
| 35 | 34 | ||
| 36 | - | ||
| 37 | ## 参数说明 | 35 | ## 参数说明 |
| 38 | 36 | ||
| 39 | <table style="undefined;table-layout: fixed; width: 1005px"><colgroup> | 37 | <table style="undefined;table-layout: fixed; width: 1005px"><colgroup> |
| @@ -107,4 +105,4 @@ | |||
| 107 | | 调用方式 | 样例代码 | 说明 | | 105 | | 调用方式 | 样例代码 | 说明 | |
| 108 | | ---------------- | --------------------------- | --------------------------------------------------- | | 106 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 109 | | aclnn接口 | [test_aclnn_rms_norm_grad](examples/test_aclnn_rms_norm_grad.cpp) | 通过[aclnnRmsNormGrad](docs/aclnnRmsNormGrad.md)接口方式调用RmsNormGrad算子。 | | 107 | | aclnn接口 | [test_aclnn_rms_norm_grad](examples/test_aclnn_rms_norm_grad.cpp) | 通过[aclnnRmsNormGrad](docs/aclnnRmsNormGrad.md)接口方式调用RmsNormGrad算子。 | |
| 110 | -| 图模式 | - | 通过[算子IR](op_graph/rms_norm_grad_proto.h)构图方式调用RmsNormGrad算子。 | | 108 | +| 图模式 | - | 通过[算子IR](op_graph/rms_norm_grad_proto.h)构图方式调用RmsNormGrad算子。 | |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | √ | | 13 | | <term>Atlas 推理系列产品</term> | √ | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能:[aclnnRmsNorm](../../rms_norm/docs/aclnnRmsNorm.md)的反向计算。用于计算RmsNorm的梯度,即在反向传播过程中计算输入张量的梯度。 | 18 | - 接口功能:[aclnnRmsNorm](../../rms_norm/docs/aclnnRmsNorm.md)的反向计算。用于计算RmsNorm的梯度,即在反向传播过程中计算输入张量的梯度。 |
| @@ -61,7 +60,7 @@ aclnnStatus aclnnRmsNormGrad( | |||
| 61 | 60 | ||
| 62 | ## aclnnRmsNormGradGetWorkspaceSize | 61 | ## aclnnRmsNormGradGetWorkspaceSize |
| 63 | 62 | ||
| 64 | -- **参数说明:** | 63 | +- **参数说明** |
| 65 | 64 | ||
| 66 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 65 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 67 | <col style="width: 170px"> | 66 | <col style="width: 170px"> |
| @@ -170,7 +169,7 @@ aclnnStatus aclnnRmsNormGrad( | |||
| 170 | 169 | ||
| 171 | - <term>Atlas 推理系列产品</term>:参数`dy`、`x`、`gamma`、`dxOut`的数据类型不支持BFLOAT16。 | 170 | - <term>Atlas 推理系列产品</term>:参数`dy`、`x`、`gamma`、`dxOut`的数据类型不支持BFLOAT16。 |
| 172 | 171 | ||
| 173 | -- **返回值:** | 172 | +- **返回值** |
| 174 | 173 | ||
| 175 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 174 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 176 | 175 | ||
| @@ -208,7 +207,7 @@ aclnnStatus aclnnRmsNormGrad( | |||
| 208 | 207 | ||
| 209 | ## aclnnRmsNormGrad | 208 | ## aclnnRmsNormGrad |
| 210 | 209 | ||
| 211 | -- **参数说明:** | 210 | +- **参数说明** |
| 212 | 211 | ||
| 213 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 212 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 214 | <col style="width: 173px"> | 213 | <col style="width: 173px"> |
| @@ -245,8 +244,7 @@ aclnnStatus aclnnRmsNormGrad( | |||
| 245 | </tbody> | 244 | </tbody> |
| 246 | </table> | 245 | </table> |
| 247 | 246 | ||
| 248 | - | 247 | +- **返回值** |
| 249 | -- **返回值:** | ||
| 250 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 248 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 251 | 249 | ||
| 252 | ## 约束说明 | 250 | ## 约束说明 |
| @@ -255,6 +253,7 @@ aclnnStatus aclnnRmsNormGrad( | |||
| 255 | 253 | ||
| 256 | - 各产品支持数据类型说明: | 254 | - 各产品支持数据类型说明: |
| 257 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Ascend 950PR/Ascend 950DT</term>: | 255 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Ascend 950PR/Ascend 950DT</term>: |
| 256 | + | ||
| 258 | | `dy`数据类型 | `x`数据类型 | `rstd`数据类型 | `gamma`数据类型 | `dxOut`数据类型 | `dgammaOut`数据类型 | | 257 | | `dy`数据类型 | `x`数据类型 | `rstd`数据类型 | `gamma`数据类型 | `dxOut`数据类型 | `dgammaOut`数据类型 | |
| 259 | | -------- | -------- | -------- | -------- | -------- | -------- | | 258 | | -------- | -------- | -------- | -------- | -------- | -------- | |
| 260 | | FLOAT16 | FLOAT16 | FLOAT32 | FLOAT32 | FLOAT16 | FLOAT32 | | 259 | | FLOAT16 | FLOAT16 | FLOAT32 | FLOAT32 | FLOAT16 | FLOAT32 | |
| @@ -262,17 +261,19 @@ aclnnStatus aclnnRmsNormGrad( | |||
| 262 | | FLOAT16 | FLOAT16 | FLOAT32 | FLOAT16 | FLOAT16 | FLOAT32 | | 261 | | FLOAT16 | FLOAT16 | FLOAT32 | FLOAT16 | FLOAT16 | FLOAT32 | |
| 263 | | FLOAT32 | FLOAT32 | FLOAT32 | FLOAT32 | FLOAT32 | FLOAT32 | | 262 | | FLOAT32 | FLOAT32 | FLOAT32 | FLOAT32 | FLOAT32 | FLOAT32 | |
| 264 | | BFLOAT16 | BFLOAT16 | FLOAT32 | BFLOAT16 | BFLOAT16 | FLOAT32 | | 263 | | BFLOAT16 | BFLOAT16 | FLOAT32 | BFLOAT16 | BFLOAT16 | FLOAT32 | |
| 264 | + | ||
| 265 | - <term>Atlas 推理系列产品</term>: | 265 | - <term>Atlas 推理系列产品</term>: |
| 266 | + | ||
| 266 | | `dy`数据类型 | `x`数据类型 | `rstd`数据类型 | `gamma`数据类型 | `dxOut`数据类型 | `dgammaOut`数据类型 | | 267 | | `dy`数据类型 | `x`数据类型 | `rstd`数据类型 | `gamma`数据类型 | `dxOut`数据类型 | `dgammaOut`数据类型 | |
| 267 | | -------- | -------- | -------- | -------- | -------- | -------- | | 268 | | -------- | -------- | -------- | -------- | -------- | -------- | |
| 268 | | FLOAT16 | FLOAT16 | FLOAT32 | FLOAT16 | FLOAT16 | FLOAT32 | | 269 | | FLOAT16 | FLOAT16 | FLOAT32 | FLOAT16 | FLOAT16 | FLOAT32 | |
| 269 | | FLOAT32 | FLOAT32 | FLOAT32 | FLOAT32 | FLOAT32 | FLOAT32 | | 270 | | FLOAT32 | FLOAT32 | FLOAT32 | FLOAT32 | FLOAT32 | FLOAT32 | |
| 271 | + | ||
| 270 | - 确定性计算: | 272 | - 确定性计算: |
| 271 | - aclnnRmsNormGrad默认非确定性实现,支持通过aclrtCtxSetSysParamOpt开启确定性。 | 273 | - aclnnRmsNormGrad默认非确定性实现,支持通过aclrtCtxSetSysParamOpt开启确定性。 |
| 272 | 274 | ||
| 273 | ## 调用示例 | 275 | ## 调用示例 |
| 274 | 276 | ||
| 275 | - | ||
| 276 | 示例代码如下,仅供参考,具体编译和执行过程请参考[编译与运行样例](../../../docs/zh/context/编译与运行样例.md)。 | 277 | 示例代码如下,仅供参考,具体编译和执行过程请参考[编译与运行样例](../../../docs/zh/context/编译与运行样例.md)。 |
| 277 | 278 | ||
| 278 | ```Cpp | 279 | ```Cpp |
| @@ -471,4 +472,4 @@ int main() | |||
| 471 | aclFinalize(); | 472 | aclFinalize(); |
| 472 | return 0; | 473 | return 0; |
| 473 | } | 474 | } |
| 474 | -``` | 475 | +``` |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Kirin X90 处理器系列产品</term> | √ | | 13 | | <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | | 14 | | <term>Kirin 9030 处理器系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 算子功能:RmsNorm算子是大模型常用的标准化操作,相比LayerNorm算子,其去掉了减去均值的部分。RmsNormQuant算子将RmsNorm算子以及RmsNorm后的Quantize算子融合起来,减少搬入搬出操作。 | 18 | - 算子功能:RmsNorm算子是大模型常用的标准化操作,相比LayerNorm算子,其去掉了减去均值的部分。RmsNormQuant算子将RmsNorm算子以及RmsNorm后的Quantize算子融合起来,减少搬入搬出操作。 |
| @@ -120,4 +119,4 @@ | |||
| 120 | 119 | ||
| 121 | | 调用方式 | 样例代码 | 说明 | | 120 | | 调用方式 | 样例代码 | 说明 | |
| 122 | | ---------------- | --------------------------- | --------------------------------------------------- | | 121 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 123 | -| aclnn接口 | [test_aclnn_rms_norm_quant](examples/test_aclnn_rms_norm_quant.cpp) | 通过[aclnnRmsNormQuant](docs/aclnnRmsNormQuant.md)接口方式调用RmsNormQuant算子。 | | 122 | +| aclnn接口 | [test_aclnn_rms_norm_quant](examples/test_aclnn_rms_norm_quant.cpp) | 通过[aclnnRmsNormQuant](docs/aclnnRmsNormQuant.md)接口方式调用RmsNormQuant算子。 | |
| @@ -53,7 +53,7 @@ aclnnStatus aclnnRmsNormQuant( | |||
| 53 | 53 | ||
| 54 | ## aclnnRmsNormQuantGetWorkspaceSize | 54 | ## aclnnRmsNormQuantGetWorkspaceSize |
| 55 | 55 | ||
| 56 | -- **参数说明:** | 56 | +- **参数说明** |
| 57 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 57 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 58 | <col style="width: 170px"> | 58 | <col style="width: 170px"> |
| 59 | <col style="width: 120px"> | 59 | <col style="width: 120px"> |
| @@ -172,7 +172,7 @@ aclnnStatus aclnnRmsNormQuant( | |||
| 172 | - <term>Atlas 推理系列产品</term>、<term>Atlas 200I/500 A2 推理产品</term>:入参`x`、`gamma`、`beta`、`scale`的数据类型仅支持FLOAT16。 | 172 | - <term>Atlas 推理系列产品</term>、<term>Atlas 200I/500 A2 推理产品</term>:入参`x`、`gamma`、`beta`、`scale`的数据类型仅支持FLOAT16。 |
| 173 | - <term>A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>A2 训练系列产品/Atlas A2 推理系列产品</term>:入参`x`、`gamma`、`beta`、`scale`的数据类型仅支持FLOAT16,BFLOAT16,`offset`仅支持INT8。 | 173 | - <term>A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>A2 训练系列产品/Atlas A2 推理系列产品</term>:入参`x`、`gamma`、`beta`、`scale`的数据类型仅支持FLOAT16,BFLOAT16,`offset`仅支持INT8。 |
| 174 | 174 | ||
| 175 | -- **返回值:** | 175 | +- **返回值** |
| 176 | 176 | ||
| 177 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 177 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 178 | 178 | ||
| @@ -210,7 +210,7 @@ aclnnStatus aclnnRmsNormQuant( | |||
| 210 | 210 | ||
| 211 | ## aclnnRmsNormQuant | 211 | ## aclnnRmsNormQuant |
| 212 | 212 | ||
| 213 | -- **参数说明:** | 213 | +- **参数说明** |
| 214 | 214 | ||
| 215 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 215 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 216 | <col style="width: 173px"> | 216 | <col style="width: 173px"> |
| @@ -247,7 +247,7 @@ aclnnStatus aclnnRmsNormQuant( | |||
| 247 | </tbody> | 247 | </tbody> |
| 248 | </table> | 248 | </table> |
| 249 | 249 | ||
| 250 | -- **返回值:** | 250 | +- **返回值** |
| 251 | 251 | ||
| 252 | aclnnStatus:返回状态码。(具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)) | 252 | aclnnStatus:返回状态码。(具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)) |
| 253 | 253 | ||
| @@ -273,6 +273,7 @@ aclnnStatus aclnnRmsNormQuant( | |||
| 273 | | --------- | ------------- | ------------- | ------------- | -------------- | --------- |--------- | | 273 | | --------- | ------------- | ------------- | ------------- | -------------- | --------- |--------- | |
| 274 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | INT8 | DOUBLE |INT8 | | 274 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | INT8 | DOUBLE |INT8 | |
| 275 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | INT8 | DOUBLE |INT4 | | 275 | | FLOAT16 | FLOAT16 | FLOAT16 | FLOAT16 | INT8 | DOUBLE |INT4 | |
| 276 | + | ||
| 276 | - <term>Ascend 950PR/Ascend 950DT</term>: | 277 | - <term>Ascend 950PR/Ascend 950DT</term>: |
| 277 | 278 | ||
| 278 | | x数据类型 | gamma数据类型 | beta数据类型 | scale数据类型 | offset数据类型 | epsilon数据类型 | y数据类型 | | 279 | | x数据类型 | gamma数据类型 | beta数据类型 | scale数据类型 | offset数据类型 | epsilon数据类型 | y数据类型 | |
| @@ -289,6 +290,7 @@ aclnnStatus aclnnRmsNormQuant( | |||
| 289 | 290 | ||
| 290 | - 确定性计算: | 291 | - 确定性计算: |
| 291 | - aclnnRmsNormQuant默认确定性实现。 | 292 | - aclnnRmsNormQuant默认确定性实现。 |
| 293 | + | ||
| 292 | ## 调用示例 | 294 | ## 调用示例 |
| 293 | 295 | ||
| 294 | 示例代码如下,仅供参考,具体编译和执行过程请参考[编译与运行样例](../../../docs/zh/context/编译与运行样例.md)。 | 296 | 示例代码如下,仅供参考,具体编译和执行过程请参考[编译与运行样例](../../../docs/zh/context/编译与运行样例.md)。 |
| @@ -137,10 +137,10 @@ | |||
| 137 | </tr> | 137 | </tr> |
| 138 | </tbody></table> | 138 | </tbody></table> |
| 139 | 139 | ||
| 140 | - | ||
| 141 | ## 约束说明 | 140 | ## 约束说明 |
| 142 | 141 | ||
| 143 | <term>Ascend 950PR/Ascend 950DT</term>: | 142 | <term>Ascend 950PR/Ascend 950DT</term>: |
| 143 | + | ||
| 144 | - 当`x`的数据类型为FLOAT32时,`scales1`、`scales2`和`zero_points1`、`zero_points2`的数据类型只能为FLOAT32;当`x`的数据类型为FLOAT16或者BFLOAT16,并且`scales1`、`scales2`的数据类型为FLOAT32时,`zero_points1`、`zero_points2`的数据类型只能是FLOAT32或者INT32,否则`scales1`、`scales2`的数据类型需要与`x`的数据类型保持一致同为FLOAT16或者BFLOAT16,`zero_points1`、`zero_points2`的数据类型也需要与`x`的数据类型保持一致或者为INT8。 | 144 | - 当`x`的数据类型为FLOAT32时,`scales1`、`scales2`和`zero_points1`、`zero_points2`的数据类型只能为FLOAT32;当`x`的数据类型为FLOAT16或者BFLOAT16,并且`scales1`、`scales2`的数据类型为FLOAT32时,`zero_points1`、`zero_points2`的数据类型只能是FLOAT32或者INT32,否则`scales1`、`scales2`的数据类型需要与`x`的数据类型保持一致同为FLOAT16或者BFLOAT16,`zero_points1`、`zero_points2`的数据类型也需要与`x`的数据类型保持一致或者为INT8。 |
| 145 | - 当`y`的数据类型为INT4时,`x`、`gamma`以及`beta`的最后一维必须为偶数。 | 145 | - 当`y`的数据类型为INT4时,`x`、`gamma`以及`beta`的最后一维必须为偶数。 |
| 146 | - `zero_points2`必须在`scales2`存在的情况下,才能作为可选输入。 | 146 | - `zero_points2`必须在`scales2`存在的情况下,才能作为可选输入。 |
| @@ -150,4 +150,4 @@ | |||
| 150 | | 调用方式 | 样例代码 | 说明 | | 150 | | 调用方式 | 样例代码 | 说明 | |
| 151 | | ---------------- | --------------------------- | --------------------------------------------------- | | 151 | | ---------------- | --------------------------- | --------------------------------------------------- | |
| 152 | | aclnn接口 | [test_aclnn_rms_norm_quant](../rms_norm_quant/examples/test_aclnn_rms_norm_quant.cpp) | 通过[aclnnRmsNormQuant](../rms_norm_quant/docs/aclnnRmsNormQuant.md)接口方式调用RmsNormQuantV2算子。 | | 152 | | aclnn接口 | [test_aclnn_rms_norm_quant](../rms_norm_quant/examples/test_aclnn_rms_norm_quant.cpp) | 通过[aclnnRmsNormQuant](../rms_norm_quant/docs/aclnnRmsNormQuant.md)接口方式调用RmsNormQuantV2算子。 | |
| 153 | -| 图模式 | - | 通过[算子IR](op_graph/rms_norm_quant_v2_proto.h)构图方式调用RmsNormQuantV2算子。 | | 153 | +| 图模式 | - | 通过[算子IR](op_graph/rms_norm_quant_v2_proto.h)构图方式调用RmsNormQuantV2算子。 | |
| @@ -1,3 +1,3 @@ | |||
| 1 | # SyncBatchNormBackwardElemt | 1 | # SyncBatchNormBackwardElemt |
| 2 | 2 | ||
| 3 | -本目录仅包含SyncBatchNormBackwardElemt算子对应的aclnn接口;如您想要贡献该算子的AscendC实现,请参考[贡献流程](../../CONTRIBUTING.md)。 | 3 | +本目录仅包含SyncBatchNormBackwardElemt算子对应的aclnn接口;如您想要贡献该算子的AscendC实现,请参考[贡献流程](../../CONTRIBUTING.md)。 |
| @@ -1,3 +1,3 @@ | |||
| 1 | # SyncBatchNormBackwardReduce | 1 | # SyncBatchNormBackwardReduce |
| 2 | 2 | ||
| 3 | -本目录仅包含SyncBatchNormBackwardReduce算子对应的aclnn接口;如您想要贡献该算子的AscendC实现,请参考[贡献流程](../../CONTRIBUTING.md)。 | 3 | +本目录仅包含SyncBatchNormBackwardReduce算子对应的aclnn接口;如您想要贡献该算子的AscendC实现,请参考[贡献流程](../../CONTRIBUTING.md)。 |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | √ | | 14 | | <term>Atlas 训练系列产品</term> | √ | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能: | 18 | - 接口功能: |
| @@ -73,7 +72,7 @@ aclnnStatus aclnnBatchNormReduceBackward( | |||
| 73 | 72 | ||
| 74 | ## aclnnBatchNormReduceBackwardGetWorkspaceSize | 73 | ## aclnnBatchNormReduceBackwardGetWorkspaceSize |
| 75 | 74 | ||
| 76 | -- **参数说明:** | 75 | +- **参数说明** |
| 77 | 76 | ||
| 78 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> | 77 | <table style="undefined;table-layout: fixed; width: 1550px"><colgroup> |
| 79 | <col style="width: 170px"> | 78 | <col style="width: 170px"> |
| @@ -242,7 +241,7 @@ aclnnStatus aclnnBatchNormReduceBackward( | |||
| 242 | 241 | ||
| 243 | - <term>Atlas 训练系列产品</term>、<term>Atlas 推理系列产品</term>:参数`gradOut`、`input`、`mean`、`invstd`、`weight`、`sumDy`、`sumDyXmu`、`gradWeight`、`gradBias`的数据类型不支持BFLOAT16。 | 242 | - <term>Atlas 训练系列产品</term>、<term>Atlas 推理系列产品</term>:参数`gradOut`、`input`、`mean`、`invstd`、`weight`、`sumDy`、`sumDyXmu`、`gradWeight`、`gradBias`的数据类型不支持BFLOAT16。 |
| 244 | 243 | ||
| 245 | -- **返回值:** | 244 | +- **返回值** |
| 246 | 245 | ||
| 247 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 246 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 248 | 247 | ||
| @@ -317,7 +316,7 @@ aclnnStatus aclnnBatchNormReduceBackward( | |||
| 317 | 316 | ||
| 318 | ## aclnnBatchNormReduceBackward | 317 | ## aclnnBatchNormReduceBackward |
| 319 | 318 | ||
| 320 | -- **参数说明:** | 319 | +- **参数说明** |
| 321 | 320 | ||
| 322 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 321 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 323 | <col style="width: 173px"> | 322 | <col style="width: 173px"> |
| @@ -354,8 +353,7 @@ aclnnStatus aclnnBatchNormReduceBackward( | |||
| 354 | </tbody> | 353 | </tbody> |
| 355 | </table> | 354 | </table> |
| 356 | 355 | ||
| 357 | - | 356 | +- **返回值** |
| 358 | -- **返回值:** | ||
| 359 | 357 | ||
| 360 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 358 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 361 | 359 | ||
| @@ -1,3 +1,3 @@ | |||
| 1 | # SyncBatchNormGatherStats | 1 | # SyncBatchNormGatherStats |
| 2 | 2 | ||
| 3 | -本目录仅包含SyncBatchNormGatherStats算子对应的aclnn接口;如您想要贡献该算子的AscendC实现,请参考[贡献流程](../../CONTRIBUTING.md)。 | 3 | +本目录仅包含SyncBatchNormGatherStats算子对应的aclnn接口;如您想要贡献该算子的AscendC实现,请参考[贡献流程](../../CONTRIBUTING.md)。 |
| @@ -13,7 +13,6 @@ | |||
| 13 | | <term>Atlas 推理系列产品</term> | × | | 13 | | <term>Atlas 推理系列产品</term> | × | |
| 14 | | <term>Atlas 训练系列产品</term> | × | | 14 | | <term>Atlas 训练系列产品</term> | × | |
| 15 | 15 | ||
| 16 | - | ||
| 17 | ## 功能说明 | 16 | ## 功能说明 |
| 18 | 17 | ||
| 19 | - 接口功能: | 18 | - 接口功能: |
| @@ -71,7 +70,7 @@ aclnnStatus aclnnSyncBatchNormGatherStats( | |||
| 71 | 70 | ||
| 72 | ## aclnnSyncBatchNormGatherStatsGetWorkspaceSize | 71 | ## aclnnSyncBatchNormGatherStatsGetWorkspaceSize |
| 73 | 72 | ||
| 74 | -- **参数说明:** | 73 | +- **参数说明** |
| 75 | 74 | ||
| 76 | <table style="undefined;table-layout: fixed; width: 1567px"><colgroup> | 75 | <table style="undefined;table-layout: fixed; width: 1567px"><colgroup> |
| 77 | <col style="width: 170px"> | 76 | <col style="width: 170px"> |
| @@ -83,7 +82,7 @@ aclnnStatus aclnnSyncBatchNormGatherStats( | |||
| 83 | <col style="width: 190px"> | 82 | <col style="width: 190px"> |
| 84 | <col style="width: 145px"> | 83 | <col style="width: 145px"> |
| 85 | </colgroup> | 84 | </colgroup> |
| 86 | - <table><thead> | 85 | + <thead> |
| 87 | <tr> | 86 | <tr> |
| 88 | <th>参数名</th> | 87 | <th>参数名</th> |
| 89 | <th>输入/输出</th> | 88 | <th>输入/输出</th> |
| @@ -205,13 +204,12 @@ aclnnStatus aclnnSyncBatchNormGatherStats( | |||
| 205 | <td>-</td> | 204 | <td>-</td> |
| 206 | <td>-</td> | 205 | <td>-</td> |
| 207 | </tr> | 206 | </tr> |
| 208 | - </tbody></table> | ||
| 209 | </tbody> | 207 | </tbody> |
| 210 | - </table> | 208 | + </table> |
| 211 | 209 | ||
| 212 | - <term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>:参数`totalSum`、`totalSquareSum`、`mean`、`variance`、`batchMean`、`batchInvstd`的数据类型不支持BFLOAT16。 | 210 | - <term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>:参数`totalSum`、`totalSquareSum`、`mean`、`variance`、`batchMean`、`batchInvstd`的数据类型不支持BFLOAT16。 |
| 213 | 211 | ||
| 214 | -- **返回值:** | 212 | +- **返回值** |
| 215 | 213 | ||
| 216 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 214 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 217 | 215 | ||
| @@ -250,7 +248,7 @@ aclnnStatus aclnnSyncBatchNormGatherStats( | |||
| 250 | 248 | ||
| 251 | ## aclnnSyncBatchNormGatherStats | 249 | ## aclnnSyncBatchNormGatherStats |
| 252 | 250 | ||
| 253 | -- **参数说明:** | 251 | +- **参数说明** |
| 254 | 252 | ||
| 255 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> | 253 | <table style="undefined;table-layout: fixed; width: 953px"><colgroup> |
| 256 | <col style="width: 173px"> | 254 | <col style="width: 173px"> |
| @@ -287,7 +285,7 @@ aclnnStatus aclnnSyncBatchNormGatherStats( | |||
| 287 | </tbody> | 285 | </tbody> |
| 288 | </table> | 286 | </table> |
| 289 | 287 | ||
| 290 | -- **返回值:** | 288 | +- **返回值** |
| 291 | 289 | ||
| 292 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 | 290 | aclnnStatus:返回状态码,具体参见[aclnn返回码](../../../docs/zh/context/aclnn返回码.md)。 |
| 293 | 291 | ||
| @@ -479,4 +477,4 @@ int main() { | |||
| 479 | 477 | ||
| 480 | return 0; | 478 | return 0; |
| 481 | } | 479 | } |
| 482 | -``` | 480 | +``` |
| @@ -1,3 +1,3 @@ | |||
| 1 | # SyncBatchNormGatherStatsWithCounts | 1 | # SyncBatchNormGatherStatsWithCounts |
| 2 | 2 | ||
| 3 | -本目录仅包含SyncBatchNormGatherStatsWithCounts算子对应的aclnn接口;如您想要贡献该算子的AscendC实现,请参考[贡献流程](../../CONTRIBUTING.md)。 | 3 | +本目录仅包含SyncBatchNormGatherStatsWithCounts算子对应的aclnn接口;如您想要贡献该算子的AscendC实现,请参考[贡献流程](../../CONTRIBUTING.md)。 |
| @@ -250,9 +250,10 @@ aclnnStatus aclnnDynamicQuant( | |||
| 250 | 250 | ||
| 251 | ## 约束说明 | 251 | ## 约束说明 |
| 252 | 252 | ||
| 253 | -- yOut的数据类型为INT4时,需满足x和yOut的最后一维能被2整除。 | 253 | +- <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Ascend 950PR/Ascend 950DT</term>: |
| 254 | -- yOut的数据类型为INT32时,需满足x的最后一维能被8整除。 | 254 | + - yOut的数据类型为INT4时,需满足x和yOut的最后一维能被2整除。 |
| 255 | -- <term>Atlas 推理系列产品</term>:尾轴只支持32位对齐的数据,暂时只支持对称量化,不支持BFLOAT16数据类型。 | 255 | + - yOut的数据类型为INT32时,需满足x的最后一维能被8整除。 |
| 256 | +- <term>Atlas 推理系列产品</term>、<term>Atlas 训练系列产品</term>:输入x的最后一维需满足被32整除,暂时只支持对称量化,不支持BFLOAT16数据类型。 | ||
| 256 | - 确定性计算: | 257 | - 确定性计算: |
| 257 | - aclnnDynamicQuant默认确定性实现。 | 258 | - aclnnDynamicQuant默认确定性实现。 |
| 258 | 259 | ||
| @@ -103,7 +103,7 @@ aclnnStatus aclnnDynamicQuantV2( | |||
| 103 | aclrtStream stream) | 103 | aclrtStream stream) |
| 104 | ``` | 104 | ``` |
| 105 | 105 | ||
| 106 | -## aclnnDynamicQuantGetWorkspaceSize | 106 | +## aclnnDynamicQuantV2GetWorkspaceSize |
| 107 | 107 | ||
| 108 | - **参数说明:** | 108 | - **参数说明:** |
| 109 | 109 | ||
| @@ -174,7 +174,7 @@ aclnnStatus aclnnDynamicQuantV2( | |||
| 174 | <td>输出</td> | 174 | <td>输出</td> |
| 175 | <td>量化后的输出Tensor。对应公式中的`yOut`。</td> | 175 | <td>量化后的输出Tensor。对应公式中的`yOut`。</td> |
| 176 | <td><ul><li>支持空Tensor。</li><li>类型为INT32时,shape的最后一维是x最后一维的1/8,其余维度和x一致。其他类型时,shape与x一致。</li></ul></td> | 176 | <td><ul><li>支持空Tensor。</li><li>类型为INT32时,shape的最后一维是x最后一维的1/8,其余维度和x一致。其他类型时,shape与x一致。</li></ul></td> |
| 177 | - <td>INT4、INT8、INT32</td> | 177 | + <td>INT4、INT8、INT32、FLOAT8_E4M3FN、FLOAT8_E5M2、HIFLOAT8</td> |
| 178 | <td>ND</td> | 178 | <td>ND</td> |
| 179 | <td>大于1维</td> | 179 | <td>大于1维</td> |
| 180 | <td>-</td> | 180 | <td>-</td> |
| @@ -222,6 +222,9 @@ aclnnStatus aclnnDynamicQuantV2( | |||
| 222 | </tbody> | 222 | </tbody> |
| 223 | </table> | 223 | </table> |
| 224 | 224 | ||
| 225 | + - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>: | ||
| 226 | + | ||
| 227 | + 出参`yOut`的数据类型仅支持INT4、INT8、INT32。 | ||
| 225 | - <term>Atlas 推理系列产品</term>、<term>Atlas 训练系列产品</term>: | 228 | - <term>Atlas 推理系列产品</term>、<term>Atlas 训练系列产品</term>: |
| 226 | - 入参`x`仅支持FLOAT16。 | 229 | - 入参`x`仅支持FLOAT16。 |
| 227 | - 入参`smoothScalesOptional`、`groupIndexOptional`为预留参数,当前版本不参与计算。 | 230 | - 入参`smoothScalesOptional`、`groupIndexOptional`为预留参数,当前版本不参与计算。 |
| @@ -315,9 +318,10 @@ aclnnStatus aclnnDynamicQuantV2( | |||
| 315 | 318 | ||
| 316 | ## 约束说明 | 319 | ## 约束说明 |
| 317 | 320 | ||
| 318 | -- `yOut`的数据类型为INT4时,需满足`x`和`yOut`的最后一维能被2整除。 | 321 | +- <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Ascend 950PR/Ascend 950DT</term>: |
| 319 | -- `yOut`的数据类型为INT32时,需满足`x`的最后一维能被8整除。 | 322 | + - yOut的数据类型为INT4时,需满足x和yOut的最后一维能被2整除。 |
| 320 | -- <term>Atlas 推理系列产品</term>:尾轴只支持32位对齐的数据,暂时只支持对称量化,不支持BFLOAT16数据类型。 | 323 | + - yOut的数据类型为INT32时,需满足x的最后一维能被8整除。 |
| 324 | +- <term>Atlas 推理系列产品</term>、<term>Atlas 训练系列产品</term>:输入x的最后一维需满足被32整除,暂时只支持对称量化,不支持BFLOAT16数据类型。 | ||
| 321 | - 确定性计算: | 325 | - 确定性计算: |
| 322 | - aclnnDynamicQuantV2默认确定性实现。 | 326 | - aclnnDynamicQuantV2默认确定性实现。 |
| 323 | 327 | ||