已合并
资料整改第一部分 #2337
Dukexin创建于 3月4日
资料整改第一部分 #2337
已合并
共 111 个文件变更+153-13
| @@ -92,6 +92,7 @@ | |||
| 92 | </tr> | 92 | </tr> |
| 93 | </tbody></table> | 93 | </tbody></table> |
| 94 | 94 | ||
| 95 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | ||
| 95 | ## 约束说明 | 96 | ## 约束说明 |
| 96 | 97 | ||
| 97 | 典型场景尾轴为16的倍数,当尾轴为非32Byte对齐时,建议走小算子拼接逻辑。 | 98 | 典型场景尾轴为16的倍数,当尾轴为非32Byte对齐时,建议走小算子拼接逻辑。 |
| @@ -95,6 +95,7 @@ | |||
| 95 | 95 | ||
| 96 | - GeGlu不包含activateLeft参数。 | 96 | - GeGlu不包含activateLeft参数。 |
| 97 | - <term>Atlas 推理系列产品</term>、<term>Atlas 训练系列产品</term>:self、out和outGelu的数据类型支持FLOAT、FLOAT16。 | 97 | - <term>Atlas 推理系列产品</term>、<term>Atlas 训练系列产品</term>:self、out和outGelu的数据类型支持FLOAT、FLOAT16。 |
| 98 | +- Kirin X90/Kirin 9030处理器系列产品:self、out和outGelu的数据类型不支持BFLOAT16。 | ||
| 98 | 99 | ||
| 99 | ## 约束说明 | 100 | ## 约束说明 |
| 100 | 101 | ||
| @@ -94,6 +94,7 @@ | |||
| 94 | </tr> | 94 | </tr> |
| 95 | </tbody></table> | 95 | </tbody></table> |
| 96 | 96 | ||
| 97 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | ||
| 97 | ## 约束说明 | 98 | ## 约束说明 |
| 98 | 99 | ||
| 99 | 典型场景尾轴为16的倍数,当尾轴为非32B对齐时,建议走小算子拼接逻辑。 | 100 | 典型场景尾轴为16的倍数,当尾轴为非32B对齐时,建议走小算子拼接逻辑。 |
| @@ -145,6 +145,7 @@ | |||
| 145 | </tr> | 145 | </tr> |
| 146 | </tbody></table> | 146 | </tbody></table> |
| 147 | 147 | ||
| 148 | +- Kirin X90/Kirin 9030处理器系列产品:self、inputScaleOptional和inputOffsetOptional的数据类型不支持BFLOAT16。y不支持FLOAT8_E4M3FN、FLOAT8_E5M2、HIFLOAT8。 | ||
| 148 | ## 约束说明 | 149 | ## 约束说明 |
| 149 | 150 | ||
| 150 | inputScaleOptional的数据类型与self的类型一致,或者在类型不一致时采用精度更高的类型。 | 151 | inputScaleOptional的数据类型与self的类型一致,或者在类型不一致时采用精度更高的类型。 |
| @@ -70,6 +70,7 @@ | |||
| 70 | </tr> | 70 | </tr> |
| 71 | </tbody></table> | 71 | </tbody></table> |
| 72 | 72 | ||
| 73 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | ||
| 73 | ## 约束说明 | 74 | ## 约束说明 |
| 74 | 75 | ||
| 75 | 无 | 76 | 无 |
| @@ -67,6 +67,7 @@ | |||
| 67 | </tr> | 67 | </tr> |
| 68 | </tbody></table> | 68 | </tbody></table> |
| 69 | 69 | ||
| 70 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | ||
| 70 | ## 约束说明 | 71 | ## 约束说明 |
| 71 | 72 | ||
| 72 | - 输入值为NaN,输出也为NaN,输入是Inf,输出也是Inf。 | 73 | - 输入值为NaN,输出也为NaN,输入是Inf,输出也是Inf。 |
| @@ -68,6 +68,7 @@ | |||
| 68 | 68 | ||
| 69 | - <term>Atlas 推理系列产品</term>:数据类型支持FLOAT16、FLOAT32。 | 69 | - <term>Atlas 推理系列产品</term>:数据类型支持FLOAT16、FLOAT32。 |
| 70 | 70 | ||
| 71 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | ||
| 71 | ## 约束说明 | 72 | ## 约束说明 |
| 72 | 73 | ||
| 73 | 无 | 74 | 无 |
| @@ -62,6 +62,7 @@ | |||
| 62 | </tr> | 62 | </tr> |
| 63 | </tbody></table> | 63 | </tbody></table> |
| 64 | 64 | ||
| 65 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | ||
| 65 | ## 约束说明 | 66 | ## 约束说明 |
| 66 | 67 | ||
| 67 | 无 | 68 | 无 |
| @@ -77,6 +77,7 @@ | |||
| 77 | </tr> | 77 | </tr> |
| 78 | </tbody></table> | 78 | </tbody></table> |
| 79 | 79 | ||
| 80 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | ||
| 80 | ## 约束说明 | 81 | ## 约束说明 |
| 81 | 82 | ||
| 82 | 无 | 83 | 无 |
| @@ -78,6 +78,7 @@ | |||
| 78 | - 当`x`的数据类型为BFLOAT16时,`scalar`数据类型支持FLOAT32。 | 78 | - 当`x`的数据类型为BFLOAT16时,`scalar`数据类型支持FLOAT32。 |
| 79 | - 当`x`的数据类型为FLOAT16时,`scalar`数据类型支持FLOAT16, FLOAT32。 | 79 | - 当`x`的数据类型为FLOAT16时,`scalar`数据类型支持FLOAT16, FLOAT32。 |
| 80 | 80 | ||
| 81 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | ||
| 81 | ## 约束说明 | 82 | ## 约束说明 |
| 82 | 83 | ||
| 83 | 无 | 84 | 无 |
| @@ -70,6 +70,7 @@ | |||
| 70 | </tr> | 70 | </tr> |
| 71 | </tbody></table> | 71 | </tbody></table> |
| 72 | 72 | ||
| 73 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | ||
| 73 | ## 约束说明 | 74 | ## 约束说明 |
| 74 | 75 | ||
| 75 | 无 | 76 | 无 |
| @@ -83,6 +83,7 @@ | |||
| 83 | </tr> | 83 | </tr> |
| 84 | </tbody></table> | 84 | </tbody></table> |
| 85 | 85 | ||
| 86 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | ||
| 86 | ## 约束说明 | 87 | ## 约束说明 |
| 87 | 88 | ||
| 88 | 无 | 89 | 无 |
| @@ -62,6 +62,7 @@ | |||
| 62 | </tr> | 62 | </tr> |
| 63 | </tbody></table> | 63 | </tbody></table> |
| 64 | 64 | ||
| 65 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | ||
| 65 | ## 约束说明 | 66 | ## 约束说明 |
| 66 | 67 | ||
| 67 | 无 | 68 | 无 |
| @@ -62,6 +62,7 @@ | |||
| 62 | </tr> | 62 | </tr> |
| 63 | </tbody></table> | 63 | </tbody></table> |
| 64 | 64 | ||
| 65 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | ||
| 65 | ## 约束说明 | 66 | ## 约束说明 |
| 66 | 67 | ||
| 67 | 无 | 68 | 无 |
| @@ -62,6 +62,7 @@ | |||
| 62 | </tr> | 62 | </tr> |
| 63 | </tbody></table> | 63 | </tbody></table> |
| 64 | 64 | ||
| 65 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | ||
| 65 | ## 约束说明 | 66 | ## 约束说明 |
| 66 | 67 | ||
| 67 | 无 | 68 | 无 |
| @@ -69,6 +69,7 @@ | |||
| 69 | </tr> | 69 | </tr> |
| 70 | </tbody></table> | 70 | </tbody></table> |
| 71 | 71 | ||
| 72 | +- Kirin X90/Kirin 9030处理器系列产品:支持FLOAT32、FLOAT16和INT32,不支持BFLOAT16。 | ||
| 72 | ## 约束说明 | 73 | ## 约束说明 |
| 73 | 74 | ||
| 74 | 无 | 75 | 无 |
| @@ -10,6 +10,8 @@ | |||
| 10 | | <term>Atlas 200I/500 A2 推理产品</term> | × | | 10 | | <term>Atlas 200I/500 A2 推理产品</term> | × | |
| 11 | | <term>Atlas 推理系列产品 </term> | × | | 11 | | <term>Atlas 推理系列产品 </term> | × | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | +| <term>Kirin X90 处理器系列产品</term> | √ | | ||
| 14 | +| <term>Kirin 9030 处理器系列产品</term> | √ | | ||
| 13 | 15 | ||
| 14 | ## 功能说明 | 16 | ## 功能说明 |
| 15 | 17 | ||
| @@ -105,6 +107,7 @@ | |||
| 105 | </tr> | 107 | </tr> |
| 106 | </tbody></table> | 108 | </tbody></table> |
| 107 | 109 | ||
| 110 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | ||
| 108 | ## 约束说明 | 111 | ## 约束说明 |
| 109 | 无。 | 112 | 无。 |
| 110 | 113 | ||
| @@ -10,6 +10,8 @@ | |||
| 10 | |Atlas 200I/500 A2推理产品|×| | 10 | |Atlas 200I/500 A2推理产品|×| |
| 11 | |Atlas 推理系列产品|√| | 11 | |Atlas 推理系列产品|√| |
| 12 | |Atlas 训练系列产品|√| | 12 | |Atlas 训练系列产品|√| |
| 13 | +| <term>Kirin X90 处理器系列产品</term> | √ | | ||
| 14 | +| <term>Kirin 9030 处理器系列产品</term> | √ | | ||
| 13 | 15 | ||
| 14 | ## 功能说明 | 16 | ## 功能说明 |
| 15 | 17 | ||
| @@ -158,7 +160,7 @@ | |||
| 158 | </tbody></table> | 160 | </tbody></table> |
| 159 | 161 | ||
| 160 | - Atlas 训练系列产品:不支持BFLOAT16。 | 162 | - Atlas 训练系列产品:不支持BFLOAT16。 |
| 161 | - | 163 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 |
| 162 | ## 约束说明 | 164 | ## 约束说明 |
| 163 | 165 | ||
| 164 | 无 | 166 | 无 |
| @@ -10,6 +10,8 @@ | |||
| 10 | | <term>Atlas 200I/500 A2 推理产品</term> | × | | 10 | | <term>Atlas 200I/500 A2 推理产品</term> | × | |
| 11 | | <term>Atlas 推理系列产品 </term> | × | | 11 | | <term>Atlas 推理系列产品 </term> | × | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | +| <term>Kirin X90 处理器系列产品</term> | √ | | ||
| 14 | +| <term>Kirin 9030 处理器系列产品</term> | √ | | ||
| 13 | 15 | ||
| 14 | ## 功能说明 | 16 | ## 功能说明 |
| 15 | 17 | ||
| @@ -91,6 +93,7 @@ | |||
| 91 | </tr> | 93 | </tr> |
| 92 | </tbody></table> | 94 | </tbody></table> |
| 93 | 95 | ||
| 96 | +- Kirin X90/Kirin 9030处理器系列产品:x和y的数据类型不支持BFLOAT16。 | ||
| 94 | ## 约束说明 | 97 | ## 约束说明 |
| 95 | 98 | ||
| 96 | 无 | 99 | 无 |
| @@ -8,6 +8,8 @@ | |||
| 8 | | <term>Atlas 200I/500 A2 推理产品</term> | × | | 8 | | <term>Atlas 200I/500 A2 推理产品</term> | × | |
| 9 | | <term>Atlas 推理系列产品 </term> | × | | 9 | | <term>Atlas 推理系列产品 </term> | × | |
| 10 | | <term>Atlas 训练系列产品</term> | × | | 10 | | <term>Atlas 训练系列产品</term> | × | |
| 11 | +| <term>Kirin X90 处理器系列产品</term> | √ | | ||
| 12 | +| <term>Kirin 9030 处理器系列产品</term> | √ | | ||
| 11 | 13 | ||
| 12 | ## 功能说明 | 14 | ## 功能说明 |
| 13 | 15 | ||
| @@ -81,6 +83,7 @@ | |||
| 81 | </tr> | 83 | </tr> |
| 82 | </tbody></table> | 84 | </tbody></table> |
| 83 | 85 | ||
| 86 | +- Kirin X90/Kirin 9030处理器系列产品:var和value的数据类型不支持BFLOAT16。 | ||
| 84 | ## 约束说明 | 87 | ## 约束说明 |
| 85 | 88 | ||
| 86 | 无 | 89 | 无 |
| @@ -11,6 +11,7 @@ | |||
| 11 | | <term>Atlas 推理系列产品 </term> | × | | 11 | | <term>Atlas 推理系列产品 </term> | × | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | 13 | ||
| 14 | + | ||
| 14 | ## 功能说明 | 15 | ## 功能说明 |
| 15 | 16 | ||
| 16 | - 算子功能:将多维数组 / 矩阵的元素位置映射为单一整数的索引方式。 | 17 | - 算子功能:将多维数组 / 矩阵的元素位置映射为单一整数的索引方式。 |
| @@ -63,6 +64,7 @@ | |||
| 63 | </tr> | 64 | </tr> |
| 64 | </tbody></table> | 65 | </tbody></table> |
| 65 | 66 | ||
| 67 | +- Kirin X90/Kirin 9030处理器系列产品:value_size和index的数据类型不支持INT64。 | ||
| 66 | ## 约束说明 | 68 | ## 约束说明 |
| 67 | 69 | ||
| 68 | 无 | 70 | 无 |
| @@ -10,7 +10,8 @@ | |||
| 10 | | <term>Atlas 200I/500 A2 推理产品</term> | × | | 10 | | <term>Atlas 200I/500 A2 推理产品</term> | × | |
| 11 | | <term>Atlas 推理系列产品 </term> | × | | 11 | | <term>Atlas 推理系列产品 </term> | × | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | - | 13 | +| <term>Kirin X90 处理器系列产品</term> | √ | |
| 14 | +| <term>Kirin 9030 处理器系列产品</term> | √ | | ||
| 14 | ## 功能说明 | 15 | ## 功能说明 |
| 15 | 16 | ||
| 16 | - 算子功能: 将tensor src中的值按指定的轴和方向和对应的位置关系逐个替换/累加/累乘至tensor self中。 | 17 | - 算子功能: 将tensor src中的值按指定的轴和方向和对应的位置关系逐个替换/累加/累乘至tensor self中。 |
| @@ -87,6 +88,7 @@ | |||
| 87 | </tbody></table> | 88 | </tbody></table> |
| 88 | 89 | ||
| 89 | 90 | ||
| 91 | +- Kirin X90/Kirin 9030处理器系列产品:var和value的数据类型不支持BFLOAT16,sorted_index和pos的数据类型不支持INT64。 | ||
| 90 | ## 约束说明 | 92 | ## 约束说明 |
| 91 | 93 | ||
| 92 | 无 | 94 | 无 |
| @@ -10,6 +10,8 @@ | |||
| 10 | | <term>Atlas 200I/500 A2 推理产品</term> | × | | 10 | | <term>Atlas 200I/500 A2 推理产品</term> | × | |
| 11 | | <term>Atlas 推理系列产品 </term> | × | | 11 | | <term>Atlas 推理系列产品 </term> | × | |
| 12 | | <term>Atlas 训练系列产品</term> | × | | 12 | | <term>Atlas 训练系列产品</term> | × | |
| 13 | +| <term>Kirin X90 处理器系列产品</term> | √ | | ||
| 14 | +| <term>Kirin 9030 处理器系列产品</term> | √ | | ||
| 13 | 15 | ||
| 14 | ## 功能说明 | 16 | ## 功能说明 |
| 15 | 17 | ||
| @@ -85,7 +87,7 @@ | |||
| 85 | </tr> | 87 | </tr> |
| 86 | </tbody></table> | 88 | </tbody></table> |
| 87 | 89 | ||
| 88 | - | 90 | +- Kirin X90/Kirin 9030处理器系列产品:var和updates的数据类型不支持BFLOAT16,输出var的数据类型不支持DOUBLE、BFLOAT16、INT64和BOOL。 |
| 89 | ## 约束说明 | 91 | ## 约束说明 |
| 90 | 92 | ||
| 91 | 无 | 93 | 无 |
| @@ -75,7 +75,7 @@ | |||
| 75 | 75 | ||
| 76 | - Atlas A2 训练系列产品/Atlas A2 推理系列产品、Atlas A3 训练系列产品/Atlas A3 推理系列产品:bias不支持BFLOAT16数据格式。 | 76 | - Atlas A2 训练系列产品/Atlas A2 推理系列产品、Atlas A3 训练系列产品/Atlas A3 推理系列产品:bias不支持BFLOAT16数据格式。 |
| 77 | - Atlas 推理系列产品:只支持FLOAT16数据格式,输入mat2只支持FRACTAL_NZ格式。 | 77 | - Atlas 推理系列产品:只支持FLOAT16数据格式,输入mat2只支持FRACTAL_NZ格式。 |
| 78 | - | 78 | +- Kirin X90/Kirin 9030处理器系列产品:self、mat2和out的数据类型不支持BFLOAT16、FLOAT32,bias只支持INT8。 |
| 79 | ## 约束说明 | 79 | ## 约束说明 |
| 80 | 80 | ||
| 81 | - 支持空tensor,空tensor场景下不支持bias。 | 81 | - 支持空tensor,空tensor场景下不支持bias。 |
| @@ -79,6 +79,7 @@ | |||
| 79 | </tr> | 79 | </tr> |
| 80 | </tbody></table> | 80 | </tbody></table> |
| 81 | 81 | ||
| 82 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | ||
| 82 | ## 约束说明 | 83 | ## 约束说明 |
| 83 | 84 | ||
| 84 | - 不支持空tensor。 | 85 | - 不支持空tensor。 |
| @@ -77,6 +77,7 @@ | |||
| 77 | - Atlas A3 训练系列产品/Atlas A3 推理系列产品:不支持FRACTAL_NZ格式,bias不支持BFLOAT16数据格式。 | 77 | - Atlas A3 训练系列产品/Atlas A3 推理系列产品:不支持FRACTAL_NZ格式,bias不支持BFLOAT16数据格式。 |
| 78 | - Ascend 950PR/Ascend 950DT:只有输入b支持FRACTAL_NZ格式。 | 78 | - Ascend 950PR/Ascend 950DT:只有输入b支持FRACTAL_NZ格式。 |
| 79 | 79 | ||
| 80 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16、FLOAT32。 | ||
| 80 | ## 约束说明 | 81 | ## 约束说明 |
| 81 | 82 | ||
| 82 | - 支持空tensor,空tensor场景下不支持bias。 | 83 | - 支持空tensor,空tensor场景下不支持bias。 |
| @@ -146,6 +146,13 @@ | |||
| 146 | - bias只支持INT32数据类型。 | 146 | - bias只支持INT32数据类型。 |
| 147 | - y只支持FLOAT16和INT32数据类型。 | 147 | - y只支持FLOAT16和INT32数据类型。 |
| 148 | - pertoken_scale暂不支持。 | 148 | - pertoken_scale暂不支持。 |
| 149 | +- Kirin X90/Kirin 9030处理器系列产品: | ||
| 150 | + - x1、x2只支持INT8数据类型。 | ||
| 151 | + - scale只支持UINT64、INT64数据类型。 | ||
| 152 | + - offset只支持FLOAT32数据类型。 | ||
| 153 | + - bias只支持INT32数据类型。 | ||
| 154 | + - pertoken_scale只支持FLOAT32数据类型。 | ||
| 155 | + - y只支持FLOAT16和INT8数据类型。 | ||
| 149 | ## 约束说明 | 156 | ## 约束说明 |
| 150 | 157 | ||
| 151 | - 不支持空tensor。 | 158 | - 不支持空tensor。 |
| @@ -141,6 +141,7 @@ | |||
| 141 | </tr> | 141 | </tr> |
| 142 | </tbody></table> | 142 | </tbody></table> |
| 143 | 143 | ||
| 144 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | ||
| 144 | ## 约束说明 | 145 | ## 约束说明 |
| 145 | 146 | ||
| 146 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>: | 147 | - <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>、<term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>: |
| @@ -147,6 +147,7 @@ | |||
| 147 | - 在当前产品下的使用场景下,输出参数`mean`、`rstd`为无效参数,输出的值不生效。 | 147 | - 在当前产品下的使用场景下,输出参数`mean`、`rstd`为无效参数,输出的值不生效。 |
| 148 | - x1、x2、beta、gamma、bias五个输入的尾轴长度必须大于等于32Bytes。 | 148 | - x1、x2、beta、gamma、bias五个输入的尾轴长度必须大于等于32Bytes。 |
| 149 | 149 | ||
| 150 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | ||
| 150 | ## 约束说明 | 151 | ## 约束说明 |
| 151 | 152 | ||
| 152 | - 是否支持空tensor:不支持空进空出。 | 153 | - 是否支持空tensor:不支持空进空出。 |
| @@ -235,6 +235,7 @@ | |||
| 235 | </tr> | 235 | </tr> |
| 236 | </tbody></table> | 236 | </tbody></table> |
| 237 | 237 | ||
| 238 | +- Kirin X90/Kirin 9030处理器系列产品:不支持BFLOAT16。 | ||
| 238 | ## 约束说明 | 239 | ## 约束说明 |
| 239 | 240 | ||
| 240 | 无 | 241 | 无 |
| @@ -99,6 +99,7 @@ | |||
| 99 | 99 | ||
| 100 | - <term>Atlas 推理系列产品</term>:参数`x1`、`x2`、`gamma`、`y`、`x`的数据类型不支持BFLOAT16。 | 100 | - <term>Atlas 推理系列产品</term>:参数`x1`、`x2`、`gamma`、`y`、`x`的数据类型不支持BFLOAT16。 |
| 101 | 101 | ||
| 102 | +- Kirin X90/Kirin 9030处理器系列产品:x1、x2、gamma、y和x的数据类型不支持BFLOAT16。 | ||
| 102 | ## 约束说明 | 103 | ## 约束说明 |
| 103 | 104 | ||
| 104 | 无 | 105 | 无 |
| @@ -192,6 +192,7 @@ | |||
| 192 | 192 | ||
| 193 | 输出参数`y1`、`y2`的数据类型仅支持INT4、INT8。 | 193 | 输出参数`y1`、`y2`的数据类型仅支持INT4、INT8。 |
| 194 | 194 | ||
| 195 | +- Kirin X90/Kirin 9030处理器系列产品:x1、x2、gamma、smooth_scale1、smooth_scale2、beta和x的数据类型不支持BFLOAT16,y1和y2只支持INT8。 | ||
| 195 | ## 约束说明 | 196 | ## 约束说明 |
| 196 | 197 | ||
| 197 | - 当output_mask不为空时,参数smooth_scale1有值时,则output_mask[0]必须为True。参数smooth_scale2有值时,则output_mask[1]必须为True。 | 198 | - 当output_mask不为空时,参数smooth_scale1有值时,则output_mask[0]必须为True。参数smooth_scale2有值时,则output_mask[1]必须为True。 |
| @@ -132,6 +132,7 @@ | |||
| 132 | </tr> | 132 | </tr> |
| 133 | </tbody></table> | 133 | </tbody></table> |
| 134 | 134 | ||
| 135 | +- Kirin X90/Kirin 9030处理器系列产品:所有输入、输出的数据类型不支持BFLOAT16。 | ||
| 135 | ## 约束说明 | 136 | ## 约束说明 |
| 136 | 137 | ||
| 137 | 无 | 138 | 无 |
| @@ -132,6 +132,7 @@ | |||
| 132 | - 所有的输入参数和输出参数`x1`、`x2`的数据类型不支持BFLOAT16。 | 132 | - 所有的输入参数和输出参数`x1`、`x2`的数据类型不支持BFLOAT16。 |
| 133 | - x1、x2、beta、gamma、bias五个输入的尾轴长度必须大于等于32Bytes。 | 133 | - x1、x2、beta、gamma、bias五个输入的尾轴长度必须大于等于32Bytes。 |
| 134 | 134 | ||
| 135 | +- Kirin X90/Kirin 9030处理器系列产品:所有输入、输出的数据类型不支持BFLOAT16。 | ||
| 135 | ## 约束说明 | 136 | ## 约束说明 |
| 136 | 137 | ||
| 137 | - 是否支持空tensor:不支持空进空出。 | 138 | - 是否支持空tensor:不支持空进空出。 |
| @@ -76,7 +76,7 @@ | |||
| 76 | <td>ND</td> | 76 | <td>ND</td> |
| 77 | </tbody></table> | 77 | </tbody></table> |
| 78 | 78 | ||
| 79 | - - <term>Atlas 推理系列产品</term>、<term>Kirin X90 处理器系列产品</term>:所有输入参数和输出参数的数据类型不支持BFLOAT16。 | 79 | + - <term>Atlas 推理系列产品</term>、<term>Kirin X90/Kirin 9030 处理器系列产品</term>:所有输入参数和输出参数的数据类型不支持BFLOAT16。 |
| 80 | 80 | ||
| 81 | ## 约束说明 | 81 | ## 约束说明 |
| 82 | 82 | ||
| @@ -60,7 +60,7 @@ | |||
| 60 | </tbody></table> | 60 | </tbody></table> |
| 61 | 61 | ||
| 62 | - Atlas 推理系列产品:不支持BFLOAT16。 | 62 | - Atlas 推理系列产品:不支持BFLOAT16。 |
| 63 | - | 63 | +- Kirin X90/Kirin 9030 处理器系列产品: 不支持BFLOAT16。 |
| 64 | ## 约束说明 | 64 | ## 约束说明 |
| 65 | 65 | ||
| 66 | 无。 | 66 | 无。 |
| @@ -100,7 +100,7 @@ | |||
| 100 | </tr> | 100 | </tr> |
| 101 | </tbody></table> | 101 | </tbody></table> |
| 102 | 102 | ||
| 103 | - | 103 | + - Kirin X90/Kirin 9030 处理器系列产品: 不支持BFLOAT16。 |
| 104 | ## 约束说明 | 104 | ## 约束说明 |
| 105 | Shape描述: | 105 | Shape描述: |
| 106 | - self.shape = (N, C, Din, Hin, Win) | 106 | - self.shape = (N, C, Din, Hin, Win) |
| @@ -118,6 +118,7 @@ $$ | |||
| 118 | </tr> | 118 | </tr> |
| 119 | </tbody></table> | 119 | </tbody></table> |
| 120 | 120 | ||
| 121 | +- Kirin X90/Kirin 9030 处理器系列产品: 不支持BFLOAT16。 | ||
| 121 | ## 约束说明 | 122 | ## 约束说明 |
| 122 | 123 | ||
| 123 | 无。 | 124 | 无。 |
| @@ -118,7 +118,7 @@ | |||
| 118 | </tbody></table> | 118 | </tbody></table> |
| 119 | 119 | ||
| 120 | - <term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>:`argmax` 数据类型不支持INT64。输入数据排布不支持NDHWC。 | 120 | - <term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>:`argmax` 数据类型不支持INT64。输入数据排布不支持NDHWC。 |
| 121 | - | 121 | +- Kirin X90/Kirin 9030 处理器系列产品: 输入/输出不支持BFLOAT16;`argmax` 数据类型不支持INT64。 |
| 122 | ## 约束说明 | 122 | ## 约束说明 |
| 123 | 123 | ||
| 124 | 无。 | 124 | 无。 |
| @@ -120,6 +120,7 @@ | |||
| 120 | - round_mode:dst_type表示FLOAT8_E5M2或FLOAT8_E4M3FN时,只支持round。dst_type表示HIFLOAT8时,支持round和hybrid。dst_type表示其他类型时,支持round,ceil,trunc和floor。 | 120 | - round_mode:dst_type表示FLOAT8_E5M2或FLOAT8_E4M3FN时,只支持round。dst_type表示HIFLOAT8时,支持round和hybrid。dst_type表示其他类型时,支持round,ceil,trunc和floor。 |
| 121 | - axis:支持指定x的最后两个维度(假设输入x维度是xDimNum,axis取值范围是[-2,-1]或[xDimNum-2,xDimNum-1])。 | 121 | - axis:支持指定x的最后两个维度(假设输入x维度是xDimNum,axis取值范围是[-2,-1]或[xDimNum-2,xDimNum-1])。 |
| 122 | 122 | ||
| 123 | +- Kirin X90/Kirin 9030 处理器系列产品: `x`、`scale`、`offset`不支持BFLOAT16;`y` 数据类型不支持INT4、HIFLOAT8、FLOAT8_E5M2、FLOAT8_E4M3FN。 | ||
| 123 | ## 约束说明 | 124 | ## 约束说明 |
| 124 | 125 | ||
| 125 | 无 | 126 | 无 |
| @@ -92,6 +92,7 @@ | |||
| 92 | </tr> | 92 | </tr> |
| 93 | </tbody></table> | 93 | </tbody></table> |
| 94 | 94 | ||
| 95 | +- Kirin X90/Kirin 9030 处理器系列产品: 不支持BFLOAT16。 | ||
| 95 | ## 约束说明 | 96 | ## 约束说明 |
| 96 | 97 | ||
| 97 | 输入和输出参数中shape的N和M必须是正整数,且M的取值小于等于25000。 | 98 | 输入和输出参数中shape的N和M必须是正整数,且M的取值小于等于25000。 |
| @@ -151,6 +151,11 @@ | |||
| 151 | 151 | ||
| 152 | - DequantSwigluQuant不包含dstType、roundModeOptional和activateDim参数。 | 152 | - DequantSwigluQuant不包含dstType、roundModeOptional和activateDim参数。 |
| 153 | 153 | ||
| 154 | +- Kirin X90/Kirin 9030 处理器系列产品: | ||
| 155 | + - 输入`x`:数据类型不支持BFLOAT16。 | ||
| 156 | + - 输入`biasOptional`:数据类型不支持BFLOAT16。 | ||
| 157 | + - 输入`quantScaleOptional`:数据类型不支持FLOAT16。 | ||
| 158 | + - 输出`y`:数据类型仅支持INT8 | ||
| 154 | ## 约束说明 | 159 | ## 约束说明 |
| 155 | 160 | ||
| 156 | - 输入x对应activateDim的维度需要是2的倍数,且x的维数必须大于1维。 | 161 | - 输入x对应activateDim的维度需要是2的倍数,且x的维数必须大于1维。 |
| @@ -112,6 +112,10 @@ | |||
| 112 | - 输入`smooth_scales`为预留参数,当前版本不参与计算。 | 112 | - 输入`smooth_scales`为预留参数,当前版本不参与计算。 |
| 113 | - <term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>:输出`y`的数据类型仅支持INT8、INT4。 | 113 | - <term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>:输出`y`的数据类型仅支持INT8、INT4。 |
| 114 | 114 | ||
| 115 | +- Kirin X90/Kirin 9030 处理器系列产品: | ||
| 116 | + - 输入`x`:数据类型仅支持FLOAT16。 | ||
| 117 | + - 可选输入`smooth_scales`:数据类型仅支持FLOAT16。 | ||
| 118 | + - 输出`y`:数据类型仅支持INT8。 | ||
| 115 | ## 约束说明 | 119 | ## 约束说明 |
| 116 | 120 | ||
| 117 | 无 | 121 | 无 |
| @@ -82,6 +82,9 @@ | |||
| 82 | </tr> | 82 | </tr> |
| 83 | </tbody></table> | 83 | </tbody></table> |
| 84 | 84 | ||
| 85 | +- Kirin X90/Kirin 9030 处理器系列产品: | ||
| 86 | + - 输入`updates`:数据类型仅支持FLOAT16。 | ||
| 87 | + - 输入`smooth_scales`:数据类型仅支持FLOAT16。 | ||
| 85 | ## 约束说明 | 88 | ## 约束说明 |
| 86 | 89 | ||
| 87 | 1. indices的维数只能是1维或者2维,如果是2维,其第2维的大小必须是2。 | 90 | 1. indices的维数只能是1维或者2维,如果是2维,其第2维的大小必须是2。 |
| @@ -69,6 +69,8 @@ | |||
| 69 | </tr> | 69 | </tr> |
| 70 | </tbody></table> | 70 | </tbody></table> |
| 71 | 71 | ||
| 72 | +- Kirin X90/Kirin 9030 处理器系列产品: | ||
| 73 | + - 输入`x`:数据类型仅支持FLOAT16。 | ||
| 72 | ## 约束说明 | 74 | ## 约束说明 |
| 73 | 75 | ||
| 74 | - 量化方式支持非对称量化,量化数据类型支持INT4。 | 76 | - 量化方式支持非对称量化,量化数据类型支持INT4。 |
| @@ -172,6 +172,10 @@ | |||
| 172 | - 输入`dst_type`:只支持配置为2。 | 172 | - 输入`dst_type`:只支持配置为2。 |
| 173 | - <term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>:输出`y`的数据类型仅支持INT8、INT4。 | 173 | - <term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term>、<term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term>:输出`y`的数据类型仅支持INT8、INT4。 |
| 174 | 174 | ||
| 175 | +- Kirin X90/Kirin 9030 处理器系列产品: | ||
| 176 | + - 输入`x`:数据类型仅支持FLOAT16。 | ||
| 177 | + - 可选输入`smooth_scales`:数据类型仅支持FLOAT16。 | ||
| 178 | + - 输出`y`:数据类型仅支持INT8。 | ||
| 175 | ## 约束说明 | 179 | ## 约束说明 |
| 176 | 180 | ||
| 177 | - E不应大于x去掉最后一个维度后的维度的乘积结果(S)。 | 181 | - E不应大于x去掉最后一个维度后的维度的乘积结果(S)。 |
| @@ -106,7 +106,7 @@ | |||
| 106 | </tr> | 106 | </tr> |
| 107 | </tbody></table> | 107 | </tbody></table> |
| 108 | 108 | ||
| 109 | - | 109 | +- Kirin X90/Kirin 9030 处理器系列产品: `zero_point`支持INT32、FLOAT、FLOAT16。 |
| 110 | ## 约束说明 | 110 | ## 约束说明 |
| 111 | 111 | ||
| 112 | 无 | 112 | 无 |
| @@ -84,6 +84,7 @@ | |||
| 84 | </tr> | 84 | </tr> |
| 85 | </tbody></table> | 85 | </tbody></table> |
| 86 | 86 | ||
| 87 | +- Kirin X90/Kirin 9030 处理器系列产品: 不支持BFLOAT16。 | ||
| 87 | ## 约束说明 | 88 | ## 约束说明 |
| 88 | 89 | ||
| 89 | - 输入`scale`与输入`offset`的数据类型一致。 | 90 | - 输入`scale`与输入`offset`的数据类型一致。 |
| @@ -154,6 +154,7 @@ | |||
| 154 | </tr> | 154 | </tr> |
| 155 | </tbody></table> | 155 | </tbody></table> |
| 156 | 156 | ||
| 157 | +- Kirin X90/Kirin 9030 处理器系列产品: `x`数据类型不支持BFLOAT16;`y`数据类型不支持INT4。 | ||
| 157 | ## 约束说明 | 158 | ## 约束说明 |
| 158 | 159 | ||
| 159 | 无 | 160 | 无 |
| @@ -77,6 +77,7 @@ | |||
| 77 | </tr> | 77 | </tr> |
| 78 | </tbody></table> | 78 | </tbody></table> |
| 79 | 79 | ||
| 80 | +- Kirin X90/Kirin 9030 处理器系列产品: 不支持BFLOAT16。 | ||
| 80 | ## 约束说明 | 81 | ## 约束说明 |
| 81 | 82 | ||
| 82 | 无 | 83 | 无 |