| Files | Last commit | Last update |
|---|---|---|
修改nn仓AIDD扫描必处理问题 Co-authored-by: y60124828<yanglou1@h-partners.com> # message auto-generated for no-merge-commit merge: !14238 merge master into master 修改nn仓AIDD扫描必处理问题 Created-by: yanglu-1 Commit-by: y60124828 Merged-by: cann-robot Description: ## 描述 修改nn仓AIDD扫描必处理问题 ## 关联的Issue 关联Issue [#8649](https://gitcode.com/cann/ops-nn/issues/8649) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!14238 | 10 days ago | |
fix(dynamic_mx_quant/quant_update_scatter): 修复示例代码及文档中的数据初始化、类型不匹配、注释错误及 aclrtMemcpy 逻辑缺陷 Co-authored-by: yuanbin_22<yuanbin22@huawei.com> # message auto-generated for no-merge-commit merge: !9454 merge fix/dual-axis-mx-quant-example-fix into master fix(dynamic_mx_quant/quant_update_scatter): 修复示例代码及文档中的数据初始化、类型不匹配、注释错误及 aclrtMemcpy 逻辑缺陷 Created-by: yuanbin_22 Commit-by: yuanbin_22 Merged-by: cann-robot Description: ## 描述 本 PR 修复 dynamic_mx_quant 和 quant_update_scatter 系列算子的示例代码和接口文档中存在的多类问题,涵盖数据初始化方式错误、数据类型不匹配、注释错误、aclrtMemcpy 逻辑缺陷、版权头不规范及 dtype 拼写错误。 ### 涉及文件 | 文件 | 变更类型 | +行 | -行 | |------|----------|-----|-----| | index/quant_update_scatter/docs/aclnnInplaceQuantScatter.md | 文档修复 | +4 | -4 | | index/quant_update_scatter/docs/aclnnInplaceQuantScatterV2.md | 文档修复 | +9 | -9 | | index/quant_update_scatter/examples/test_aclnn_inplace_quant_scatter.cpp | 示例修复 | +5 | -5 | | quant/dynamic_mx_quant/docs/aclnnDynamicMxQuant.md | 文档修复 | +2 | -2 | | quant/dynamic_mx_quant/docs/aclnnDynamicMxQuantV2.md | 文档修复 | +2 | -2 | | quant/dynamic_mx_quant/docs/aclnnDynamicMxQuantV3.md | 文档修复 | +2 | -2 | | quant/dynamic_mx_quant/examples/arch35/test_aclnn_dynamic_mx_quant.cpp | 示例修复 | +12 | -13 | | quant/dynamic_mx_quant/examples/arch35/test_aclnn_dynamic_mx_quant_v3.cpp | 示例修复 | +6 | -7 | | quant/dynamic_mx_quant_with_dual_axis/docs/aclnnDynamicMxQuantWithDualAxis.md | 文档修复 | +8 | -6 | | quant/dynamic_mx_quant_with_dual_axis/docs/aclnnDynamicMxQuantWithDualAxisV2.md | 文档修复 | +8 | -6 | | quant/dynamic_mx_quant_with_dual_axis/examples/arch35/test_aclnn_dynamic_mx_quant_with_dual_axis.cpp | 示例修复 | +14 | -15 | ### 变更内容 #### 1. 数据初始化方式修复({count, value} → (count, value)) quant_update_scatter 的示例代码和文档中,std::vector 使用初始化列表语法 {32, 0} 构造,实际创建的是包含两个元素 [32, 0] 的向量,而非32个0。修复为使用构造函数语法 (32, 0) 创建32个值为0的元素。 同时修复 updatesHostData 的数据类型:从 std::vector<float> 改为 std::vector<uint16_t>(FP16),值为 15360(即 FP16 编码的 1.0 = 0x3C00),与 updates 张量声明的 FP16 数据类型匹配。quantZeroPointsHostData 从 float 改为 int32_t,值为 0,与 dtype 声明匹配。 涉及文件:aclnnInplaceQuantScatter.md、aclnnInplaceQuantScatterV2.md、test_aclnn_inplace_quant_scatter.cpp #### 2. mxscaleOutHostData 多余花括号修复 dynamic_mx_quant 系列示例中 std::vector<uint8_t> mxscaleOutHostData = {{128, 0}} 存在多余花括号,虽不报错但不规范,修复为 {128, 0}。 涉及文件:aclnnDynamicMxQuant.md、aclnnDynamicMxQuantV2.md、aclnnDynamicMxQuantV3.md、test_aclnn_dynamic_mx_quant.cpp、test_aclnn_dynamic_mx_quant_v3.cpp #### 3. 注释错误修复(fp4 → fp8) dynamic_mx_quant 系列示例中,输出数据为 float8_e4m3 类型,但注释写为「C语言中无法直接打印fp4的数据」,修复为「fp8」。 涉及文件:上述所有 dynamic_mx_quant 和 dynamic_mx_quant_with_dual_axis 相关文件 #### 4. aclrtMemcpy 逻辑缺陷修复 dynamic_mx_quant_with_dual_axis 系列示例中,两个 aclrtMemcpy(y1Out 和 y2Out)使用 && 运算符连接,导致 y1Out 的拷贝结果被隐式转换为 bool 与 y2Out 的拷贝结果做逻辑与,只返回最终的 bool 结果。此外若 y1Out 拷贝失败,y2Out 拷贝仍会执行,且错误信息合并为一条。 修复为分步执行:先执行 y1Out 拷贝并立即 CHECK_RET 校验,再执行 y2Out 拷贝并单独 CHECK_RET 校验,错误信息分别输出。 涉及文件:aclnnDynamicMxQuantWithDualAxis.md、aclnnDynamicMxQuantWithDualAxisV2.md、test_aclnn_dynamic_mx_quant_with_dual_axis.cpp #### 5. y2OutHostData 期望值修复 dynamic_mx_quant_with_dual_axis 系列示例中,y2OutHostData 的期望值为 {0, 0, 0, 0},与实际计算结果不符。修复为 {0, 120, 120, 120}。 涉及文件:上述 dynamic_mx_quant_with_dual_axis 相关文件 #### 6. dtype 拼写错误修复 aclnnInplaceQuantScatterV2.md 中,dtype 组合表中 FLOAT_E5M2 应为 FLOAT8_E5M2(缺少 8),修复为正确名称。 #### 7. 版权头规范化 dynamic_mx_quant 系列示例代码的版权头将 This program is free software... 放在 Copyright 之前,且多行文本排版不规范。修复为将 Copyright 放在首行,统一许可证文本格式。 涉及文件:test_aclnn_dynamic_mx_quant.cpp、test_aclnn_dynamic_mx_quant_v3.cpp、test_aclnn_dynamic_mx_quant_with_dual_axis.cpp #### 8. 文件末尾换行符补充 多个示例文件末尾缺少换行符,统一补充 \n。 涉及文件:test_aclnn_inplace_quant_scatter.cpp、test_aclnn_dynamic_mx_quant.cpp、test_aclnn_dynamic_mx_quant_with_dual_axis.cpp ## 关联的Issue 关联Issue #5300 ## 测试 - 示例代码编译通过,无类型不匹配告警 - quant_update_scatter 示例数据初始化正确,运行结果符合预期 - dynamic_mx_quant_with_dual_axis aclrtMemcpy 分步校验,错误可独立定位 - 期望值与实际计算结果一致 ## 文档更新 - aclnnInplaceQuantScatter.md、aclnnInplaceQuantScatterV2.md:修复示例代码数据初始化 - aclnnDynamicMxQuant.md、aclnnDynamicMxQuantV2.md、aclnnDynamicMxQuantV3.md:修复注释和花括号 - aclnnDynamicMxQuantWithDualAxis.md、aclnnDynamicMxQuantWithDualAxisV2.md:修复 aclrtMemcpy 逻辑、注释和期望值 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!9454 | 2 months ago | |
feat(dynamic_mx_quant): 支持 Ascend 950 scale_alg=3 NVFP4 block16 量化 Co-authored-by: F0rty-tw0<jiangzhongbin3@huawei.com> # message auto-generated for no-merge-commit merge: !13691 merge feat/dynamic-mx-quant-scalealg3-nvfp4 into master feat(dynamic_mx_quant): 支持 Ascend 950 scale_alg=3 NVFP4 block16 量化 Created-by: F0rty-tw0 Commit-by: F0rty-tw0 Merged-by: cann-robot Description: ## 描述 为 DynamicMxQuant 新增 scale_alg=3 的 NVFP4 block16 量化,支持 Ascend 950 的 FP16/BF16 输入、偶数长度尾轴和 rint / round / floor 三种舍入模式。每16个元素生成 E2M1 数据及 E4M3FN scale,并接入属性校验、输出类型/形状推导及二进制配置。 格式仍声明为ND,沿用官方master的默认格式匹配和输入AutoContiguous()行为,不设置全局FormatMatchMode(STRICT)。 NVFP4 尾轴实现基于 !12982,复用现有尾轴 tiling 与 DynamicMxQuantTailAxisTilingData,通过行列切分和 UB 循环覆盖短行、长行及非对齐尾轴。NVFP4 kernel 集中在 dynamic_mx_quant_tail_axis_nvfp4.h,TPipe 管理搬入、计算和搬出的依赖;不限制完整 DT 型号。 - 保留 FP16/BF16 先求 max、再转 FP32 的数值顺序;补齐使用 NaN,修复全 NaN 尾块、scale 零值/NaN、scale 整理及边界量化的精度问题。 - AutoTiling() 对 scale_alg=3 增加16行评分:按每核最多行数及实际 block16 计算宽度估算工作量,非16对齐段计入现有 kernel 的4个block对齐开销,避免512列整片与短尾片被当作相同负载。候选枚举及原排序器继续复用。 - NVFP4 golden 合入既有 tests/assets/golden.py;本次实现替换使用同一份已验证 golden,未重新生成期望数据。提交范围为算子代码及既有 golden。 ## 关联的Issue 无。 ## 测试 - 独立 CANN 9.2.0 环境完成算子包编译和安装,实测设备 Ascend950DT_9574。 - 格式匹配调整前,量化实现精度3765/3765通过:3560条native、120条连续执行、85条TTK;覆盖FP16/BF16、三种舍入模式、NaN、Inf、-Inf、正负零、极大/极小值及切分边界,y和scale二进制一致,并检查输入和保护区。 - 格式匹配调整前,重新采集85条TTK,二进制精度及内存检查85/85通过;每条预先排除首轮,后5次取算术平均,共425次正式采样,全部保留。 - 相对精度修复后的 !12982 历史结果,40960×528从56.3043μs到35.6558μs,40960×514从56.8980μs到38.9852μs;2560×45058从152.1633μs到159.9430μs,存在约5.11%回退。历史基准为排除首轮后4次均值,最新为5次均值;不宣称逐例均有收益。 - 已同步主仓master。删除全局STRICT后,重新编译安装完整自定义包:原有scale_alg=0/1/2的20条兼容性测试全部通过(FP16/BF16非连续输入、rank1—5及ND/NCL scale对照),NVFP4原生精度3560/3560及120条连续执行全部通过,y/scale二进制一致、输入及保护区正常;已核实实际加载的新库。该包的85条TTK回归在用户要求停止时中断,不计为完成,也未重新采集性能。 - 提交前格式、静态及OAT检查通过。 ## 文档更新 无。 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!13691 | 4 days ago | |
feat(dynamic_mx_quant): 支持 Ascend 950 scale_alg=3 NVFP4 block16 量化 Co-authored-by: F0rty-tw0<jiangzhongbin3@huawei.com> # message auto-generated for no-merge-commit merge: !13691 merge feat/dynamic-mx-quant-scalealg3-nvfp4 into master feat(dynamic_mx_quant): 支持 Ascend 950 scale_alg=3 NVFP4 block16 量化 Created-by: F0rty-tw0 Commit-by: F0rty-tw0 Merged-by: cann-robot Description: ## 描述 为 DynamicMxQuant 新增 scale_alg=3 的 NVFP4 block16 量化,支持 Ascend 950 的 FP16/BF16 输入、偶数长度尾轴和 rint / round / floor 三种舍入模式。每16个元素生成 E2M1 数据及 E4M3FN scale,并接入属性校验、输出类型/形状推导及二进制配置。 格式仍声明为ND,沿用官方master的默认格式匹配和输入AutoContiguous()行为,不设置全局FormatMatchMode(STRICT)。 NVFP4 尾轴实现基于 !12982,复用现有尾轴 tiling 与 DynamicMxQuantTailAxisTilingData,通过行列切分和 UB 循环覆盖短行、长行及非对齐尾轴。NVFP4 kernel 集中在 dynamic_mx_quant_tail_axis_nvfp4.h,TPipe 管理搬入、计算和搬出的依赖;不限制完整 DT 型号。 - 保留 FP16/BF16 先求 max、再转 FP32 的数值顺序;补齐使用 NaN,修复全 NaN 尾块、scale 零值/NaN、scale 整理及边界量化的精度问题。 - AutoTiling() 对 scale_alg=3 增加16行评分:按每核最多行数及实际 block16 计算宽度估算工作量,非16对齐段计入现有 kernel 的4个block对齐开销,避免512列整片与短尾片被当作相同负载。候选枚举及原排序器继续复用。 - NVFP4 golden 合入既有 tests/assets/golden.py;本次实现替换使用同一份已验证 golden,未重新生成期望数据。提交范围为算子代码及既有 golden。 ## 关联的Issue 无。 ## 测试 - 独立 CANN 9.2.0 环境完成算子包编译和安装,实测设备 Ascend950DT_9574。 - 格式匹配调整前,量化实现精度3765/3765通过:3560条native、120条连续执行、85条TTK;覆盖FP16/BF16、三种舍入模式、NaN、Inf、-Inf、正负零、极大/极小值及切分边界,y和scale二进制一致,并检查输入和保护区。 - 格式匹配调整前,重新采集85条TTK,二进制精度及内存检查85/85通过;每条预先排除首轮,后5次取算术平均,共425次正式采样,全部保留。 - 相对精度修复后的 !12982 历史结果,40960×528从56.3043μs到35.6558μs,40960×514从56.8980μs到38.9852μs;2560×45058从152.1633μs到159.9430μs,存在约5.11%回退。历史基准为排除首轮后4次均值,最新为5次均值;不宣称逐例均有收益。 - 已同步主仓master。删除全局STRICT后,重新编译安装完整自定义包:原有scale_alg=0/1/2的20条兼容性测试全部通过(FP16/BF16非连续输入、rank1—5及ND/NCL scale对照),NVFP4原生精度3560/3560及120条连续执行全部通过,y/scale二进制一致、输入及保护区正常;已核实实际加载的新库。该包的85条TTK回归在用户要求停止时中断,不计为完成,也未重新采集性能。 - 提交前格式、静态及OAT检查通过。 ## 文档更新 无。 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!13691 | 4 days ago | |
feat(dynamic_mx_quant): 支持 Ascend 950 scale_alg=3 NVFP4 block16 量化 Co-authored-by: F0rty-tw0<jiangzhongbin3@huawei.com> # message auto-generated for no-merge-commit merge: !13691 merge feat/dynamic-mx-quant-scalealg3-nvfp4 into master feat(dynamic_mx_quant): 支持 Ascend 950 scale_alg=3 NVFP4 block16 量化 Created-by: F0rty-tw0 Commit-by: F0rty-tw0 Merged-by: cann-robot Description: ## 描述 为 DynamicMxQuant 新增 scale_alg=3 的 NVFP4 block16 量化,支持 Ascend 950 的 FP16/BF16 输入、偶数长度尾轴和 rint / round / floor 三种舍入模式。每16个元素生成 E2M1 数据及 E4M3FN scale,并接入属性校验、输出类型/形状推导及二进制配置。 格式仍声明为ND,沿用官方master的默认格式匹配和输入AutoContiguous()行为,不设置全局FormatMatchMode(STRICT)。 NVFP4 尾轴实现基于 !12982,复用现有尾轴 tiling 与 DynamicMxQuantTailAxisTilingData,通过行列切分和 UB 循环覆盖短行、长行及非对齐尾轴。NVFP4 kernel 集中在 dynamic_mx_quant_tail_axis_nvfp4.h,TPipe 管理搬入、计算和搬出的依赖;不限制完整 DT 型号。 - 保留 FP16/BF16 先求 max、再转 FP32 的数值顺序;补齐使用 NaN,修复全 NaN 尾块、scale 零值/NaN、scale 整理及边界量化的精度问题。 - AutoTiling() 对 scale_alg=3 增加16行评分:按每核最多行数及实际 block16 计算宽度估算工作量,非16对齐段计入现有 kernel 的4个block对齐开销,避免512列整片与短尾片被当作相同负载。候选枚举及原排序器继续复用。 - NVFP4 golden 合入既有 tests/assets/golden.py;本次实现替换使用同一份已验证 golden,未重新生成期望数据。提交范围为算子代码及既有 golden。 ## 关联的Issue 无。 ## 测试 - 独立 CANN 9.2.0 环境完成算子包编译和安装,实测设备 Ascend950DT_9574。 - 格式匹配调整前,量化实现精度3765/3765通过:3560条native、120条连续执行、85条TTK;覆盖FP16/BF16、三种舍入模式、NaN、Inf、-Inf、正负零、极大/极小值及切分边界,y和scale二进制一致,并检查输入和保护区。 - 格式匹配调整前,重新采集85条TTK,二进制精度及内存检查85/85通过;每条预先排除首轮,后5次取算术平均,共425次正式采样,全部保留。 - 相对精度修复后的 !12982 历史结果,40960×528从56.3043μs到35.6558μs,40960×514从56.8980μs到38.9852μs;2560×45058从152.1633μs到159.9430μs,存在约5.11%回退。历史基准为排除首轮后4次均值,最新为5次均值;不宣称逐例均有收益。 - 已同步主仓master。删除全局STRICT后,重新编译安装完整自定义包:原有scale_alg=0/1/2的20条兼容性测试全部通过(FP16/BF16非连续输入、rank1—5及ND/NCL scale对照),NVFP4原生精度3560/3560及120条连续执行全部通过,y/scale二进制一致、输入及保护区正常;已核实实际加载的新库。该包的85条TTK回归在用户要求停止时中断,不计为完成,也未重新采集性能。 - 提交前格式、静态及OAT检查通过。 ## 文档更新 无。 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!13691 | 4 days ago | |
feat(dynamic_mx_quant): 支持 Ascend 950 scale_alg=3 NVFP4 block16 量化 Co-authored-by: F0rty-tw0<jiangzhongbin3@huawei.com> # message auto-generated for no-merge-commit merge: !13691 merge feat/dynamic-mx-quant-scalealg3-nvfp4 into master feat(dynamic_mx_quant): 支持 Ascend 950 scale_alg=3 NVFP4 block16 量化 Created-by: F0rty-tw0 Commit-by: F0rty-tw0 Merged-by: cann-robot Description: ## 描述 为 DynamicMxQuant 新增 scale_alg=3 的 NVFP4 block16 量化,支持 Ascend 950 的 FP16/BF16 输入、偶数长度尾轴和 rint / round / floor 三种舍入模式。每16个元素生成 E2M1 数据及 E4M3FN scale,并接入属性校验、输出类型/形状推导及二进制配置。 格式仍声明为ND,沿用官方master的默认格式匹配和输入AutoContiguous()行为,不设置全局FormatMatchMode(STRICT)。 NVFP4 尾轴实现基于 !12982,复用现有尾轴 tiling 与 DynamicMxQuantTailAxisTilingData,通过行列切分和 UB 循环覆盖短行、长行及非对齐尾轴。NVFP4 kernel 集中在 dynamic_mx_quant_tail_axis_nvfp4.h,TPipe 管理搬入、计算和搬出的依赖;不限制完整 DT 型号。 - 保留 FP16/BF16 先求 max、再转 FP32 的数值顺序;补齐使用 NaN,修复全 NaN 尾块、scale 零值/NaN、scale 整理及边界量化的精度问题。 - AutoTiling() 对 scale_alg=3 增加16行评分:按每核最多行数及实际 block16 计算宽度估算工作量,非16对齐段计入现有 kernel 的4个block对齐开销,避免512列整片与短尾片被当作相同负载。候选枚举及原排序器继续复用。 - NVFP4 golden 合入既有 tests/assets/golden.py;本次实现替换使用同一份已验证 golden,未重新生成期望数据。提交范围为算子代码及既有 golden。 ## 关联的Issue 无。 ## 测试 - 独立 CANN 9.2.0 环境完成算子包编译和安装,实测设备 Ascend950DT_9574。 - 格式匹配调整前,量化实现精度3765/3765通过:3560条native、120条连续执行、85条TTK;覆盖FP16/BF16、三种舍入模式、NaN、Inf、-Inf、正负零、极大/极小值及切分边界,y和scale二进制一致,并检查输入和保护区。 - 格式匹配调整前,重新采集85条TTK,二进制精度及内存检查85/85通过;每条预先排除首轮,后5次取算术平均,共425次正式采样,全部保留。 - 相对精度修复后的 !12982 历史结果,40960×528从56.3043μs到35.6558μs,40960×514从56.8980μs到38.9852μs;2560×45058从152.1633μs到159.9430μs,存在约5.11%回退。历史基准为排除首轮后4次均值,最新为5次均值;不宣称逐例均有收益。 - 已同步主仓master。删除全局STRICT后,重新编译安装完整自定义包:原有scale_alg=0/1/2的20条兼容性测试全部通过(FP16/BF16非连续输入、rank1—5及ND/NCL scale对照),NVFP4原生精度3560/3560及120条连续执行全部通过,y/scale二进制一致、输入及保护区正常;已核实实际加载的新库。该包的85条TTK回归在用户要求停止时中断,不计为完成,也未重新采集性能。 - 提交前格式、静态及OAT检查通过。 ## 文档更新 无。 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!13691 | 4 days ago | |
feat: vector算子适配ascend960pr(DV122)平台(3/4) Co-authored-by: biabu111<hebaojing1@huawei.com> # message auto-generated for no-merge-commit merge: !14303 merge feat/dv122-ascend960pr-adaptation-p2b into master feat: vector算子适配ascend960pr(DV122)平台(3/4) Created-by: biabu111 Commit-by: biabu111 Merged-by: cann-robot Description: ## 描述 DV122(Ascend960PR/DAV_9202/Ascend960PR_969A1)vector 算子批量适配**第 3/4 批(38 个算子,ST 全通过)**。 配套:(1/4)!14184(43 算子)、(2/4)!14185(38 算子)、(4/4,ST 隔离批)!14292(64 算子:53 个 ST 失败算子 + 11 个反向依赖闭包)。四 PR 算子集与 ascendc_config.json 条目均无重叠,并集为原全量 183 算子适配;原(2/3)PR(76 算子)按检视要求均分为(2/4)(3/4)两批,两批内部无依赖交叉。 ## ISSUE https://gitcode.com/cann/ops-nn/issues/8671 ### 本批范围(38 个算子) 原(2/3)的 76 算子按算子数 38/38、文件数 142/140 均分(本批为文件数较多的一半) ### 适配内容(与 1/4 同一方法论) - 注册级:CMakeLists SUPPORT_COMPUTE_UNIT/SUPPORT_TILING_DIR、def.cpp AddConfig、op_host/config/ascend960pr 二进制配置(与 960dt 一致)、op_kernel COMPUTE_UNITS - ascendc_config.json 保持上游 715 行逐条目规范格式,仅含本批 28 个条目,段级保留原条目文本风格 - 代码级:DAV_9201、__NPU_ARCH__==9201、__DAV_920R1__、"Ascend960DT" 门禁补 DAV_9202/9202/__DAV_920R2__/"Ascend960PR" - socVersion 枚举值域:960(=1000) 位于 ASCEND910E(=4) 之后,范围判断显式追加 960 枚举 ## 测试 - op_host UT 全量:10132 PASSED(唯一失败 MaskedSoftmaxWithRelPosBias B_tiling_52 为已知环境问题,修复在 !14184,上游 master 同样失败) - pre-commit 全部通过(141 文件) ## 文档更新 不涉及 See merge request: cann/ops-nn!14303 | 9 days ago | |
修改产品名 Co-authored-by: fwx1169505<fengying27@h-partners.com> # message auto-generated for no-merge-commit merge: !11017 merge master into master 修改产品名 Created-by: fengying555682 Commit-by: fwx1169505 Merged-by: cann-robot Description: ## 描述 修改quant和activation文件夹中的md文档涉及的产品名称 ## 关联的Issue [#6056](https://gitcode.com/cann/ops-nn/issues/6056) ## 测试 已经完成文档语法和链接一致性检测 ## 文档更新 quant和activation文件夹中的md文档 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!11017 | 1 month ago | |
docs: add English translations for operator READMEs and repo docs Co-authored-by: jenny_xiang<jenny.xiang@huawei.com> # message auto-generated for no-merge-commit merge: !13351 merge docs/add-english-docs into master docs: add English translations for operator READMEs and repo docs Created-by: jenny_xiang Commit-by: jenny_xiang Merged-by: cann-robot Description: ## Description Add English translations for 652 markdown documents: - Repo-level guides: README_en.md, CONTRIBUTING_en.md, SECURITY_en.md, CHANGELOG_en.md, codearts_check_rule_config_en.md - Operator READMEs under activation/, conv/, control/, foreach/, hash/, index/, loss/, matmul/, norm/, optim/, pooling/, quant/, rnn/, vfusion/, etc. - API and design docs under docs/ (aclnn_*, ascendir_*, fusion pass docs) - examples/ and torch_extension/ guides Note: a few cross-reference links whose English targets are not published yet temporarily point to their Chinese counterparts to keep links valid; they will be switched back to the English docs in a follow-up PR after this one is merged. ## Related Issue N/A ## Test - Verified all 1,344 intra-repo markdown links in the added files resolve against master: 0 broken links, 0 missing targets. ## Documentation Update - This PR only adds English documentation files (*_en.md); no existing Chinese documents are modified. ## Type Labels - [ ] Bug fix - [ ] New feature - [ ] Performance optimization - [x] Documentation update - [ ] Other, please describe: ## AI/Agent-Generated Declaration - [x] AI-assisted authoring See merge request: cann/ops-nn!13351 | 17 days ago |
DynamicMxQuant
English | 简体中文
Applicable Products
| Product | Support |
|---|---|
| Ascend 950PR&950DT products | √ |
| Atlas A3 products | × |
| Atlas A2 products | × |
| Atlas 200I/500 A2 inference products | × |
| Atlas inference products | × |
| Atlas training products | × |
Function
- Operator function: along the given axis, the operator computes the quantization scale mxscale corresponding to each group of blocksize elements, divides each element of the group by mxscale, converts the result to the corresponding dst_type according to round_mode, and obtains the quantized result y. When dst_type is FLOAT8_E4M3FN or FLOAT8_E5M2, the value of scale_alg specifies the different algorithms for computing mxscale.
Parameters
| Parameter name | Input/Output/Attribute | Description | Data type | Data format |
|---|---|---|---|---|
| x | Input | Data to be quantized. | FLOAT16, BFLOAT16 | ND |
| axis | Input | Axis where the quantization occurs | INT64 | ND |
| round_mode | Optional attribute | Mode of the data conversion | STRING | ND |
| dst_type | Input | Specifies the type of y after the data conversion | INT64 | ND |
| blocksize | Input | Number of elements per quantization | INT64 | ND |
| scale_alg | Input | Computation method of mxscale | INT64 | ND |
| y | Output | Corresponding result after the input x is quantized | FLOAT4_E2M1, FLOAT4_E1M2, FLOAT8_E4M3FN, FLOAT8_E5M2 | ND |
| mxscale | Output | Quantization scale corresponding to each group | FLOAT8_E8M0 | ND |
Constraints
- The shape constraints of x and mxscale are as follows:
- rank(mxscale) = rank(x) + 1.
- axis_change = axis if axis >= 0 else axis + rank(x).
- mxscale.shape[axis_change] = (ceil(x.shape[axis] / blocksize) + 2 - 1) / 2.
- mxscale.shape[-1] = 2.
- The other dimensions are consistent with the input x.
Invocation Description
| Invocation method | Invocation sample | Description |
|---|---|---|
| aclnn invocation | test_aclnn_dynamic_mx_quant | Invokes the DynamicMxQuant operator through the aclnnDynamicMxQuant API. |