0
代码
代码
Issues
Pull Requests
讨论
Wiki
分析
0
cann-robotcann-robotGMM support groupListType=2
01ca7c93创建于 5 天前历史提交
文件最后提交记录最后更新时间
CMakeLists.txt
同步GMM代码 Co-authored-by: Hu1L1<chenshujian5@huawei.com> # message auto-generated for no-merge-commit merge: !546 merge move_all into master 同步GMM代码 Created-by: Hu1L1 Commit-by: Hu1L1 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!5465 个月前
test_grouped_matmul_infershape.cpp
grouped_matmul 与 grouped_matmul_swiglu_quant_v2 剩余未改的UT改为 CSV 驱动覆盖方案，解决硬编码cpp文件膨胀问题 Co-authored-by: chen-shuai<chenshuai96@huawei.com> # message auto-generated for no-merge-commit merge: !4180 merge GMM_GMMSGQV2_UT into master grouped_matmul 与 grouped_matmul_swiglu_quant_v2 剩余未改的UT改为 CSV 驱动覆盖方案，解决硬编码cpp文件膨胀问题 Created-by: chen-shuai Commit-by: chen-shuai Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 1. 将 grouped_matmul 和 grouped_matmul_swiglu_quant_v2 的 op_host / op_api UT 统一改为 CSV 驱动模式，补充并整理对应 CSV 用例。 2. 抽取 GMM 专用的 CSV 解析公共能力，新增： - tests/ut/framework_normal/common/gmm_csv_parse_utils.h - tests/ut/framework_normal/common/gmm_csv_ge_parse_utils.h - tests/ut/framework_normal/common/gmm_csv_acl_parse_utils.h 3. 统一封装 CSV 路径解析、bool/dims/dtype/format/storage/stride 解析、GE/ACL TensorDesc 构造、参数名规范化和 CSV 解析报错定位，减少各个 UT 文件内重复代码。 4. 调整 grouped_matmul / grouped_matmul_swiglu_quant_v2 的 op_api 用例目录与 CSV 引用方式，使 op_api、op_host 测试入口和公共解析能力保持一致。 5. 清理旧的重复手写 UT 逻辑，统一 LoadCases、MakeParamName 和参数化测试写法，提升可读性和可维护性。 6. 本次修改范围仅限 UT、CSV 用例和测试公共代码，不修改算子实现逻辑。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/1417 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> bash build.sh -u --ophost --ops=xxx --cov bash build.sh -u --opapi --ops=xxx --cov ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [x] ⚡ 性能优化 - [x] ♻️ 重构 - [x] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!41801 个月前
test_grouped_matmul_infershape.csv
GMM算子全量化部分Infershape校验scale非空时添加非INT32输出 Co-authored-by: liyinghao10<liyinghao10@h-partners.com> # message auto-generated for no-merge-commit merge: !3930 merge dts20251225 into master GMM算子全量化部分Infershape校验scale非空时添加非INT32输出 Created-by: liyinghao10 Commit-by: liyinghao10 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 在GMM算子的全量化Infershape校验类里，对校验scale非空的地方添加了非INT32输出的条件 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> [#2359](https://gitcode.com/cann/ops-transformer/issues/2359) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 二级冒烟通过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!393021 天前
test_grouped_matmul_tiling.cpp
grouped_matmul 与 grouped_matmul_swiglu_quant_v2 剩余未改的UT改为 CSV 驱动覆盖方案，解决硬编码cpp文件膨胀问题 Co-authored-by: chen-shuai<chenshuai96@huawei.com> # message auto-generated for no-merge-commit merge: !4180 merge GMM_GMMSGQV2_UT into master grouped_matmul 与 grouped_matmul_swiglu_quant_v2 剩余未改的UT改为 CSV 驱动覆盖方案，解决硬编码cpp文件膨胀问题 Created-by: chen-shuai Commit-by: chen-shuai Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 1. 将 grouped_matmul 和 grouped_matmul_swiglu_quant_v2 的 op_host / op_api UT 统一改为 CSV 驱动模式，补充并整理对应 CSV 用例。 2. 抽取 GMM 专用的 CSV 解析公共能力，新增： - tests/ut/framework_normal/common/gmm_csv_parse_utils.h - tests/ut/framework_normal/common/gmm_csv_ge_parse_utils.h - tests/ut/framework_normal/common/gmm_csv_acl_parse_utils.h 3. 统一封装 CSV 路径解析、bool/dims/dtype/format/storage/stride 解析、GE/ACL TensorDesc 构造、参数名规范化和 CSV 解析报错定位，减少各个 UT 文件内重复代码。 4. 调整 grouped_matmul / grouped_matmul_swiglu_quant_v2 的 op_api 用例目录与 CSV 引用方式，使 op_api、op_host 测试入口和公共解析能力保持一致。 5. 清理旧的重复手写 UT 逻辑，统一 LoadCases、MakeParamName 和参数化测试写法，提升可读性和可维护性。 6. 本次修改范围仅限 UT、CSV 用例和测试公共代码，不修改算子实现逻辑。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/1417 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> bash build.sh -u --ophost --ops=xxx --cov bash build.sh -u --opapi --ops=xxx --cov ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [x] ⚡ 性能优化 - [x] ♻️ 重构 - [x] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!41801 个月前
test_grouped_matmul_tiling.csv
GMM support groupListType=2 Co-authored-by: lijiamin<lijiamin24@huawei.com> # message auto-generated for no-merge-commit merge: !4844 merge gmm2 into master GMM support groupListType=2 Created-by: lijiamin2025 Commit-by: lijiamin Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 改动原因： 支持groupList的稀疏模式,Gmm算子极致低延时 改动点： 非耦合改动：新增XXXMSparse类处理groupListType=2的场景 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/2484 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> A4W4_Sparse ATK A16W4/A16W8_Sparse ATK noquant_Sparse ATK ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 本PR不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!48445 天前
test_grouped_matmul_utils.h
同步GMM代码 Co-authored-by: Hu1L1<chenshujian5@huawei.com> # message auto-generated for no-merge-commit merge: !546 merge move_all into master 同步GMM代码 Created-by: Hu1L1 Commit-by: Hu1L1 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!5465 个月前
test_grouped_no_quant_arch35_tiling.cpp
grouped_matmul 与 grouped_matmul_swiglu_quant_v2 剩余未改的UT改为 CSV 驱动覆盖方案，解决硬编码cpp文件膨胀问题 Co-authored-by: chen-shuai<chenshuai96@huawei.com> # message auto-generated for no-merge-commit merge: !4180 merge GMM_GMMSGQV2_UT into master grouped_matmul 与 grouped_matmul_swiglu_quant_v2 剩余未改的UT改为 CSV 驱动覆盖方案，解决硬编码cpp文件膨胀问题 Created-by: chen-shuai Commit-by: chen-shuai Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 1. 将 grouped_matmul 和 grouped_matmul_swiglu_quant_v2 的 op_host / op_api UT 统一改为 CSV 驱动模式，补充并整理对应 CSV 用例。 2. 抽取 GMM 专用的 CSV 解析公共能力，新增： - tests/ut/framework_normal/common/gmm_csv_parse_utils.h - tests/ut/framework_normal/common/gmm_csv_ge_parse_utils.h - tests/ut/framework_normal/common/gmm_csv_acl_parse_utils.h 3. 统一封装 CSV 路径解析、bool/dims/dtype/format/storage/stride 解析、GE/ACL TensorDesc 构造、参数名规范化和 CSV 解析报错定位，减少各个 UT 文件内重复代码。 4. 调整 grouped_matmul / grouped_matmul_swiglu_quant_v2 的 op_api 用例目录与 CSV 引用方式，使 op_api、op_host 测试入口和公共解析能力保持一致。 5. 清理旧的重复手写 UT 逻辑，统一 LoadCases、MakeParamName 和参数化测试写法，提升可读性和可维护性。 6. 本次修改范围仅限 UT、CSV 用例和测试公共代码，不修改算子实现逻辑。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/1417 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> bash build.sh -u --ophost --ops=xxx --cov bash build.sh -u --opapi --ops=xxx --cov ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [x] ⚡ 性能优化 - [x] ♻️ 重构 - [x] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!41801 个月前
test_grouped_no_quant_arch35_tiling.csv
grouped_matmul 与 grouped_matmul_swiglu_quant_v2 剩余未改的UT改为 CSV 驱动覆盖方案，解决硬编码cpp文件膨胀问题 Co-authored-by: chen-shuai<chenshuai96@huawei.com> # message auto-generated for no-merge-commit merge: !4180 merge GMM_GMMSGQV2_UT into master grouped_matmul 与 grouped_matmul_swiglu_quant_v2 剩余未改的UT改为 CSV 驱动覆盖方案，解决硬编码cpp文件膨胀问题 Created-by: chen-shuai Commit-by: chen-shuai Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 1. 将 grouped_matmul 和 grouped_matmul_swiglu_quant_v2 的 op_host / op_api UT 统一改为 CSV 驱动模式，补充并整理对应 CSV 用例。 2. 抽取 GMM 专用的 CSV 解析公共能力，新增： - tests/ut/framework_normal/common/gmm_csv_parse_utils.h - tests/ut/framework_normal/common/gmm_csv_ge_parse_utils.h - tests/ut/framework_normal/common/gmm_csv_acl_parse_utils.h 3. 统一封装 CSV 路径解析、bool/dims/dtype/format/storage/stride 解析、GE/ACL TensorDesc 构造、参数名规范化和 CSV 解析报错定位，减少各个 UT 文件内重复代码。 4. 调整 grouped_matmul / grouped_matmul_swiglu_quant_v2 的 op_api 用例目录与 CSV 引用方式，使 op_api、op_host 测试入口和公共解析能力保持一致。 5. 清理旧的重复手写 UT 逻辑，统一 LoadCases、MakeParamName 和参数化测试写法，提升可读性和可维护性。 6. 本次修改范围仅限 UT、CSV 用例和测试公共代码，不修改算子实现逻辑。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/1417 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> bash build.sh -u --ophost --ops=xxx --cov bash build.sh -u --opapi --ops=xxx --cov ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [x] ⚡ 性能优化 - [x] ♻️ 重构 - [x] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!41801 个月前
test_grouped_quant_arch35_tiling.cpp
【GroupedMatmul】修复k轴分组pertensor-perchannel场景量化模式设置错误 Co-authored-by: fengxingpan1<fengxingpan@h-partners.com> # message auto-generated for no-merge-commit merge: !4816 merge quantmode into master 【GroupedMatmul】修复k轴分组pertensor-perchannel场景量化模式设置错误 Created-by: fengxingpan1 Commit-by: fengxingpan1 Merged-by: cann-robot Description: ## 描述 根因：x1Scale为(G,)且G=M时, k轴分组和m轴分组进入的是不同的量化模式，M轴分组为pertoken, K轴分组为pertensor, 但代码未做分组区分都统一进入了pertoken分支，导致计算错误精度失败 解决方法：修改量化模式设置，只要是k轴分组且x1Scale为(G,)就设置为pertensor ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/2252 ## 测试 测试精度通过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!481626 天前
test_grouped_quant_arch35_tiling.csv
【GroupedMatmul】修复k轴分组pertensor-perchannel场景量化模式设置错误 Co-authored-by: fengxingpan1<fengxingpan@h-partners.com> # message auto-generated for no-merge-commit merge: !4816 merge quantmode into master 【GroupedMatmul】修复k轴分组pertensor-perchannel场景量化模式设置错误 Created-by: fengxingpan1 Commit-by: fengxingpan1 Merged-by: cann-robot Description: ## 描述 根因：x1Scale为(G,)且G=M时, k轴分组和m轴分组进入的是不同的量化模式，M轴分组为pertoken, K轴分组为pertensor, 但代码未做分组区分都统一进入了pertoken分支，导致计算错误精度失败 解决方法：修改量化模式设置，只要是k轴分组且x1Scale为(G,)就设置为pertensor ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/2252 ## 测试 测试精度通过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!481626 天前
test_grouped_weight_quant_arch35_tiling.cpp
GroupedMatmul 算子 weight-quant 场景 tiling UT 增补 Co-authored-by: liuyang_806<liuyang930@hisilicon.com> # message auto-generated for no-merge-commit merge: !2471 merge gmm_tiling_ut into master GroupedMatmul 算子 weight-quant 场景 tiling UT 增补 Created-by: liuyang_806 Commit-by: liuyang_806 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> GroupedMatmul 算子 weight-quant 场景 tiling 和 infershape UT 覆盖率不足，需要补充相关 UT 用例 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> Issue [#1137](https://gitcode.com/cann/ops-transformer/issues/1137) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 不涉及，该 PR 仅涉及 UT 用例增补 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及，该 PR 仅涉及 UT 用例增补 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!24712 个月前