| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
fix(e9): ops-transformer 11个算子泛化内部错误码整改为注册错误码 Co-authored-by: luoyufan7<luoyufan7@h-partners.com> # message auto-generated for no-merge-commit merge: !14838 merge fix/e9-errcode-transformer into master fix(e9): ops-transformer 11个算子泛化内部错误码整改为注册错误码 Created-by: luoyufan7 Commit-by: luoyufan7 Merged-by: cann-robot Description: ## 描述 lightning_indexer 系(含 dense/quant/v2/metadata 变体)、quant_grouped_matmul_dequant、compressor 等 11 个算子中已登记的泛化内部错误码调用落入 E*9***(EZ9999/E89999 等),上报为自由文本,无法归类定位;部分包装层重复报告底层已上报的错误。 整改方法(对应 #6878 设计方案): - 保留原有判定条件、返回状态与资源清理逻辑,仅替换错误上报方式; - 空指针/参数类失败携带注册参数名映射参数错误码(EZ0004 等); - dtype/shape/format/取值约束按语义映射正式错误码(EZ0020/EZ0035/EZ0038 等)并携带实际值; - 平台/资源与内部 Tiling 失败映射 EZ1008/EZ1014,携带 opName/reason; - 包装层在底层已上报正式码时改为 OP_LOGE_WITHOUT_REPORT,不覆盖首报。 本 PR 覆盖 30 个生产文件、370 个登记点整改,对应 #6878 全部 11 个算子,单 PR 交付。 测试:28 个 CPP 与涉及头文件编译通过,Host 库构建通过;完整 API 库/打包受基线注册问题阻断(与本 PR 无关),以 CI 流水线为准。AI 辅助编写如实勾选。 ## 关联的Issue - Closes #6878 ## 测试 - 28 份 CPP 与涉及头文件编译通过 - Host 库构建通过 - 完整 API 库/打包受基线注册问题阻断,待 CI 流水线验证 ## 文档更新 无 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-transformer!14838 | 18 天前 | |
fix(compressor): 修复公开入口反向梯度静默全错与 grad_enabled 属性失效 Co-authored-by: myy268<moyunyang@huawei.com> # message auto-generated for no-merge-commit merge: !15041 merge fix/compressor-grad-enabled into master fix(compressor): 修复公开入口反向梯度静默全错与 grad_enabled 属性失效 Created-by: myy268 Commit-by: myy268 Merged-by: cann-robot Description: ## 描述 修复 compressor 公开入口经 _CompressorFunction 反向梯度静默全错,并修复同一链路上 grad_enabled 属性失效的问题。 **问题 1(Python 侧,直接原因)** attention/compressor/torch_extension/compressor.py 的 _CompressorFunction.forward 用 python grad_enabled = torch.is_grad_enabled() and any(t.requires_grad for t in (x, wkv, wgate, ape)) 判定是否让 kernel 写出反向所需中间量。但 autograd 执行 Function.forward 时会局部关闭 grad mode,torch.is_grad_enabled() 在 forward 内恒为 False(grad 开 / no_grad / inference_mode / no_grad 内 enable_grad / backward 内再进 forward 均为 False),因此该表达式**结构性恒 False** → kernel 不写 softmax_score/kv → backward 消费未初始化显存 → 梯度为垃圾值/NaN 且无任何报错。 该判据由 fa4364547 引入,父提交 3d40e5645 的公开入口是普通函数、判据为 x.requires_grad,行为正确。本 PR 恢复该语义(只看输入是否 requires_grad;autograd 只在至少一个输入需要梯度时才会真正反向)。 **问题 2(Tiling 侧)** op_host/arch35/compressor_tiling.cpp、op_host/arch92/compressor_tiling_arch92.cpp 的 GenTilingKey(): cpp uint8_t gradEnabled = static_cast<uint8_t>(context_->gradEnabled ? 1 : 0); // 判的是指针 grad_enabled 在 compressor_def.cpp 中声明为 OPTIONAL.Bool(false),attr 数组里恒有该项 → 指针恒非空 → tilingKey 的 GRAD_ENABLED 位**恒为 1**,属性完全失效(推理态白写 softmax_score/kv,S=131072/bf16/D=512 时约 536MB 额外写)。arch22 的实现(!= nullptr && *ptr)是正确的,本 PR 将 arch35/arch92 对齐 arch22。 两个缺陷互相掩盖:在 950PR(arch35)上 tiling 恒判 1,所以问题 1 表现为"不复现";一旦 tiling 修好而 Python 不修,梯度立刻全错(实测 rel≈1)。因此两者必须同一笔修复。 改动范围:3 个文件、3 行。 ## 测试 环境:ascend950(950PR,DAV_3510 / arch35),CANN 9.2.0,torch 2.13 + torch_npu 2.13rc1;重编 --ops=compressor,compressor_grad --soc=ascend950 run 包与 torch_extension wheel 后实跑。 1. 公开入口梯度 vs 直调 _compressor_forward(grad_enabled=True)(B=1 / H=5120 / D=512 / cmp_ratio=2 / bf16,S=1024 与 S=131072):d_x/d_wkv/d_wgate/d_ape 的 max_abs_diff = 0,无 NaN。 2. 直调 grad_enabled=False:softmax_score 不再写出(max_abs=0 / 未初始化),而 cmp_kv 与 grad_enabled=True 逐 bit 相同,说明省掉中间量写出不影响主输出。 3. tiling 日志确认属性已生效:GenTilingKey ... grad_enabled:1 与 grad_enabled:0 按入参区分,tilingKey 分别为 2562/512。 4. 原 pytest 抽查(每路径一条):grad_enabled_single_precision[linear-cache-2-2-no-overlap-BSH]、[linear-cache-2-2-overlap-BSH]、grad_enabled_full_load[2-no-overlap]、[4-no-overlap]、test_compressor_single[param_combinations0] 均通过。 5. pre-commit(clang-format / ruff / OAT / trailing-whitespace 等)全通过。 6. arch92 的同类修改本机无 960dt 环境,仅通过 host 侧编译验证,未做上板运行。 ## 文档更新 无。(未改动对外接口、参数语义与 golden) ## 类型标签 - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!15041 | 14 天前 | |
compressor arch92性能优化 Co-authored-by: 莫允扬<moyunyang@huawei.com> # message auto-generated for no-merge-commit merge: !15282 merge feat/compressor-arch92-normal-batch-preload into master compressor arch92性能优化 Created-by: myy268 Commit-by: 莫允扬 Merged-by: cann-robot Description: ## 描述 arch92(Ascend 960DT)compressor / quant_compressor 的一轮性能优化,核心是把 NORMAL 模板的「批量预载」从压缩窗口径里解耦出来,并把 vec 侧 buffer/同步从 Que 风格改成静态 tensor + bufid。 改动 15 个文件,分六块: **1. host tiling:M 组数收敛,预载宽度不再被压缩比绑死**( op_host/arch92/compressor_tiling_arch92.cpp) SetNormalSplitInfo() 在 D×M 填不满核数、需要切 K 时: cpp // 改前 kBaseNum = coreGroupNum / mBaseNum; mGroupNum = mBaseNum; // 改后 uint32_t mGroupNum = std::max((mBaseNum + 1U) / 2U, 1U); while (mGroupNum > 1U && coreGroupNum % mGroupNum != 0U) { --mGroupNum; } kBaseNum = coreGroupNum / mGroupNum; mGroupNum = mGroupNum; M 组数约为原来的 1/2(并向下对齐到 coreGroupNum 的因子,保证除尽),K 段数随之翻倍:单核组负责的 T 轴行数减半,vec 侧整 batch 原始结果更容易驻留 UB。 **2. vec 侧静态 tensor + bufid(Mutex)同步**(op_kernel/arch92/compressor_block_vec_arch92.h) - 新增 CompressorVecUbView:所有 vec buffer 的 UB 地址取 struct 成员偏移(编译期常量),合计 368K 由 static_assert 卡预算;删除 inputQue1/2/3、outputQue1/2、inputQueApe、tmpBuff1/2、apeBuf,InitBuffers(pipe) → InitStaticTensors()。 - 同步不再手写 SetFlag/WaitFlag:每个 buffer 一个 mutex id(COMP_MTX_MM1/PARTIAL_STAGE0/1/OUT_STAGE/APE_IN/IN_APE/IN_SCORE/IN_KV,占 0~7),生产/消费两侧各自 Mutex::Lock/Unlock,跨轮复用由 mutex 自身保证;FreeEventID() 配对释放输入快道末次持有的 V credit。 - 输入快道(CopyInWithSync)改为跨调用滚动 credit 并按目标 buffer 分 3 桶,使 ape / scoreLocal / kvLocal 的 MTE2 填充可以互相重叠;输出快道(CopyOutWithSync)在源/目标行跨距相同时直搬 GM(省掉 staging 的 UB→UB 重排),否则仍走 staging。 - 命名收敛:DataCopyWithOutputQue → CopyOutWithSync、DataCopyWithInputQue → CopyInWithSync、AddMultiDataToUb → LoadAndSumPartials、FromWokrSpaceToUb → LoadRawFromWorkspace。 **3. NORMAL 模板:小 S 按 batch 分核 + 整 batch 驻留 + 双列宽**(compressor_block_vec_normal_arch92.h) - 新增 IsVecSplitByBatch():BSH 且 seqSize <= VEC_BATCH_SPLIT_MAX_SEQ_SIZE(4) 时 vec 按整 batch 分核(与 FULL_LOAD 一致);CalcGroupInfo / CalcTaskDistribution / UpdateIteratorState 的分核参照量从「轮内 TC 总数」换成「轮内 batch 总数」(新增 Vec1RunInfo::windowSeqCnt),workspace 行偏移按分到的 batch 数推进。 - ComputeBatchTiles() / PrepareBatchTile():按 32K/(sSize*coff*dDealSize) 分批把原始 score/kv 驻留 UB(各 32K),APE 只收集本 tile 实际用到的 S 行(逐 batch 允许不同 startPos,所有 DMA 发出后统一等待),历史状态一次保存整个原始 D 段;同 batch 的前序 token 直接从驻留 UB 取(rawBatchLoaded_),不再回读 workspace。 - D 切分独立:原始列宽 dBaseSize 按 32K/(sSize*coff) 计算,压缩窗列宽交给 CalcTilingStrategy 在 64K 内单独切;AddApeToScore / PadAlign 增加 dBaseSize / dBaseOffset 参数。 **4. 8 行窗口 VF 融合**(op_kernel/arch92/vf/vf_mul_arch92.h) 新增 SoftmaxMulReduce8VF:8 行窗口的 max / FusedExpSub / 偶奇分组求和 / Div / Mul / Add 全部在寄存器内完成,保留原实现的求和分组与运算顺序;在 gradEnabled == DISABLE 且 coff*cmpRatio == 8、dDealSize 64 对齐时启用,省掉 softmax 概率的 UB 往返。 **5. 轮次口径与切片迭代器**(compressor_kernel_arch92.h、compressor_comm_arch92.h、compressor_tiling_data_arch92.h、compressor_tools_arch92.h) - 新增 BasicBlockInfo/Vec1RunInfo::windowSeqCnt;GetBatchByTIdx() 对 BSH 直接除法定位;小 S 下 CalcTotalDataSize()/GetLoopTimesByTIdx() 改用纯 shape 公式(AIC/AIV 独立计算,不读 startPos),轮次末尾对齐到 batch 起点,保证一个 batch 不被切到两轮;ProcessNormalLoop() 对应分支不同步 SkipInvalidBatch。 - 重写 CompressorVec1SliceIterator:LoadBatch / AdvanceRows / SkipBatchGap 以「压缩窗编号」统一推导空洞行终点与配额消费(合并尾部 padding / 整段跳过 / 部分跳过三支),CollectSliceStats() 单遍统计(调用方不再维护无效的 dealedTcCnt);删除未用字段、setter、重载与 IS_STATISTIC 模板参数。 **6. tiling 读取方式按 CONST_TILING 选择 + FULL_LOAD 清理**(compressor.cpp、quant_compressor.cpp、arch35/arch92 kernel 头文件) - 静态 shape 编译 → GET_TILING_DATA_WITH_STRUCT(展开 static constexpr,保留常量折叠);动态 shape → GET_TILING_DATA_PTR_WITH_STRUCT(__gm__ 直读,零拷贝);仅 arch35(3510)/arch92(9201) 生效,arch22 保持原样。tilingData_ 类型改 __tiling_data_ptr__。 - 删除 arch92 FULL_LOAD 的 Warmup()(block_table 的 dc_preload 预取)与成员 splitInfo_ 缓存,ComputeVec1() 内直接 SplitCoreV1();quant_compressor 同步删除。 **影响面**:对外接口、参数语义与 golden 不变;tiling 结构体仅新增 windowSeqCnt 字段;s > 4 / TH 布局 / arch22 / arch35 数值路径行为不变,FULL_LOAD 数值路径不变。 ## 关联的Issue 关联 Issue #7105 ## 测试 ## 文档更新 无。(未改对外接口、参数语义、golden 与用例) ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!15282 | 7 天前 | |
dup-header mod Co-authored-by: m0_59336986<wulei154@huawei.com> # message auto-generated for no-merge-commit merge: !13271 merge master into master dup-header mod Created-by: m0_59336986 Commit-by: m0_59336986 Merged-by: cann-robot Description: ## 描述 compressor,qcompressor 重复头文件增加arch92后缀 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5768 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!13271 | 1 个月前 | |
compressor适配960pr Co-authored-by: guigui_jzh<jinzhonghao@huawei.com> # message auto-generated for no-merge-commit merge: !14702 merge v122 into master compressor适配960pr Created-by: guigui_jzh Commit-by: guigui_jzh Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> compressor适配960pr ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> Issue [#6796](https://gitcode.com/cann/ops-transformer/issues/6796) <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!14702 | 18 天前 | |
fix(e9): ops-transformer 11个算子泛化内部错误码整改为注册错误码 Co-authored-by: luoyufan7<luoyufan7@h-partners.com> # message auto-generated for no-merge-commit merge: !14838 merge fix/e9-errcode-transformer into master fix(e9): ops-transformer 11个算子泛化内部错误码整改为注册错误码 Created-by: luoyufan7 Commit-by: luoyufan7 Merged-by: cann-robot Description: ## 描述 lightning_indexer 系(含 dense/quant/v2/metadata 变体)、quant_grouped_matmul_dequant、compressor 等 11 个算子中已登记的泛化内部错误码调用落入 E*9***(EZ9999/E89999 等),上报为自由文本,无法归类定位;部分包装层重复报告底层已上报的错误。 整改方法(对应 #6878 设计方案): - 保留原有判定条件、返回状态与资源清理逻辑,仅替换错误上报方式; - 空指针/参数类失败携带注册参数名映射参数错误码(EZ0004 等); - dtype/shape/format/取值约束按语义映射正式错误码(EZ0020/EZ0035/EZ0038 等)并携带实际值; - 平台/资源与内部 Tiling 失败映射 EZ1008/EZ1014,携带 opName/reason; - 包装层在底层已上报正式码时改为 OP_LOGE_WITHOUT_REPORT,不覆盖首报。 本 PR 覆盖 30 个生产文件、370 个登记点整改,对应 #6878 全部 11 个算子,单 PR 交付。 测试:28 个 CPP 与涉及头文件编译通过,Host 库构建通过;完整 API 库/打包受基线注册问题阻断(与本 PR 无关),以 CI 流水线为准。AI 辅助编写如实勾选。 ## 关联的Issue - Closes #6878 ## 测试 - 28 份 CPP 与涉及头文件编译通过 - Host 库构建通过 - 完整 API 库/打包受基线注册问题阻断,待 CI 流水线验证 ## 文档更新 无 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-transformer!14838 | 18 天前 | |
compressor适配960pr Co-authored-by: guigui_jzh<jinzhonghao@huawei.com> # message auto-generated for no-merge-commit merge: !14702 merge v122 into master compressor适配960pr Created-by: guigui_jzh Commit-by: guigui_jzh Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> compressor适配960pr ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> Issue [#6796](https://gitcode.com/cann/ops-transformer/issues/6796) <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!14702 | 18 天前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 18 天前 | ||
| 14 天前 | ||
| 7 天前 | ||
| 1 个月前 | ||
| 18 天前 | ||
| 18 天前 | ||
| 18 天前 |