| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
fix(pre-commit): 全仓代码规范整改——attention 3/4 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !13596 merge common into master fix(pre-commit): 全仓代码规范整改——attention 3/4 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939 ## 描述 全仓代码规范整改系列——attention 拆分 **3/4**(第 3 批 26 个算子目录:mixed_quant_sparse_flash_mla_metadata ~ quant_lightning_indexer_v2_metadata,按目录字母序均分)。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:513 个文件,+16217/-14903 行,纯格式化改动语义等价,无逻辑变更 - op_graph/*_proto.h、op_host/*_def.cpp、op_api/aclnn*.h 等接口文件及 OWNERS 不在本 PR 改动范围 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!13596 | 1 个月前 | |
fix(pre-commit): 全仓代码规范整改——attention 3/4 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !13596 merge common into master fix(pre-commit): 全仓代码规范整改——attention 3/4 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939 ## 描述 全仓代码规范整改系列——attention 拆分 **3/4**(第 3 批 26 个算子目录:mixed_quant_sparse_flash_mla_metadata ~ quant_lightning_indexer_v2_metadata,按目录字母序均分)。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:513 个文件,+16217/-14903 行,纯格式化改动语义等价,无逻辑变更 - op_graph/*_proto.h、op_host/*_def.cpp、op_api/aclnn*.h 等接口文件及 OWNERS 不在本 PR 改动范围 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!13596 | 1 个月前 | |
fix(pre-commit): 全仓代码规范整改——attention 3/4 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !13596 merge common into master fix(pre-commit): 全仓代码规范整改——attention 3/4 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939 ## 描述 全仓代码规范整改系列——attention 拆分 **3/4**(第 3 批 26 个算子目录:mixed_quant_sparse_flash_mla_metadata ~ quant_lightning_indexer_v2_metadata,按目录字母序均分)。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:513 个文件,+16217/-14903 行,纯格式化改动语义等价,无逻辑变更 - op_graph/*_proto.h、op_host/*_def.cpp、op_api/aclnn*.h 等接口文件及 OWNERS 不在本 PR 改动范围 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!13596 | 1 个月前 | |
fix(pre-commit): 全仓代码规范整改——attention 3/4 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !13596 merge common into master fix(pre-commit): 全仓代码规范整改——attention 3/4 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939 ## 描述 全仓代码规范整改系列——attention 拆分 **3/4**(第 3 批 26 个算子目录:mixed_quant_sparse_flash_mla_metadata ~ quant_lightning_indexer_v2_metadata,按目录字母序均分)。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:513 个文件,+16217/-14903 行,纯格式化改动语义等价,无逻辑变更 - op_graph/*_proto.h、op_host/*_def.cpp、op_api/aclnn*.h 等接口文件及 OWNERS 不在本 PR 改动范围 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!13596 | 1 个月前 | |
fix(pre-commit): 全仓代码规范整改——attention 3/4 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !13596 merge common into master fix(pre-commit): 全仓代码规范整改——attention 3/4 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939 ## 描述 全仓代码规范整改系列——attention 拆分 **3/4**(第 3 批 26 个算子目录:mixed_quant_sparse_flash_mla_metadata ~ quant_lightning_indexer_v2_metadata,按目录字母序均分)。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:513 个文件,+16217/-14903 行,纯格式化改动语义等价,无逻辑变更 - op_graph/*_proto.h、op_host/*_def.cpp、op_api/aclnn*.h 等接口文件及 OWNERS 不在本 PR 改动范围 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!13596 | 1 个月前 | |
compressor、quant_compressor算子cleancode Co-authored-by: myy268<moyunyang@huawei.com> # message auto-generated for no-merge-commit merge: !11105 merge cp_cleancode into master compressor、quant_compressor算子cleancode Created-by: myy268 Commit-by: myy268;莫允扬 Merged-by: cann-robot Description: ## 描述 compressor, quant_compressor算子cleancode:normal模板和fullload模板合并kernel、cube文件,提取vec基类。 tilingkey增加组合约束,限制不可能的tilingkey组合。 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11105 | 2 个月前 | |
compressor arch92性能优化 Co-authored-by: 莫允扬<moyunyang@huawei.com> # message auto-generated for no-merge-commit merge: !15282 merge feat/compressor-arch92-normal-batch-preload into master compressor arch92性能优化 Created-by: myy268 Commit-by: 莫允扬 Merged-by: cann-robot Description: ## 描述 arch92(Ascend 960DT)compressor / quant_compressor 的一轮性能优化,核心是把 NORMAL 模板的「批量预载」从压缩窗口径里解耦出来,并把 vec 侧 buffer/同步从 Que 风格改成静态 tensor + bufid。 改动 15 个文件,分六块: **1. host tiling:M 组数收敛,预载宽度不再被压缩比绑死**( op_host/arch92/compressor_tiling_arch92.cpp) SetNormalSplitInfo() 在 D×M 填不满核数、需要切 K 时: cpp // 改前 kBaseNum = coreGroupNum / mBaseNum; mGroupNum = mBaseNum; // 改后 uint32_t mGroupNum = std::max((mBaseNum + 1U) / 2U, 1U); while (mGroupNum > 1U && coreGroupNum % mGroupNum != 0U) { --mGroupNum; } kBaseNum = coreGroupNum / mGroupNum; mGroupNum = mGroupNum; M 组数约为原来的 1/2(并向下对齐到 coreGroupNum 的因子,保证除尽),K 段数随之翻倍:单核组负责的 T 轴行数减半,vec 侧整 batch 原始结果更容易驻留 UB。 **2. vec 侧静态 tensor + bufid(Mutex)同步**(op_kernel/arch92/compressor_block_vec_arch92.h) - 新增 CompressorVecUbView:所有 vec buffer 的 UB 地址取 struct 成员偏移(编译期常量),合计 368K 由 static_assert 卡预算;删除 inputQue1/2/3、outputQue1/2、inputQueApe、tmpBuff1/2、apeBuf,InitBuffers(pipe) → InitStaticTensors()。 - 同步不再手写 SetFlag/WaitFlag:每个 buffer 一个 mutex id(COMP_MTX_MM1/PARTIAL_STAGE0/1/OUT_STAGE/APE_IN/IN_APE/IN_SCORE/IN_KV,占 0~7),生产/消费两侧各自 Mutex::Lock/Unlock,跨轮复用由 mutex 自身保证;FreeEventID() 配对释放输入快道末次持有的 V credit。 - 输入快道(CopyInWithSync)改为跨调用滚动 credit 并按目标 buffer 分 3 桶,使 ape / scoreLocal / kvLocal 的 MTE2 填充可以互相重叠;输出快道(CopyOutWithSync)在源/目标行跨距相同时直搬 GM(省掉 staging 的 UB→UB 重排),否则仍走 staging。 - 命名收敛:DataCopyWithOutputQue → CopyOutWithSync、DataCopyWithInputQue → CopyInWithSync、AddMultiDataToUb → LoadAndSumPartials、FromWokrSpaceToUb → LoadRawFromWorkspace。 **3. NORMAL 模板:小 S 按 batch 分核 + 整 batch 驻留 + 双列宽**(compressor_block_vec_normal_arch92.h) - 新增 IsVecSplitByBatch():BSH 且 seqSize <= VEC_BATCH_SPLIT_MAX_SEQ_SIZE(4) 时 vec 按整 batch 分核(与 FULL_LOAD 一致);CalcGroupInfo / CalcTaskDistribution / UpdateIteratorState 的分核参照量从「轮内 TC 总数」换成「轮内 batch 总数」(新增 Vec1RunInfo::windowSeqCnt),workspace 行偏移按分到的 batch 数推进。 - ComputeBatchTiles() / PrepareBatchTile():按 32K/(sSize*coff*dDealSize) 分批把原始 score/kv 驻留 UB(各 32K),APE 只收集本 tile 实际用到的 S 行(逐 batch 允许不同 startPos,所有 DMA 发出后统一等待),历史状态一次保存整个原始 D 段;同 batch 的前序 token 直接从驻留 UB 取(rawBatchLoaded_),不再回读 workspace。 - D 切分独立:原始列宽 dBaseSize 按 32K/(sSize*coff) 计算,压缩窗列宽交给 CalcTilingStrategy 在 64K 内单独切;AddApeToScore / PadAlign 增加 dBaseSize / dBaseOffset 参数。 **4. 8 行窗口 VF 融合**(op_kernel/arch92/vf/vf_mul_arch92.h) 新增 SoftmaxMulReduce8VF:8 行窗口的 max / FusedExpSub / 偶奇分组求和 / Div / Mul / Add 全部在寄存器内完成,保留原实现的求和分组与运算顺序;在 gradEnabled == DISABLE 且 coff*cmpRatio == 8、dDealSize 64 对齐时启用,省掉 softmax 概率的 UB 往返。 **5. 轮次口径与切片迭代器**(compressor_kernel_arch92.h、compressor_comm_arch92.h、compressor_tiling_data_arch92.h、compressor_tools_arch92.h) - 新增 BasicBlockInfo/Vec1RunInfo::windowSeqCnt;GetBatchByTIdx() 对 BSH 直接除法定位;小 S 下 CalcTotalDataSize()/GetLoopTimesByTIdx() 改用纯 shape 公式(AIC/AIV 独立计算,不读 startPos),轮次末尾对齐到 batch 起点,保证一个 batch 不被切到两轮;ProcessNormalLoop() 对应分支不同步 SkipInvalidBatch。 - 重写 CompressorVec1SliceIterator:LoadBatch / AdvanceRows / SkipBatchGap 以「压缩窗编号」统一推导空洞行终点与配额消费(合并尾部 padding / 整段跳过 / 部分跳过三支),CollectSliceStats() 单遍统计(调用方不再维护无效的 dealedTcCnt);删除未用字段、setter、重载与 IS_STATISTIC 模板参数。 **6. tiling 读取方式按 CONST_TILING 选择 + FULL_LOAD 清理**(compressor.cpp、quant_compressor.cpp、arch35/arch92 kernel 头文件) - 静态 shape 编译 → GET_TILING_DATA_WITH_STRUCT(展开 static constexpr,保留常量折叠);动态 shape → GET_TILING_DATA_PTR_WITH_STRUCT(__gm__ 直读,零拷贝);仅 arch35(3510)/arch92(9201) 生效,arch22 保持原样。tilingData_ 类型改 __tiling_data_ptr__。 - 删除 arch92 FULL_LOAD 的 Warmup()(block_table 的 dc_preload 预取)与成员 splitInfo_ 缓存,ComputeVec1() 内直接 SplitCoreV1();quant_compressor 同步删除。 **影响面**:对外接口、参数语义与 golden 不变;tiling 结构体仅新增 windowSeqCnt 字段;s > 4 / TH 布局 / arch22 / arch35 数值路径行为不变,FULL_LOAD 数值路径不变。 ## 关联的Issue 关联 Issue #7105 ## 测试 ## 文档更新 无。(未改对外接口、参数语义、golden 与用例) ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!15282 | 7 天前 | |
compressor、quant_compressor算子cleancode Co-authored-by: myy268<moyunyang@huawei.com> # message auto-generated for no-merge-commit merge: !11105 merge cp_cleancode into master compressor、quant_compressor算子cleancode Created-by: myy268 Commit-by: myy268;莫允扬 Merged-by: cann-robot Description: ## 描述 compressor, quant_compressor算子cleancode:normal模板和fullload模板合并kernel、cube文件,提取vec基类。 tilingkey增加组合约束,限制不可能的tilingkey组合。 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11105 | 2 个月前 | |
refactor(compressor,compressor_grad,quant_compressor): cleancode 整改与重复代码消除 Co-authored-by: myy268<moyunyang@huawei.com> # message auto-generated for no-merge-commit merge: !12106 merge cpcleancode3 into master refactor(compressor,compressor_grad,quant_compressor): cleancode 整改与重复代码消除 Created-by: myy268 Commit-by: myy268 Merged-by: cann-robot Description: ## 描述 本 PR 对 compressor / compressor_grad / quant_compressor 三个算子做 cleancode 整改与重复代码消除,共 11 个提交: 1. fix:去掉 cmp_ratio 默认值,补齐取值范围校验 [2,128] 2. 拆分 tiling 超大函数(IteratorSlice / ComputeVec1,每函数 ≤50 行) 3. 抽取 tiling 魔鬼数字为语义化常量(compressor / quant_compressor / compressor_grad) 4. tiling 成员函数按 const 正确性补 const;to_string 模板分支改 if constexpr 5. 修复 cleancode 告警:TilingParse 回调形参加 const(*const)、删除未使用的 kernel_tiling.h、条件显式 ge::GRAPH_SUCCESS 比较、统一 Convert* 形参名 6. PyPTO kernel(compressor_grad.py)用 pl.make_tuple 聚合上下文,消除 49 组 >10 行重复块(文件 3502 → 3076 行) 7. 重排 DATATYPE_TO_STRING_MAP,消除跨算子重复代码 8. 拆分 infershape 超大函数(>50 行) 仅重构与清理,算子逻辑、计算顺序与数值结果不变。 ## 关联的Issue 关联 Issue #5328 ## 测试 ## 文档更新 无 ## 类型标签 - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!12106 | 1 个月前 | |
fix(pre-commit): 全仓代码规范整改——attention 3/4 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !13596 merge common into master fix(pre-commit): 全仓代码规范整改——attention 3/4 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939 ## 描述 全仓代码规范整改系列——attention 拆分 **3/4**(第 3 批 26 个算子目录:mixed_quant_sparse_flash_mla_metadata ~ quant_lightning_indexer_v2_metadata,按目录字母序均分)。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:513 个文件,+16217/-14903 行,纯格式化改动语义等价,无逻辑变更 - op_graph/*_proto.h、op_host/*_def.cpp、op_api/aclnn*.h 等接口文件及 OWNERS 不在本 PR 改动范围 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!13596 | 1 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 1 个月前 | ||
| 1 个月前 | ||
| 1 个月前 | ||
| 1 个月前 | ||
| 1 个月前 | ||
| 2 个月前 | ||
| 7 天前 | ||
| 2 个月前 | ||
| 1 个月前 | ||
| 1 个月前 |