| Files | Last commit | Last update |
|---|---|---|
compressor arch92性能优化 Co-authored-by: 莫允扬<moyunyang@huawei.com> # message auto-generated for no-merge-commit merge: !15282 merge feat/compressor-arch92-normal-batch-preload into master compressor arch92性能优化 Created-by: myy268 Commit-by: 莫允扬 Merged-by: cann-robot Description: ## 描述 arch92(Ascend 960DT)compressor / quant_compressor 的一轮性能优化,核心是把 NORMAL 模板的「批量预载」从压缩窗口径里解耦出来,并把 vec 侧 buffer/同步从 Que 风格改成静态 tensor + bufid。 改动 15 个文件,分六块: **1. host tiling:M 组数收敛,预载宽度不再被压缩比绑死**( op_host/arch92/compressor_tiling_arch92.cpp) SetNormalSplitInfo() 在 D×M 填不满核数、需要切 K 时: cpp // 改前 kBaseNum = coreGroupNum / mBaseNum; mGroupNum = mBaseNum; // 改后 uint32_t mGroupNum = std::max((mBaseNum + 1U) / 2U, 1U); while (mGroupNum > 1U && coreGroupNum % mGroupNum != 0U) { --mGroupNum; } kBaseNum = coreGroupNum / mGroupNum; mGroupNum = mGroupNum; M 组数约为原来的 1/2(并向下对齐到 coreGroupNum 的因子,保证除尽),K 段数随之翻倍:单核组负责的 T 轴行数减半,vec 侧整 batch 原始结果更容易驻留 UB。 **2. vec 侧静态 tensor + bufid(Mutex)同步**(op_kernel/arch92/compressor_block_vec_arch92.h) - 新增 CompressorVecUbView:所有 vec buffer 的 UB 地址取 struct 成员偏移(编译期常量),合计 368K 由 static_assert 卡预算;删除 inputQue1/2/3、outputQue1/2、inputQueApe、tmpBuff1/2、apeBuf,InitBuffers(pipe) → InitStaticTensors()。 - 同步不再手写 SetFlag/WaitFlag:每个 buffer 一个 mutex id(COMP_MTX_MM1/PARTIAL_STAGE0/1/OUT_STAGE/APE_IN/IN_APE/IN_SCORE/IN_KV,占 0~7),生产/消费两侧各自 Mutex::Lock/Unlock,跨轮复用由 mutex 自身保证;FreeEventID() 配对释放输入快道末次持有的 V credit。 - 输入快道(CopyInWithSync)改为跨调用滚动 credit 并按目标 buffer 分 3 桶,使 ape / scoreLocal / kvLocal 的 MTE2 填充可以互相重叠;输出快道(CopyOutWithSync)在源/目标行跨距相同时直搬 GM(省掉 staging 的 UB→UB 重排),否则仍走 staging。 - 命名收敛:DataCopyWithOutputQue → CopyOutWithSync、DataCopyWithInputQue → CopyInWithSync、AddMultiDataToUb → LoadAndSumPartials、FromWokrSpaceToUb → LoadRawFromWorkspace。 **3. NORMAL 模板:小 S 按 batch 分核 + 整 batch 驻留 + 双列宽**(compressor_block_vec_normal_arch92.h) - 新增 IsVecSplitByBatch():BSH 且 seqSize <= VEC_BATCH_SPLIT_MAX_SEQ_SIZE(4) 时 vec 按整 batch 分核(与 FULL_LOAD 一致);CalcGroupInfo / CalcTaskDistribution / UpdateIteratorState 的分核参照量从「轮内 TC 总数」换成「轮内 batch 总数」(新增 Vec1RunInfo::windowSeqCnt),workspace 行偏移按分到的 batch 数推进。 - ComputeBatchTiles() / PrepareBatchTile():按 32K/(sSize*coff*dDealSize) 分批把原始 score/kv 驻留 UB(各 32K),APE 只收集本 tile 实际用到的 S 行(逐 batch 允许不同 startPos,所有 DMA 发出后统一等待),历史状态一次保存整个原始 D 段;同 batch 的前序 token 直接从驻留 UB 取(rawBatchLoaded_),不再回读 workspace。 - D 切分独立:原始列宽 dBaseSize 按 32K/(sSize*coff) 计算,压缩窗列宽交给 CalcTilingStrategy 在 64K 内单独切;AddApeToScore / PadAlign 增加 dBaseSize / dBaseOffset 参数。 **4. 8 行窗口 VF 融合**(op_kernel/arch92/vf/vf_mul_arch92.h) 新增 SoftmaxMulReduce8VF:8 行窗口的 max / FusedExpSub / 偶奇分组求和 / Div / Mul / Add 全部在寄存器内完成,保留原实现的求和分组与运算顺序;在 gradEnabled == DISABLE 且 coff*cmpRatio == 8、dDealSize 64 对齐时启用,省掉 softmax 概率的 UB 往返。 **5. 轮次口径与切片迭代器**(compressor_kernel_arch92.h、compressor_comm_arch92.h、compressor_tiling_data_arch92.h、compressor_tools_arch92.h) - 新增 BasicBlockInfo/Vec1RunInfo::windowSeqCnt;GetBatchByTIdx() 对 BSH 直接除法定位;小 S 下 CalcTotalDataSize()/GetLoopTimesByTIdx() 改用纯 shape 公式(AIC/AIV 独立计算,不读 startPos),轮次末尾对齐到 batch 起点,保证一个 batch 不被切到两轮;ProcessNormalLoop() 对应分支不同步 SkipInvalidBatch。 - 重写 CompressorVec1SliceIterator:LoadBatch / AdvanceRows / SkipBatchGap 以「压缩窗编号」统一推导空洞行终点与配额消费(合并尾部 padding / 整段跳过 / 部分跳过三支),CollectSliceStats() 单遍统计(调用方不再维护无效的 dealedTcCnt);删除未用字段、setter、重载与 IS_STATISTIC 模板参数。 **6. tiling 读取方式按 CONST_TILING 选择 + FULL_LOAD 清理**(compressor.cpp、quant_compressor.cpp、arch35/arch92 kernel 头文件) - 静态 shape 编译 → GET_TILING_DATA_WITH_STRUCT(展开 static constexpr,保留常量折叠);动态 shape → GET_TILING_DATA_PTR_WITH_STRUCT(__gm__ 直读,零拷贝);仅 arch35(3510)/arch92(9201) 生效,arch22 保持原样。tilingData_ 类型改 __tiling_data_ptr__。 - 删除 arch92 FULL_LOAD 的 Warmup()(block_table 的 dc_preload 预取)与成员 splitInfo_ 缓存,ComputeVec1() 内直接 SplitCoreV1();quant_compressor 同步删除。 **影响面**:对外接口、参数语义与 golden 不变;tiling 结构体仅新增 windowSeqCnt 字段;s > 4 / TH 布局 / arch22 / arch35 数值路径行为不变,FULL_LOAD 数值路径不变。 ## 关联的Issue 关联 Issue #7105 ## 测试 ## 文档更新 无。(未改对外接口、参数语义、golden 与用例) ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!15282 | 7 days ago | |
compressor arch92性能优化 Co-authored-by: 莫允扬<moyunyang@huawei.com> # message auto-generated for no-merge-commit merge: !15282 merge feat/compressor-arch92-normal-batch-preload into master compressor arch92性能优化 Created-by: myy268 Commit-by: 莫允扬 Merged-by: cann-robot Description: ## 描述 arch92(Ascend 960DT)compressor / quant_compressor 的一轮性能优化,核心是把 NORMAL 模板的「批量预载」从压缩窗口径里解耦出来,并把 vec 侧 buffer/同步从 Que 风格改成静态 tensor + bufid。 改动 15 个文件,分六块: **1. host tiling:M 组数收敛,预载宽度不再被压缩比绑死**( op_host/arch92/compressor_tiling_arch92.cpp) SetNormalSplitInfo() 在 D×M 填不满核数、需要切 K 时: cpp // 改前 kBaseNum = coreGroupNum / mBaseNum; mGroupNum = mBaseNum; // 改后 uint32_t mGroupNum = std::max((mBaseNum + 1U) / 2U, 1U); while (mGroupNum > 1U && coreGroupNum % mGroupNum != 0U) { --mGroupNum; } kBaseNum = coreGroupNum / mGroupNum; mGroupNum = mGroupNum; M 组数约为原来的 1/2(并向下对齐到 coreGroupNum 的因子,保证除尽),K 段数随之翻倍:单核组负责的 T 轴行数减半,vec 侧整 batch 原始结果更容易驻留 UB。 **2. vec 侧静态 tensor + bufid(Mutex)同步**(op_kernel/arch92/compressor_block_vec_arch92.h) - 新增 CompressorVecUbView:所有 vec buffer 的 UB 地址取 struct 成员偏移(编译期常量),合计 368K 由 static_assert 卡预算;删除 inputQue1/2/3、outputQue1/2、inputQueApe、tmpBuff1/2、apeBuf,InitBuffers(pipe) → InitStaticTensors()。 - 同步不再手写 SetFlag/WaitFlag:每个 buffer 一个 mutex id(COMP_MTX_MM1/PARTIAL_STAGE0/1/OUT_STAGE/APE_IN/IN_APE/IN_SCORE/IN_KV,占 0~7),生产/消费两侧各自 Mutex::Lock/Unlock,跨轮复用由 mutex 自身保证;FreeEventID() 配对释放输入快道末次持有的 V credit。 - 输入快道(CopyInWithSync)改为跨调用滚动 credit 并按目标 buffer 分 3 桶,使 ape / scoreLocal / kvLocal 的 MTE2 填充可以互相重叠;输出快道(CopyOutWithSync)在源/目标行跨距相同时直搬 GM(省掉 staging 的 UB→UB 重排),否则仍走 staging。 - 命名收敛:DataCopyWithOutputQue → CopyOutWithSync、DataCopyWithInputQue → CopyInWithSync、AddMultiDataToUb → LoadAndSumPartials、FromWokrSpaceToUb → LoadRawFromWorkspace。 **3. NORMAL 模板:小 S 按 batch 分核 + 整 batch 驻留 + 双列宽**(compressor_block_vec_normal_arch92.h) - 新增 IsVecSplitByBatch():BSH 且 seqSize <= VEC_BATCH_SPLIT_MAX_SEQ_SIZE(4) 时 vec 按整 batch 分核(与 FULL_LOAD 一致);CalcGroupInfo / CalcTaskDistribution / UpdateIteratorState 的分核参照量从「轮内 TC 总数」换成「轮内 batch 总数」(新增 Vec1RunInfo::windowSeqCnt),workspace 行偏移按分到的 batch 数推进。 - ComputeBatchTiles() / PrepareBatchTile():按 32K/(sSize*coff*dDealSize) 分批把原始 score/kv 驻留 UB(各 32K),APE 只收集本 tile 实际用到的 S 行(逐 batch 允许不同 startPos,所有 DMA 发出后统一等待),历史状态一次保存整个原始 D 段;同 batch 的前序 token 直接从驻留 UB 取(rawBatchLoaded_),不再回读 workspace。 - D 切分独立:原始列宽 dBaseSize 按 32K/(sSize*coff) 计算,压缩窗列宽交给 CalcTilingStrategy 在 64K 内单独切;AddApeToScore / PadAlign 增加 dBaseSize / dBaseOffset 参数。 **4. 8 行窗口 VF 融合**(op_kernel/arch92/vf/vf_mul_arch92.h) 新增 SoftmaxMulReduce8VF:8 行窗口的 max / FusedExpSub / 偶奇分组求和 / Div / Mul / Add 全部在寄存器内完成,保留原实现的求和分组与运算顺序;在 gradEnabled == DISABLE 且 coff*cmpRatio == 8、dDealSize 64 对齐时启用,省掉 softmax 概率的 UB 往返。 **5. 轮次口径与切片迭代器**(compressor_kernel_arch92.h、compressor_comm_arch92.h、compressor_tiling_data_arch92.h、compressor_tools_arch92.h) - 新增 BasicBlockInfo/Vec1RunInfo::windowSeqCnt;GetBatchByTIdx() 对 BSH 直接除法定位;小 S 下 CalcTotalDataSize()/GetLoopTimesByTIdx() 改用纯 shape 公式(AIC/AIV 独立计算,不读 startPos),轮次末尾对齐到 batch 起点,保证一个 batch 不被切到两轮;ProcessNormalLoop() 对应分支不同步 SkipInvalidBatch。 - 重写 CompressorVec1SliceIterator:LoadBatch / AdvanceRows / SkipBatchGap 以「压缩窗编号」统一推导空洞行终点与配额消费(合并尾部 padding / 整段跳过 / 部分跳过三支),CollectSliceStats() 单遍统计(调用方不再维护无效的 dealedTcCnt);删除未用字段、setter、重载与 IS_STATISTIC 模板参数。 **6. tiling 读取方式按 CONST_TILING 选择 + FULL_LOAD 清理**(compressor.cpp、quant_compressor.cpp、arch35/arch92 kernel 头文件) - 静态 shape 编译 → GET_TILING_DATA_WITH_STRUCT(展开 static constexpr,保留常量折叠);动态 shape → GET_TILING_DATA_PTR_WITH_STRUCT(__gm__ 直读,零拷贝);仅 arch35(3510)/arch92(9201) 生效,arch22 保持原样。tilingData_ 类型改 __tiling_data_ptr__。 - 删除 arch92 FULL_LOAD 的 Warmup()(block_table 的 dc_preload 预取)与成员 splitInfo_ 缓存,ComputeVec1() 内直接 SplitCoreV1();quant_compressor 同步删除。 **影响面**:对外接口、参数语义与 golden 不变;tiling 结构体仅新增 windowSeqCnt 字段;s > 4 / TH 布局 / arch22 / arch35 数值路径行为不变,FULL_LOAD 数值路径不变。 ## 关联的Issue 关联 Issue #7105 ## 测试 ## 文档更新 无。(未改对外接口、参数语义、golden 与用例) ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!15282 | 7 days ago | |
compressor arch92性能优化 Co-authored-by: 莫允扬<moyunyang@huawei.com> # message auto-generated for no-merge-commit merge: !15282 merge feat/compressor-arch92-normal-batch-preload into master compressor arch92性能优化 Created-by: myy268 Commit-by: 莫允扬 Merged-by: cann-robot Description: ## 描述 arch92(Ascend 960DT)compressor / quant_compressor 的一轮性能优化,核心是把 NORMAL 模板的「批量预载」从压缩窗口径里解耦出来,并把 vec 侧 buffer/同步从 Que 风格改成静态 tensor + bufid。 改动 15 个文件,分六块: **1. host tiling:M 组数收敛,预载宽度不再被压缩比绑死**( op_host/arch92/compressor_tiling_arch92.cpp) SetNormalSplitInfo() 在 D×M 填不满核数、需要切 K 时: cpp // 改前 kBaseNum = coreGroupNum / mBaseNum; mGroupNum = mBaseNum; // 改后 uint32_t mGroupNum = std::max((mBaseNum + 1U) / 2U, 1U); while (mGroupNum > 1U && coreGroupNum % mGroupNum != 0U) { --mGroupNum; } kBaseNum = coreGroupNum / mGroupNum; mGroupNum = mGroupNum; M 组数约为原来的 1/2(并向下对齐到 coreGroupNum 的因子,保证除尽),K 段数随之翻倍:单核组负责的 T 轴行数减半,vec 侧整 batch 原始结果更容易驻留 UB。 **2. vec 侧静态 tensor + bufid(Mutex)同步**(op_kernel/arch92/compressor_block_vec_arch92.h) - 新增 CompressorVecUbView:所有 vec buffer 的 UB 地址取 struct 成员偏移(编译期常量),合计 368K 由 static_assert 卡预算;删除 inputQue1/2/3、outputQue1/2、inputQueApe、tmpBuff1/2、apeBuf,InitBuffers(pipe) → InitStaticTensors()。 - 同步不再手写 SetFlag/WaitFlag:每个 buffer 一个 mutex id(COMP_MTX_MM1/PARTIAL_STAGE0/1/OUT_STAGE/APE_IN/IN_APE/IN_SCORE/IN_KV,占 0~7),生产/消费两侧各自 Mutex::Lock/Unlock,跨轮复用由 mutex 自身保证;FreeEventID() 配对释放输入快道末次持有的 V credit。 - 输入快道(CopyInWithSync)改为跨调用滚动 credit 并按目标 buffer 分 3 桶,使 ape / scoreLocal / kvLocal 的 MTE2 填充可以互相重叠;输出快道(CopyOutWithSync)在源/目标行跨距相同时直搬 GM(省掉 staging 的 UB→UB 重排),否则仍走 staging。 - 命名收敛:DataCopyWithOutputQue → CopyOutWithSync、DataCopyWithInputQue → CopyInWithSync、AddMultiDataToUb → LoadAndSumPartials、FromWokrSpaceToUb → LoadRawFromWorkspace。 **3. NORMAL 模板:小 S 按 batch 分核 + 整 batch 驻留 + 双列宽**(compressor_block_vec_normal_arch92.h) - 新增 IsVecSplitByBatch():BSH 且 seqSize <= VEC_BATCH_SPLIT_MAX_SEQ_SIZE(4) 时 vec 按整 batch 分核(与 FULL_LOAD 一致);CalcGroupInfo / CalcTaskDistribution / UpdateIteratorState 的分核参照量从「轮内 TC 总数」换成「轮内 batch 总数」(新增 Vec1RunInfo::windowSeqCnt),workspace 行偏移按分到的 batch 数推进。 - ComputeBatchTiles() / PrepareBatchTile():按 32K/(sSize*coff*dDealSize) 分批把原始 score/kv 驻留 UB(各 32K),APE 只收集本 tile 实际用到的 S 行(逐 batch 允许不同 startPos,所有 DMA 发出后统一等待),历史状态一次保存整个原始 D 段;同 batch 的前序 token 直接从驻留 UB 取(rawBatchLoaded_),不再回读 workspace。 - D 切分独立:原始列宽 dBaseSize 按 32K/(sSize*coff) 计算,压缩窗列宽交给 CalcTilingStrategy 在 64K 内单独切;AddApeToScore / PadAlign 增加 dBaseSize / dBaseOffset 参数。 **4. 8 行窗口 VF 融合**(op_kernel/arch92/vf/vf_mul_arch92.h) 新增 SoftmaxMulReduce8VF:8 行窗口的 max / FusedExpSub / 偶奇分组求和 / Div / Mul / Add 全部在寄存器内完成,保留原实现的求和分组与运算顺序;在 gradEnabled == DISABLE 且 coff*cmpRatio == 8、dDealSize 64 对齐时启用,省掉 softmax 概率的 UB 往返。 **5. 轮次口径与切片迭代器**(compressor_kernel_arch92.h、compressor_comm_arch92.h、compressor_tiling_data_arch92.h、compressor_tools_arch92.h) - 新增 BasicBlockInfo/Vec1RunInfo::windowSeqCnt;GetBatchByTIdx() 对 BSH 直接除法定位;小 S 下 CalcTotalDataSize()/GetLoopTimesByTIdx() 改用纯 shape 公式(AIC/AIV 独立计算,不读 startPos),轮次末尾对齐到 batch 起点,保证一个 batch 不被切到两轮;ProcessNormalLoop() 对应分支不同步 SkipInvalidBatch。 - 重写 CompressorVec1SliceIterator:LoadBatch / AdvanceRows / SkipBatchGap 以「压缩窗编号」统一推导空洞行终点与配额消费(合并尾部 padding / 整段跳过 / 部分跳过三支),CollectSliceStats() 单遍统计(调用方不再维护无效的 dealedTcCnt);删除未用字段、setter、重载与 IS_STATISTIC 模板参数。 **6. tiling 读取方式按 CONST_TILING 选择 + FULL_LOAD 清理**(compressor.cpp、quant_compressor.cpp、arch35/arch92 kernel 头文件) - 静态 shape 编译 → GET_TILING_DATA_WITH_STRUCT(展开 static constexpr,保留常量折叠);动态 shape → GET_TILING_DATA_PTR_WITH_STRUCT(__gm__ 直读,零拷贝);仅 arch35(3510)/arch92(9201) 生效,arch22 保持原样。tilingData_ 类型改 __tiling_data_ptr__。 - 删除 arch92 FULL_LOAD 的 Warmup()(block_table 的 dc_preload 预取)与成员 splitInfo_ 缓存,ComputeVec1() 内直接 SplitCoreV1();quant_compressor 同步删除。 **影响面**:对外接口、参数语义与 golden 不变;tiling 结构体仅新增 windowSeqCnt 字段;s > 4 / TH 布局 / arch22 / arch35 数值路径行为不变,FULL_LOAD 数值路径不变。 ## 关联的Issue 关联 Issue #7105 ## 测试 ## 文档更新 无。(未改对外接口、参数语义、golden 与用例) ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!15282 | 7 days ago |
| Files | Last commit | Last update |
|---|---|---|
| 7 days ago | ||
| 7 days ago | ||
| 7 days ago |