| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
fix(log): correct log text in common, FA training and PFA op_host (A4, 32 issues) Co-authored-by: huang-chuhong<huangchuhong1@h-partners.com> # message auto-generated for no-merge-commit merge: !10800 merge fix-log-a4-common-fa into master fix(log): correct log text in common, FA training and PFA op_host (A4, 32 issues) Created-by: huang-chuhong Commit-by: huang-chuhong Merged-by: cann-robot Description: ## 描述 修复 common 公共代码、FA 训练算子和 PFA 算子 op_host/op_kernel 中的日志文案问题（拼写错误、语法错误、错误描述不完整），共 32 条。不含 common/include 目录文件。 ## 改动 ### common + FA训练 (19条) - 拼写: caculate->calculate, lager->larger, rightDownCasual->rightDownCausal, bullptr->nullptr - 语法: is not exists->does not exist, please the op name->please check the op name, should be specify->should be specified, not support->is not supported - 拼接漏空格: s2[%ld]or -> s2[%ld] or ### PFA (13条) - 拼写: faild->failed, querDim->queryDim, actualSeqenceLengthKV->actualSequenceLengthKV, lager->larger, ane->and, seprate->separate - 语法: cannot neither be negative number->cannot be negative numbers, must less than->must be less than - 错误描述不完整: softmaxflashv2 need min tmpbuffer is not enough -> softmaxTiling.reduceM must be greater than 0 - 拼写: date type -> data type 含 clang-format 格式化。所有改动仅涉及日志/报错字符串文案，不改变校验条件、控制流、返回值或计算逻辑。 ## 关联的Issue #4680 ## 测试 - pre-commit 全 Passed ## 类型标签 - [x] Bug 修复 See merge request: cann/ops-transformer!10800 | 2 个月前 | |
add qli&qsli Co-authored-by: jj_tang<tangjingjie2@huawei.com> # message auto-generated for no-merge-commit merge: !13294 merge experimental_split_mode into master add qli&qsli Created-by: jj_tang Commit-by: jj_tang Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 一、总体设计 两级 TopK：第一级按块粗筛出候选块，第二级在候选块内精筛出 token 级 TopK。 QuantLightningIndexerV2 QuantSparseLightningIndexer q,k ──► （第一级 source：块级打分 + 块级 topk）──► candidate_topk_index ──► （第二级：候选块内 token 级 topk）──► sparse_indices 二、接口（现行） 主算子 QuantLightningIndexerV2 开关兼候选块个数：candidate_topk_blocks，-1=关闭（现网行为，默认）、2048=开启第一级（当前唯一有效值）。 候选块大小：candidate_block_size，关闭时必须为 -1；开启时必须 > 0（当前仅支持 8，与块内 BlockReduceMax 的 32B 归约粒度一致）。 输出：sparse_indices、sparse_values（return_value=0 时为空 tensor）、开启时的块级候选索引 candidate_topk_index_out（BSND (B,S1,N2,2048) / TND (T1,N2,2048)；关闭时为空 tensor）、预留输出 candidate_block_length（恒为空 tensor）。 量化：quant_mode 仅支持 2（INT8 per-token-head）；topk ∈ [1, 2048]；mask_mode ∈ {0, 3}；layout_q ∈ {BSND, TND}（TND 需传 cu_seqlens_q）；layout_k 仅 PA_BBND。 第二级 QuantSparseLightningIndexer 输入：candidate_topk_index（必传，INT32；末维即候选块个数，当前仅支持 2048，tiling 由输入形状推导并校验）、metadata（必传）、candidate_block_length（预留，仅接受空 tensor）等。 候选块大小 candidate_block_size（当前仅支持 8）；其余量化/掩码/topk/layout 约束与第一级一致。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。-->   ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!13294 | 28 天前 | |
experimental目录增加A2/A3性能优化demo Co-authored-by: linengyao<linengyao@huawei.com> # message auto-generated for no-merge-commit merge: !1049 merge master into master experimental目录增加A2/A3性能优化demo Created-by: linengyao Commit-by: linengyao Merged-by: cann-robot Description: ## 描述 本demo目的是为了演示preload的开启与关闭对于算子性能的影响。以最基础的qkv作为输入（不带任何特性），使用无preload与preload2轮作为对比实验，让使用者有方向对于算子性能进行自行优化。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1049 | 9 个月前 |