| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
fix(pre-commit): 全仓代码规范整改——attention 1/4 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !13593 merge attention into master fix(pre-commit): 全仓代码规范整改——attention 1/4 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5939 ## 描述 全仓代码规范整改系列——attention 拆分 **1/4**(第 1 批 26 个算子目录:attention_update ~ fused_causal_conv1d,按目录字母序均分)。基于仓库 pre-commit 门禁对存量代码做一次性规范收敛: - clang-format 按 .clang-format 统一格式(列宽 120、指针左对齐 T* p、引用对齐 T& r 等) - 行尾空白、文件末尾换行修复 - 规模:757 个文件,+43107/-22224 行,纯格式化改动语义等价,无逻辑变更 - op_graph/*_proto.h、op_host/*_def.cpp、op_api/aclnn*.h 等接口文件及 OWNERS 不在本 PR 改动范围 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5939(全仓整改总跟踪) ## 测试 - pre-commit 全部钩子本地通过 - CI 流水线(compile/UT)验证 See merge request: cann/ops-transformer!13593 | 1 个月前 | |
torch extension整改成分布式 Co-authored-by: hblnb<huangbolin3@huawei.com> # message auto-generated for no-merge-commit merge: !9712 merge torch_extension_split into master torch extension整改成分布式 Created-by: hblnb Commit-by: hblnb Merged-by: cann-robot Description: ## 描述 ops-transformer仓支持各个算子独立编译torch_extention,并将torch_extension从集中式改成分布式(算子的文件分布到算子源码目录下新建的torch_extension文件夹) ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4502 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9712 | 2 个月前 | |
fix(compressor): 修复公开入口反向梯度静默全错与 grad_enabled 属性失效 Co-authored-by: myy268<moyunyang@huawei.com> # message auto-generated for no-merge-commit merge: !15041 merge fix/compressor-grad-enabled into master fix(compressor): 修复公开入口反向梯度静默全错与 grad_enabled 属性失效 Created-by: myy268 Commit-by: myy268 Merged-by: cann-robot Description: ## 描述 修复 compressor 公开入口经 _CompressorFunction 反向梯度静默全错,并修复同一链路上 grad_enabled 属性失效的问题。 **问题 1(Python 侧,直接原因)** attention/compressor/torch_extension/compressor.py 的 _CompressorFunction.forward 用 python grad_enabled = torch.is_grad_enabled() and any(t.requires_grad for t in (x, wkv, wgate, ape)) 判定是否让 kernel 写出反向所需中间量。但 autograd 执行 Function.forward 时会局部关闭 grad mode,torch.is_grad_enabled() 在 forward 内恒为 False(grad 开 / no_grad / inference_mode / no_grad 内 enable_grad / backward 内再进 forward 均为 False),因此该表达式**结构性恒 False** → kernel 不写 softmax_score/kv → backward 消费未初始化显存 → 梯度为垃圾值/NaN 且无任何报错。 该判据由 fa4364547 引入,父提交 3d40e5645 的公开入口是普通函数、判据为 x.requires_grad,行为正确。本 PR 恢复该语义(只看输入是否 requires_grad;autograd 只在至少一个输入需要梯度时才会真正反向)。 **问题 2(Tiling 侧)** op_host/arch35/compressor_tiling.cpp、op_host/arch92/compressor_tiling_arch92.cpp 的 GenTilingKey(): cpp uint8_t gradEnabled = static_cast<uint8_t>(context_->gradEnabled ? 1 : 0); // 判的是指针 grad_enabled 在 compressor_def.cpp 中声明为 OPTIONAL.Bool(false),attr 数组里恒有该项 → 指针恒非空 → tilingKey 的 GRAD_ENABLED 位**恒为 1**,属性完全失效(推理态白写 softmax_score/kv,S=131072/bf16/D=512 时约 536MB 额外写)。arch22 的实现(!= nullptr && *ptr)是正确的,本 PR 将 arch35/arch92 对齐 arch22。 两个缺陷互相掩盖:在 950PR(arch35)上 tiling 恒判 1,所以问题 1 表现为"不复现";一旦 tiling 修好而 Python 不修,梯度立刻全错(实测 rel≈1)。因此两者必须同一笔修复。 改动范围:3 个文件、3 行。 ## 测试 环境:ascend950(950PR,DAV_3510 / arch35),CANN 9.2.0,torch 2.13 + torch_npu 2.13rc1;重编 --ops=compressor,compressor_grad --soc=ascend950 run 包与 torch_extension wheel 后实跑。 1. 公开入口梯度 vs 直调 _compressor_forward(grad_enabled=True)(B=1 / H=5120 / D=512 / cmp_ratio=2 / bf16,S=1024 与 S=131072):d_x/d_wkv/d_wgate/d_ape 的 max_abs_diff = 0,无 NaN。 2. 直调 grad_enabled=False:softmax_score 不再写出(max_abs=0 / 未初始化),而 cmp_kv 与 grad_enabled=True 逐 bit 相同,说明省掉中间量写出不影响主输出。 3. tiling 日志确认属性已生效:GenTilingKey ... grad_enabled:1 与 grad_enabled:0 按入参区分,tilingKey 分别为 2562/512。 4. 原 pytest 抽查(每路径一条):grad_enabled_single_precision[linear-cache-2-2-no-overlap-BSH]、[linear-cache-2-2-overlap-BSH]、grad_enabled_full_load[2-no-overlap]、[4-no-overlap]、test_compressor_single[param_combinations0] 均通过。 5. pre-commit(clang-format / ruff / OAT / trailing-whitespace 等)全通过。 6. arch92 的同类修改本机无 960dt 环境,仅通过 host 侧编译验证,未做上板运行。 ## 文档更新 无。(未改动对外接口、参数语义与 golden) ## 类型标签 - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!15041 | 13 天前 | |
fix(quant_compressor,compressor): 修复 VF reduce 非整除结果错误并注册 compressor 公开算子名 Co-authored-by: myy268<moyunyang@huawei.com> # message auto-generated for no-merge-commit merge: !12203 merge cpfixvfreduce into master fix(quant_compressor,compressor): 修复 VF reduce 非整除结果错误并注册 compressor 公开算子名 Created-by: myy268 Commit-by: myy268 Merged-by: cann-robot Description: ## 描述 修复两处问题: 1. quant_compressor:VF reduce(MulReduceSumbase8/16/32VFImpl)原为"每寄存器多行累加 + Squeeze 折叠",隐含要求 rCnt=coff*cmpRatio 能被每寄存器行数整除;非整除时(如 coff=2、cmpRatio=65 → rCnt=130)末次不满寄存器,Squeeze 折叠错误、部分输出列恒为 0。改为与 compressor 一致的逐行累加(mask 恒为 baseD、offset += baseD),对任意 rCnt 均正确;并修正 SoftmaxDnVF 中 inputAddr/outputAddr 指针命名写反(原地调用无行为差异)。 2. compressor:CompressorOpBuilder 的 schema()/register_meta() 原为空实现,公开名 cann_ops_transformer::compressor 从未注册,torch.ops.cann_ops_transformer.compressor 不可用。补齐 schema() 与 Meta 实现,为公开 compressor() 增加 @impl("PrivateUse1") 与 @impl("Autograd");graph_convert 改为变参,使两种入口在图模式下返回统一提示。 ## 关联的Issue 关联 Issue #5434 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 - [x] 🐛 Bug修复 See merge request: cann/ops-transformer!12203 | 1 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 1 个月前 | ||
| 2 个月前 | ||
| 13 天前 | ||
| 1 个月前 |