| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
Compressor add UT Co-authored-by: wangss21<wangxiaoshuang21@huawei.com> # message auto-generated for no-merge-commit merge: !8835 merge master into master Compressor add UT Created-by: wangss21 Commit-by: wangss21 Merged-by: cann-robot Description: ## 描述 Compressor add UT ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/3812 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!8835 | 28 天前 | |
新增CompressorGrad算子 Co-authored-by: 莫允扬<moyunyang@huawei.com> Co-authored-by: huangyuqian<huangyuqian2@huawei.com> Co-authored-by: wuhaogl<wuhao305@h-partners.com> # message auto-generated for no-merge-commit merge: !9763 merge master into master 新增CompressorGrad算子 Created-by: myy268 Commit-by: myy;myy268;huangyuqian;wuhaogl;莫允扬 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 为 **Compressor**（KV cache 压缩算子，SMLA/QLI 前处理）新增反向算子 **CompressorGrad**，打通训练/微调场景下压缩分支的梯度计算链路。 **1. 新增反向算子 attention/compressor_grad/** - **op_host**：算子定义（compressor_grad_def.cpp，9 输入 4 输出：d_x/d_wkv/d_wgate/d_ape）、infershape、tiling（30 字段 TilingData + workspace 分区计算 + 全量入参校验） - **op_kernel**：PyPTO 实现的 compressor_grad.py，三阶段流水线（Vec scatter 反向 + Cube 双 matmul + Vec 跨核归约），支持 coff=1/2、BSH/TH 双布局、FP16/BF16，D∈{128,512}、cmp_ratio∈[2,128] **2. 正向算子 compressor 增强** - 新增 softmax_score/kv 两个 FP32 中间输出与 grad_enabled 属性（grad_enabled=true 时导出中间量，作为 CompressorGrad 输入） **3. torch_extension 集成** - compressor.py 注册 autograd：backward 通过 aclnnCompressorGrad 计算 d_x/d_wkv/d_wgate/d_ape，前向 grad_enabled 自动按 x.requires_grad 置位 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!9763 | 3 天前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 28 天前 | ||
| 3 天前 |