| Files | Last commit | Last update |
|---|---|---|
grouped_matmul_quant_w4a16 Co-authored-by: 蒋磊<jianglei105@huawei.com> # message auto-generated for no-merge-commit merge: !13072 merge grouped-matmul-quant-clean-pr into master grouped_matmul_quant_w4a16 Created-by: Waltz980818 Commit-by: 蒋磊 Merged-by: cann-robot Description: ## 描述 本PR新增一个实验性质的W4A16 Grouped Matmul (GMM)算子,主要优化MoE场景下单专家token数较少时的权重反量化开销和多核利用率. 与现有通用的W4A16实现相比: + 使用定制的packed INT4权重布局 [E, K/16, N/16, 16, 2],使权重数据与Kernel的16x16分块相匹配,减少运行时布局处理和非连续搬运. + 不为完整的ExKxN反量化权重预留workspace。每个Core仅使用两组,每组8个槽位的权重环形缓冲,workspace主要随Core数量增长. + AIV仅反量化当前计算所需的权重tile, 反量化结果写入当前环形缓冲槽位后,由配对的AIC搬入L1/L0B. + 使用跨核同步和ping-pong缓冲建立tile级生产者-消费者流水, 使AIV反量化下一批权重时, AIC可以同时计算当前批权重,减少权重预处理与矩阵计算之间的串行等待. + 显式管理GM -> L1 -> L0A/L0B -> L0C数据通路, 并通过双缓冲重叠激活搬运, 权重搬运, LoadData和Cube MMAD. + 当M/N方向任务数不足以占满Cube Core时, 将K tile纳入多核任务划分. 各Core将FP32部分和原子累加到公共workspace, 最后统一转换为FP16/BF16输出. ## 关联的Issue 关联Issue #4857 <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!13072 | 1 month ago | |
Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305 | 4 months ago |
| Files | Last commit | Last update |
|---|---|---|
| 1 month ago | ||
| 4 months ago |