Star0
0
Code
Code
Issues
Pull Requests
Actions
Discussion
Wiki
Analysis
Star0
0
cann-robotcann-robotmxfp8支持D=192
e610dd03Add on 6 days agoHistory
FilesLast commitLast update
docs
mxfp8支持D=192 Co-authored-by: liaoxinyuan<liaoxinyuan3@huawei.com> # message auto-generated for no-merge-commit merge: !15200 merge master into master mxfp8支持D=192 Created-by: liaoxinyuan Commit-by: liaoxinyuan Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!15200
6 days ago
op_api
[QFA][MXFP8]decode/prefill支持v_tail尾块高精窗口 Co-authored-by: yang-zhipeng19<yangzhipeng19@huawei.com> # message auto-generated for no-merge-commit merge: !13087 merge vtail-highprec-window into master [QFA][MXFP8]decode/prefill支持v_tail尾块高精窗口 Created-by: yang-zhipeng19 Commit-by: yang-zhipeng19 Merged-by: cann-robot Description: ## 特性: v_tail 尾块高精窗口 (quant_flash_attn 15输入 -> 18输入) ### op_api - aclnn 签名扩展 vTailOptional / blockTableTailOptional / sequsedKvTailOptional 三件套 - 新增 l0op 直调层 (quant_flash_attn.h/cpp) 与 aclnn inner 头 ### op_kernel - 模板加 hasVTail; 尾 task 强制 ND 范式 (cube 侧 IterateBmm1Nd 重装载 Q + vec 侧 ProcessVec1VfDnTailMxfp8 的 VF bf16 直出) - L1 KV 轮转扩为 BuffersPolicy4buff (主体 bf16/fp8 与尾块 bf16 共用, 新增 GetPre()) - vf 层新增 DN 尾 task NoUpdate/Update VF: 非量化 bf16 几何 + Mxfp8 状态机 (ln2 格点化 max / preLoop 三件套 / e8m0 pScale) + 尾窗 causal 掩码 ### op_host - tiling key 扩展 hasVTail 字段; vtail checker (KV 尾块 bf16 直存契约) See merge request: cann/ops-transformer!13087
1 month ago
op_host
mxfp8支持D=192 Co-authored-by: liaoxinyuan<liaoxinyuan3@huawei.com> # message auto-generated for no-merge-commit merge: !15200 merge master into master mxfp8支持D=192 Created-by: liaoxinyuan Commit-by: liaoxinyuan Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!15200
6 days ago
op_kernel
mxfp8支持D=192 Co-authored-by: liaoxinyuan<liaoxinyuan3@huawei.com> # message auto-generated for no-merge-commit merge: !15200 merge master into master mxfp8支持D=192 Created-by: liaoxinyuan Commit-by: liaoxinyuan Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!15200
6 days ago
tests
mxfp8支持D=192 Co-authored-by: liaoxinyuan<liaoxinyuan3@huawei.com> # message auto-generated for no-merge-commit merge: !15200 merge master into master mxfp8支持D=192 Created-by: liaoxinyuan Commit-by: liaoxinyuan Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!15200
6 days ago
torch_extension
fix[QFA]: aclnn_common HIFLOAT4数据类型兼容性修改回退 Co-authored-by: gcw_y7jrbx71<liao28@huawei.com> # message auto-generated for no-merge-commit merge: !14720 merge master into master fix[QFA]: aclnn_common HIFLOAT4数据类型兼容性修改回退 Created-by: gcw_y7jrbx71 Commit-by: gcw_y7jrbx71 Merged-by: cann-robot Description: ## 描述 PR 14417的修改影响了mc2算子，会导致torch-extension编译失败。此PR对该问题进行修复。 ## 关联的Issue 关联Issue [#6805](https://gitcode.com/cann/ops-transformer/issues/6805) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!14720
19 days ago
CMakeLists.txt
[QFA][Mxfp8] add _ for class membername Co-authored-by: shen_weiling<shenweiling@huawei.com> # message auto-generated for no-merge-commit merge: !9435 merge master into master [QFA][Mxfp8] add _ for class membername Created-by: shen_weiling Commit-by: shen_weiling Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!9435
3 months ago