| init repo, add LICENSE, add issue/pr template Co-authored-by: zhangkaiyu<hahazhky@163.com> # message auto-generated for no-merge-commit merge: merge master into master init repo, add LICENSE, add issue/pr template Created-by: zhangky_gitcode Commit-by: zhangkaiyu Merged-by: ascend-robot Description: init repo, add LICENSE, add issue/pr template See merge request: cann/cann-recipes-infer!1 | 1 year ago |
| 【feat】add DeepSeek-V3.2-Exp model Co-authored-by: zhong_lin<echo.zhonglin@huawei.com> # message auto-generated for no-merge-commit merge: merge deepseek-v3.2 into master 【feat】add DeepSeek-V3.2-Exp model Created-by: zhong_lin Commit-by: zhong_lin Merged-by: ascend-robot Description: # Pull Request 模板 ---- ## 描述 新增已适配NPU的DeepSeek-V3.2-Exp模型 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!3 | 1 year ago |
| [feat] Support DeepseekV3 on ascend310P*20 Co-authored-by: weixin_42222609<zhengmenghua@tsingmao.com> # message auto-generated for no-merge-commit merge: !128 merge master-dpsk into master [feat] Support DeepseekV3 on ascend310P*20 Created-by: weixin_42222609 Commit-by: weixin_42222609 Merged-by: turing_project1 Description: # Support DeepseekV3 on ascend310Px20 ---- ## 描述 新增支持 DeepSeekV3 在单机310Px20上推理。可查看 [RFC](https://gitcode.com/cann/cann-recipes-infer/issues/61) 中的具体开发事项和方案。 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 详见contrib/ascend310PDSV3/README.md中步骤。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!128 | 10 months ago |
| 【feat】add DeepSeek-V3.2-Exp model Co-authored-by: zhong_lin<echo.zhonglin@huawei.com> # message auto-generated for no-merge-commit merge: merge deepseek-v3.2 into master 【feat】add DeepSeek-V3.2-Exp model Created-by: zhong_lin Commit-by: zhong_lin Merged-by: ascend-robot Description: # Pull Request 模板 ---- ## 描述 新增已适配NPU的DeepSeek-V3.2-Exp模型 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!3 | 1 year ago |
| [feat]: Longcat support Attention-FFN Disaggregation(AFD) Co-authored-by: A-Liuhao<liuhao276@hisilicon.com> # message auto-generated for no-merge-commit merge: !249 merge longcat_afd_0115 into master [feat]: Longcat support Attention-FFN Disaggregation(AFD) Created-by: A-Liuhao Commit-by: A-Liuhao Merged-by: cann-robot Description: ## 描述 针对 LongCat-Flash-560B 模型,为了在 Decode 阶段进一步降低 TPOT 耗时,实现了 Attention-FFN Disaggretation(AFD) 技术方案,将 MoE 模块从整网中剥离出来进行独立部署,也即 Attention 模块 和 MoE 模块单独部署在不同的节点上,中间通过 Send/Recv 算子进行节点间的数据交互。通过充分利用核算力来降低算子执行时间和实现计算的流水掩盖,使得TPOT的进一步优化。 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 参照README执行模型,配置enable_afd为True,使能AFD。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) See merge request: cann/cann-recipes-infer!249 | 9 months ago |
| [feat]: Longcat support Attention-FFN Disaggregation(AFD) Co-authored-by: A-Liuhao<liuhao276@hisilicon.com> # message auto-generated for no-merge-commit merge: !249 merge longcat_afd_0115 into master [feat]: Longcat support Attention-FFN Disaggregation(AFD) Created-by: A-Liuhao Commit-by: A-Liuhao Merged-by: cann-robot Description: ## 描述 针对 LongCat-Flash-560B 模型,为了在 Decode 阶段进一步降低 TPOT 耗时,实现了 Attention-FFN Disaggretation(AFD) 技术方案,将 MoE 模块从整网中剥离出来进行独立部署,也即 Attention 模块 和 MoE 模块单独部署在不同的节点上,中间通过 Send/Recv 算子进行节点间的数据交互。通过充分利用核算力来降低算子执行时间和实现计算的流水掩盖,使得TPOT的进一步优化。 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 参照README执行模型,配置enable_afd为True,使能AFD。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) See merge request: cann/cann-recipes-infer!249 | 9 months ago |
| [fix]: updata longcat-flash README Co-authored-by: A-Liuhao<liuhao276@hisilicon.com> # message auto-generated for no-merge-commit merge: !254 merge modify_torch_npu_commit_id into master [fix]: updata longcat-flash README Created-by: A-Liuhao Commit-by: A-Liuhao Merged-by: cann-robot Description: ## 描述 更新longcat模型环境准备章节对应的torch_npu分支和commitID,以及CANN版本号。 ## 类型 - [x] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 NA ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!254 | 9 months ago |
| [feat] hunyuanvideo, wan2.2 step-level cache,适配cfg Co-authored-by: goodmani3<juchanghao@huawei.com> # message auto-generated for no-merge-commit merge: !240 merge master into master [feat] hunyuanvideo, wan2.2 step-level cache,适配cfg Created-by: goodmani3 Commit-by: goodmani3 Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 1 修改FBCache/TeaCache 的缓存逻辑结构,使用is_cond标记进行分支判断,适配CFG串行的双分支推理(条件分支/无条件分支),专门设计了区分缓存逻辑 为不同的分支设计不同缓存,避免分支干扰 2 设计了warmup+截至步长强制计算的逻辑,避免在wan2.2前期和后期剧烈变换的时候跳过计算 3 为wan2.2新增了teacache适配 4 新增“enable_separate_cfg”: CFG适配开关,如不需启动,则设置false。此时只启动一条分支 ## 类型 - [x] Bug 修复 - [x] 新功能 - [x] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!240 | 9 months ago |
| fix race bug | 9 months ago |
| HunyuanVideo dit_cache_step Co-authored-by: nichorians<nijianan1@huawei.com> # message auto-generated for no-merge-commit merge: !229 merge master into master [feat] HunyuanVideo support FBCache, NPU_RMSNorm; Add dit_cache_step Created-by: nichorians Commit-by: n00947584;nichorians Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 请提供此Pull Request的预期功能,以方便检视。 为HunyuanVideo适配了FBCache功能 为公共函数模块module添加dit_cache_step功能,集成了fbcache和teacache 使用npu_rms_norm融合算子替换原本的小算子RMSNorm功能 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!229 | 10 months ago |
| init repo, add LICENSE, add issue/pr template Co-authored-by: zhangkaiyu<hahazhky@163.com> # message auto-generated for no-merge-commit merge: merge master into master init repo, add LICENSE, add issue/pr template Created-by: zhangky_gitcode Commit-by: zhangkaiyu Merged-by: ascend-robot Description: init repo, add LICENSE, add issue/pr template See merge request: cann/cann-recipes-infer!1 | 1 year ago |
| [docs] update contribution.md and add contrib dir Co-authored-by: zhangkaiyu<hahazhky@163.com> # message auto-generated for no-merge-commit merge: !119 merge master into master [docs] update contribution.md and add contrib dir Created-by: zhangky_gitcode Commit-by: zhangkaiyu Merged-by: turing_project1 Description: # Pull Request 模板 ---- ## 描述 补充新样例贡献的要求,方便开发者参考 ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [ ] 我的代码遵循这个项目的代码风格 - [ ] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!119 | 11 months ago |
| init repo, add LICENSE, add issue/pr template Co-authored-by: zhangkaiyu<hahazhky@163.com> # message auto-generated for no-merge-commit merge: merge master into master init repo, add LICENSE, add issue/pr template Created-by: zhangky_gitcode Commit-by: zhangkaiyu Merged-by: ascend-robot Description: init repo, add LICENSE, add issue/pr template See merge request: cann/cann-recipes-infer!1 | 1 year ago |
| init repo, add LICENSE, add issue/pr template Co-authored-by: zhangkaiyu<hahazhky@163.com> # message auto-generated for no-merge-commit merge: merge master into master init repo, add LICENSE, add issue/pr template Created-by: zhangky_gitcode Commit-by: zhangkaiyu Merged-by: ascend-robot Description: init repo, add LICENSE, add issue/pr template See merge request: cann/cann-recipes-infer!1 | 1 year ago |
| [feat]: Longcat support Attention-FFN Disaggregation(AFD) Co-authored-by: A-Liuhao<liuhao276@hisilicon.com> # message auto-generated for no-merge-commit merge: !249 merge longcat_afd_0115 into master [feat]: Longcat support Attention-FFN Disaggregation(AFD) Created-by: A-Liuhao Commit-by: A-Liuhao Merged-by: cann-robot Description: ## 描述 针对 LongCat-Flash-560B 模型,为了在 Decode 阶段进一步降低 TPOT 耗时,实现了 Attention-FFN Disaggretation(AFD) 技术方案,将 MoE 模块从整网中剥离出来进行独立部署,也即 Attention 模块 和 MoE 模块单独部署在不同的节点上,中间通过 Send/Recv 算子进行节点间的数据交互。通过充分利用核算力来降低算子执行时间和实现计算的流水掩盖,使得TPOT的进一步优化。 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 参照README执行模型,配置enable_afd为True,使能AFD。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) See merge request: cann/cann-recipes-infer!249 | 9 months ago |
| [doc] update third software notice Co-authored-by: zhong_lin<echo.zhonglin@huawei.com> # message auto-generated for no-merge-commit merge: !159 merge dev_modify_third into master [doc] update third software notice Created-by: zhong_lin Commit-by: zhong_lin Merged-by: turing_project1 Description: # Pull Request 模板 ---- ## 描述 Update third software notice. ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!159 | 11 months ago |