| init repo, add LICENSE, add issue/pr template Co-authored-by: zhangkaiyu<hahazhky@163.com> # message auto-generated for no-merge-commit merge: merge master into master init repo, add LICENSE, add issue/pr template Created-by: zhangky_gitcode Commit-by: zhangkaiyu Merged-by: ascend-robot Description: init repo, add LICENSE, add issue/pr template See merge request: cann/cann-recipes-infer!1 | 1 year ago |
| 【feat】add DeepSeek-V3.2-Exp model Co-authored-by: zhong_lin<echo.zhonglin@huawei.com> # message auto-generated for no-merge-commit merge: merge deepseek-v3.2 into master 【feat】add DeepSeek-V3.2-Exp model Created-by: zhong_lin Commit-by: zhong_lin Merged-by: ascend-robot Description: # Pull Request 模板 ---- ## 描述 新增已适配NPU的DeepSeek-V3.2-Exp模型 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!3 | 1 year ago |
| [feat] Support DeepseekV3 on ascend310P*20 Co-authored-by: weixin_42222609<zhengmenghua@tsingmao.com> # message auto-generated for no-merge-commit merge: !128 merge master-dpsk into master [feat] Support DeepseekV3 on ascend310P*20 Created-by: weixin_42222609 Commit-by: weixin_42222609 Merged-by: turing_project1 Description: # Support DeepseekV3 on ascend310Px20 ---- ## 描述 新增支持 DeepSeekV3 在单机310Px20上推理。可查看 [RFC](https://gitcode.com/cann/cann-recipes-infer/issues/61) 中的具体开发事项和方案。 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 详见contrib/ascend310PDSV3/README.md中步骤。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!128 | 10 months ago |
| 【feat】add DeepSeek-V3.2-Exp model Co-authored-by: zhong_lin<echo.zhonglin@huawei.com> # message auto-generated for no-merge-commit merge: merge deepseek-v3.2 into master 【feat】add DeepSeek-V3.2-Exp model Created-by: zhong_lin Commit-by: zhong_lin Merged-by: ascend-robot Description: # Pull Request 模板 ---- ## 描述 新增已适配NPU的DeepSeek-V3.2-Exp模型 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!3 | 1 year ago |
| [Feat]: add gpt-oss model Co-authored-by: chenwenjun (J)<chenwenjun45@huawei.com> # message auto-generated for no-merge-commit merge: !195 merge master into master [Feat]: add gpt-oss model Created-by: m0_55477307 Commit-by: chenwenjun (J) Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 新增已适配NPU的gpt-oss模型 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!195 | 10 months ago |
| [Feat]: add gpt-oss model Co-authored-by: chenwenjun (J)<chenwenjun45@huawei.com> # message auto-generated for no-merge-commit merge: !195 merge master into master [Feat]: add gpt-oss model Created-by: m0_55477307 Commit-by: chenwenjun (J) Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 新增已适配NPU的gpt-oss模型 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!195 | 10 months ago |
| [fix] modify dsv3.2 convert kv_cache_scheme type | 9 months ago |
| [fix] 修复W4A8无法走进A8相关优化分支的问题 Co-authored-by: rui-zhang<zhangrui329@hisilicon.com> # message auto-generated for no-merge-commit merge: !187 merge quant_mode_fix into master [fix] 修复W4A8无法走进A8相关优化分支的问题 Created-by: rui-zhang Commit-by: rui-zhang Merged-by: cann-robot Description: # quant mode fix ---- ## 描述 修改所有modeling中走进A8性能优化代码分支的判断条件为A8,原先为判断A8W8 修改kv_cache_c8为kv_cache_quant_mode,通过字符串区分kv量化模式 ## 类型 - [x] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!187 | 10 months ago |
| [feat] add DeepSeek-V3.2-Exp W4A8C8 quantization support. Co-authored-by: shandalau<liuxiangde1@huawei.com> # message auto-generated for no-merge-commit merge: !13 merge w4a8c8 into master [feat] add DeepSeek-V3.2-Exp W4A8C8 quantization support. Created-by: shandalau Commit-by: shandalau Merged-by: cann-robot Description: # Pull Request ---- ## 描述 新增对DeepSeek-V3.2-Exp W4A8C8的量化支持,提供量化模型导出脚本,以及量化设计说明文档。 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [x] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 # 转换为W4A8C8权重 bash utils/weight_convert.sh --input_fp8_hf_path /data/models/DeepSeek-V3.2-Exp-Fp8 --output_hf_path /data/models/DeepSeek-V3.2-Exp-W4A8C8 --quant_mode w4a8c8 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!13 | 10 months ago |
| init repo, add LICENSE, add issue/pr template Co-authored-by: zhangkaiyu<hahazhky@163.com> # message auto-generated for no-merge-commit merge: merge master into master init repo, add LICENSE, add issue/pr template Created-by: zhangky_gitcode Commit-by: zhangkaiyu Merged-by: ascend-robot Description: init repo, add LICENSE, add issue/pr template See merge request: cann/cann-recipes-infer!1 | 1 year ago |
| [docs] update contribution.md and add contrib dir Co-authored-by: zhangkaiyu<hahazhky@163.com> # message auto-generated for no-merge-commit merge: !119 merge master into master [docs] update contribution.md and add contrib dir Created-by: zhangky_gitcode Commit-by: zhangkaiyu Merged-by: turing_project1 Description: # Pull Request 模板 ---- ## 描述 补充新样例贡献的要求,方便开发者参考 ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [ ] 我的代码遵循这个项目的代码风格 - [ ] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!119 | 11 months ago |
| init repo, add LICENSE, add issue/pr template Co-authored-by: zhangkaiyu<hahazhky@163.com> # message auto-generated for no-merge-commit merge: merge master into master init repo, add LICENSE, add issue/pr template Created-by: zhangky_gitcode Commit-by: zhangkaiyu Merged-by: ascend-robot Description: init repo, add LICENSE, add issue/pr template See merge request: cann/cann-recipes-infer!1 | 1 year ago |
| init repo, add LICENSE, add issue/pr template Co-authored-by: zhangkaiyu<hahazhky@163.com> # message auto-generated for no-merge-commit merge: merge master into master init repo, add LICENSE, add issue/pr template Created-by: zhangky_gitcode Commit-by: zhangkaiyu Merged-by: ascend-robot Description: init repo, add LICENSE, add issue/pr template See merge request: cann/cann-recipes-infer!1 | 1 year ago |
| [Feat]: add gpt-oss model Co-authored-by: chenwenjun (J)<chenwenjun45@huawei.com> # message auto-generated for no-merge-commit merge: !195 merge master into master [Feat]: add gpt-oss model Created-by: m0_55477307 Commit-by: chenwenjun (J) Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 新增已适配NPU的gpt-oss模型 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!195 | 10 months ago |
| [doc] update third software notice Co-authored-by: zhong_lin<echo.zhonglin@huawei.com> # message auto-generated for no-merge-commit merge: !159 merge dev_modify_third into master [doc] update third software notice Created-by: zhong_lin Commit-by: zhong_lin Merged-by: turing_project1 Description: # Pull Request 模板 ---- ## 描述 Update third software notice. ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!159 | 11 months ago |