文件最后提交记录最后更新时间
update: 更新文件 runner_deepseek.py Co-authored-by: marcushan84<290269010@qq.com> # message auto-generated for no-merge-commit merge: !425 merge master into master update: 更新文件 runner_deepseek.py Created-by: marcushan84 Commit-by: marcushan84 Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 冗余代码删除 ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [x] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 Checklist: 我的代码遵循这个项目的代码风格 我已经自己测试过我的代码 我已经更新了相应的文档 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 models/deepseek-v3.2-exp/runner_deepseek.py文件中第28,29,30行无调用,建议删除 #from executor.model_loader.default_loader import DefaultModelLoader #from executor.model_loader.dummy_loader import DummyModelLoader #from module.utils import to_transpose_nz See merge request: cann/cann-recipes-infer!4258 天前
[fix]:修改文件夹名称 Co-authored-by: MionLAN<wangbei5@huawei.com> # message auto-generated for no-merge-commit merge: !378 merge master into master [fix]:修改文件夹名称 Created-by: MionLAN Commit-by: MionLAN Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 请提供此Pull Request的预期功能,以方便检视。 ## 类型 - [x] Bug 修复 - [ ] 新功能 - [x] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [ ] 我的代码遵循这个项目的代码风格 - [ ] 我已经自己测试过我的代码 - [ ] 我已经更新了相应的文档 - [ ] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!3781 个月前
[fix] cos sin calc error Co-authored-by: zqh923<zhouqinghong1@hisilicon.com> # message auto-generated for no-merge-commit merge: !492 merge 0527_rope into master [fix] cos sin calc error Created-by: zqh923 Commit-by: zqh923 Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 修复dsv4 cos sin计算问题 ## 类型 - [x] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!4922 天前
【fix】update: 更新文件 modeling_deepseek.py Co-authored-by: zhaoliang_8678<zhaoliang92@h-partners.com> # message auto-generated for no-merge-commit merge: !497 merge master into master 【fix】update: 更新文件 modeling_deepseek.py Created-by: zhaoliang_8678 Commit-by: zhaoliang_8678 Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 重构后,acl_graph+mtp场景,执行失败,问题修复,已验证通过 ## 类型 - [x] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [ ] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [ ] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 https://dts-szv.clouddragon.huawei.com/DTSPortal/ticket/DTS2026052748248 See merge request: cann/cann-recipes-infer!4977 天前
[docs]:更新和修复各模型readme中的版本使用信息 Co-authored-by: DreanPan<pandongsheng@huawei.com> # message auto-generated for no-merge-commit merge: !467 merge master into master [docs]:更新和修复各模型readme中的版本使用信息 Created-by: DreanPan Commit-by: DreanPan Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 更新和修复各模型readme中的版本使用信息 ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!46713 天前
update: 更新文件 runner_glm.py Co-authored-by: baozinn<1104922110@qq.com> # message auto-generated for no-merge-commit merge: !491 merge master into master update: 更新文件 runner_glm.py Created-by: baozinn Commit-by: baozinn Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 runner_glm.py冗余代码删除 ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [x] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 冗余代码删除 See merge request: cann/cann-recipes-infer!4916 天前
[docs]:更新和修复各模型readme中的版本使用信息 Co-authored-by: DreanPan<pandongsheng@huawei.com> # message auto-generated for no-merge-commit merge: !467 merge master into master [docs]:更新和修复各模型readme中的版本使用信息 Created-by: DreanPan Commit-by: DreanPan Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 更新和修复各模型readme中的版本使用信息 ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!46713 天前
[docs]:更新和修复各模型readme中的版本使用信息 Co-authored-by: DreanPan<pandongsheng@huawei.com> # message auto-generated for no-merge-commit merge: !467 merge master into master [docs]:更新和修复各模型readme中的版本使用信息 Created-by: DreanPan Commit-by: DreanPan Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 更新和修复各模型readme中的版本使用信息 ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!46713 天前
【docs】update: 更新文件 requirements.txt:模型readme提及torch版本与requirements.txt版本不一致问题排查统一;longcat_flash_lite中reamdme中文件超链接路径修改 Co-authored-by: zhaoliang_8678<zhaoliang92@h-partners.com> # message auto-generated for no-merge-commit merge: !507 merge master into master 【docs】update: 更新文件 requirements.txt:模型readme提及torch版本与requirements.txt版本不一致问题排查统一;longcat_flash_lite中reamdme中文件超链接路径修改 Created-by: zhaoliang_8678 Commit-by: zhaoliang_8678 Merged-by: cann-robot Description: ## 描述 模型readme提及torch版本与requirements.txt版本不一致问题排查统一;longcat_flash_lite中reamdme中文件超链接路径修改 ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [ ] 我的代码遵循这个项目的代码风格 - [ ] 我已经自己测试过我的代码 - [ ] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!5072 天前
【docs】update: 更新文件 requirements.txt:模型readme提及torch版本与requirements.txt版本不一致问题排查统一;longcat_flash_lite中reamdme中文件超链接路径修改 Co-authored-by: zhaoliang_8678<zhaoliang92@h-partners.com> # message auto-generated for no-merge-commit merge: !507 merge master into master 【docs】update: 更新文件 requirements.txt:模型readme提及torch版本与requirements.txt版本不一致问题排查统一;longcat_flash_lite中reamdme中文件超链接路径修改 Created-by: zhaoliang_8678 Commit-by: zhaoliang_8678 Merged-by: cann-robot Description: ## 描述 模型readme提及torch版本与requirements.txt版本不一致问题排查统一;longcat_flash_lite中reamdme中文件超链接路径修改 ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [ ] 我的代码遵循这个项目的代码风格 - [ ] 我已经自己测试过我的代码 - [ ] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!5072 天前
[docs]:更新和修复各模型readme中的版本使用信息 Co-authored-by: DreanPan<pandongsheng@huawei.com> # message auto-generated for no-merge-commit merge: !467 merge master into master [docs]:更新和修复各模型readme中的版本使用信息 Created-by: DreanPan Commit-by: DreanPan Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 更新和修复各模型readme中的版本使用信息 ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!46713 天前
update: 更新文件 runner_deepseek.py Co-authored-by: VvCANN<740476232@qq.com> # message auto-generated for no-merge-commit merge: !503 merge master into master update: 更新文件 runner_deepseek.py Created-by: VvCANN Commit-by: VvCANN Merged-by: cann-robot Description: ## 描述 删除冗余导入 ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [x] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!5036 天前
[feat] LLaDA2.x系列模型sglang-ascend支持和性能优化 Co-authored-by: Yuan Yuan<soc.yuan@gmail.com> # message auto-generated for no-merge-commit merge: !284 merge llada2.x_support into master [feat] LLaDA2.x系列模型sglang-ascend支持和性能优化 Created-by: wenxuewuhd Commit-by: wenxuewuhd;Yuan Yuan Merged-by: cann-robot Description: # LLaDA2.x系列模型sglang-ascend支持和性能优化 ---- ## 描述 支持DLLM模型,主要包括 LLaDA2.0 and LLaDA2.1的支持和NPU的相关性能优化 Support DLLM model LLaDA2.0 and LLaDA2.1 and speedup with graph mode on NPU ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 详情请见readme ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!2843 个月前
【docs】update: 更新文件 README.md,几处readme修改 Co-authored-by: zhaoliang_8678<zhaoliang92@h-partners.com> # message auto-generated for no-merge-commit merge: !523 merge master into master 【docs】update: 更新文件 README.md,几处readme修改 Created-by: zhaoliang_8678 Commit-by: zhaoliang_8678 Merged-by: cann-robot Description: ## 描述 请提供此Pull Request的预期功能,以方便检视。 ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [ ] 我的代码遵循这个项目的代码风格 - [ ] 我已经自己测试过我的代码 - [ ] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!5231 天前
【docs】update: 更新文件 README.md,几处readme修改 Co-authored-by: zhaoliang_8678<zhaoliang92@h-partners.com> # message auto-generated for no-merge-commit merge: !523 merge master into master 【docs】update: 更新文件 README.md,几处readme修改 Created-by: zhaoliang_8678 Commit-by: zhaoliang_8678 Merged-by: cann-robot Description: ## 描述 请提供此Pull Request的预期功能,以方便检视。 ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [ ] 我的代码遵循这个项目的代码风格 - [ ] 我已经自己测试过我的代码 - [ ] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!5231 天前
【docs】update: 更新文件 requirements.txt:模型readme提及torch版本与requirements.txt版本不一致问题排查统一;longcat_flash_lite中reamdme中文件超链接路径修改 Co-authored-by: zhaoliang_8678<zhaoliang92@h-partners.com> # message auto-generated for no-merge-commit merge: !507 merge master into master 【docs】update: 更新文件 requirements.txt:模型readme提及torch版本与requirements.txt版本不一致问题排查统一;longcat_flash_lite中reamdme中文件超链接路径修改 Created-by: zhaoliang_8678 Commit-by: zhaoliang_8678 Merged-by: cann-robot Description: ## 描述 模型readme提及torch版本与requirements.txt版本不一致问题排查统一;longcat_flash_lite中reamdme中文件超链接路径修改 ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [ ] 我的代码遵循这个项目的代码风格 - [ ] 我已经自己测试过我的代码 - [ ] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!5072 天前
[feat] Qwen3-8B W8A8 INT8 量化接入,启动入口统一 优化 Co-authored-by: xieyajun<xieyajun1@huawei.com> # message auto-generated for no-merge-commit merge: !453 merge feature/qwen3-8b-w8a8 into master [feat] Qwen3-8B W8A8 INT8 量化接入,启动入口统一 优化 Created-by: xieyajun Commit-by: xieyajun Merged-by: cann-robot Description: ## 描述 Qwen3-8B(Dense)补齐 W8A8 INT8 量化适配 + 统一启动入口 + 文档对齐。 **量化接入**:modeling_qwen.py 4 个 Linear(merged_qkv_proj / o_proj / gate_up_proj / down_proj)接 quant_config;QwenMLP 量化模式走 _forward_w8a8int8 fused dispatch(gate_up_proj → int32 → npu_dequant_swiglu_quant → down_proj → int8)。process_weights_after_loading 升级 W8A8 scale dtype 分流。新增 qwen3_8b_w8a8_{1tp,2tp}.yaml,dense 配置 moe_tp_size=1。 **启动与依赖**:删私有 infer.sh,统一走 bash executor/scripts/infer.sh --model qwen --yaml <yaml>;requirements.txt 升级 transformers 4.55.0 → 5.0.0。 **文档对齐**:顶层 README.md 一站式平台表新增 Qwen3-8B 行;models/qwen/README.md 综合重写(环境 / 权重 / 推理 / Benchmark / 一站式平台指南);qwen_dense_optimization.md 追加 W8A8 量化策略章节。 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [x] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 按 models/qwen/README.md 准备权重后,执行: **BF16 单卡 / 2 卡 TP** bash executor/scripts/infer.sh --model qwen --yaml qwen3_8b_1tp.yaml bash executor/scripts/infer.sh --model qwen --yaml qwen3_8b_2tp.yaml **W8A8 单卡 / 2 卡 TP** bash executor/scripts/infer.sh --model qwen --yaml qwen3_8b_w8a8_1tp.yaml bash executor/scripts/infer.sh --model qwen --yaml qwen3_8b_w8a8_2tp.yaml ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 无。 See merge request: cann/cann-recipes-infer!4532 天前
[docs] update sglang docker images Co-authored-by: zqh923<zhouqinghong1@hisilicon.com> # message auto-generated for no-merge-commit merge: !308 merge 0312_docker into master [docs] update sglang docker images Created-by: zqh923 Commit-by: zqh923 Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 更新qwen3 sglang的镜像 ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!3082 个月前
Support Context Parallel execution of GatedDeltaNet attention in Qwen3-Next Co-authored-by: egupova-evgeniya<egupova.evgeniya@huawei.com> # message auto-generated for no-merge-commit merge: !359 merge gdn_support_cp into master Support Context Parallel execution of GatedDeltaNet attention in Qwen3-Next Created-by: egupova-evgeniya Commit-by: egupova-evgeniya Merged-by: cann-robot Description: # Support Context Parallel execution of GatedDeltaNet attention in Qwen3-Next ---- ## 描述 Current solution of Context Parallelism for Qwen3-Next in SGLang reverts to full Tensor Parallelism in GatedDeltaNet layer. New solution aims to accelerate chunked GDN execution by enabling Context Parallelism. Description: [#159](https://gitcode.com/cann/cann-recipes-infer/issues/159) ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 Add the following environment variable to set_env.sh to enable hybrid parallelism of CP and TP in GatedDeltaNet attention: export ENABLE_CONTEXT_PARALLEL_GDN=1. This optimization is geared towards long-sequence single-batch scenarios. ### Expected performance goals Performance results on Atlas A3 (910C): - Operator benchmarks *fla.chunk_gated_delta_rule_npu:* | Seqlen | Num Heads | TP16 | TP2+CP8 | Acceleration | |--|--|--|--|--| | 65536 | 32 | 0.01625 | 0.00792 | 2.05x | | 131072 | 32 |0.02996 | 0.01204 | 2.48x | ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## Remarks - Only supports long-sequence single-batch scenario. To enable multiple-batch scenario, context splitting should be re-designed so each device contains an equal part of a request in a batch. Current solution splits the context without taking batch into account. ![CP_batch.png](https://raw.gitcode.com/user-images/assets/7640418/5ed9323c-20d1-4dc0-b48d-f2a010a889ea/CP_batch.png 'CP_batch.png') - Doesn't support chunked prefill. To ensure cache communication correctness between Prefill and Decode nodes, current implementation of AscendAttnBackend swaps cache after the first prefill call. AscendGDNAttnBackend is forced to use the same cache swaping technique, which brings unnecessary communication overhead. Ideally correctness of cache communication should be ensured by PD disaggregation backend. See merge request: cann/cann-recipes-infer!3596 天前
[docs/refactor]: update qwen3_5 README and remove unused arguments Co-authored-by: rous_zhang<zhangxinfang5@hisilicon.com> # message auto-generated for no-merge-commit merge: !495 merge chy_new into master [docs/refactor]: update qwen3_5 README and remove unused arguments Created-by: qushiyi Commit-by: rous_zhang Merged-by: cann-robot Description: # update qwen3_5 README and remove unused arguments ---- ## 描述 更新qwen3_5 readme 并删除冗余参数 ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [x] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!4952 天前
[fix]update: 重构后,编译缓存位置及目录调整;qwen_moe配置参数纠正 Co-authored-by: zhaoliang_8678<zhaoliang92@h-partners.com> # message auto-generated for no-merge-commit merge: !488 merge master into master [fix]update: 重构后,编译缓存位置及目录调整;qwen_moe配置参数纠正 Created-by: zhaoliang_8678 Commit-by: zhaoliang_8678 Merged-by: cann-robot Description: # Pull Request 模板 ---- ## 描述 重构后,编译缓存位置及目录调整;qwen_moe配置参数纠正 ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [x] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [ ] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [ ] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [ ] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 修改前: ![image.png](https://raw.gitcode.com/user-images/assets/7640418/2ac70bac-715f-453b-aa4a-19e770f0800c/image.png 'image.png') 修改后: ![image.png](https://raw.gitcode.com/user-images/assets/7640418/4992eb6a-d045-4c5c-906e-50e5342d2965/image.png 'image.png') See merge request: cann/cann-recipes-infer!4887 天前
[feat] Supports one-click startup of the hunyuan-video and wan22-i2v networks on the CANN Lab Co-authored-by: weixin_45381022<wangzhengping4@huawei.com> # message auto-generated for no-merge-commit merge: !500 merge master into master [feat] Supports one-click startup of the hunyuan-video and wan22-i2v networks on the CANN Lab Created-by: weixin_45381022 Commit-by: weixin_45381022 Merged-by: cann-robot Description: # Pull Request ---- ## 描述 1.新增一站式平台多模样例HunyuanVideo单卡推理; 1.新增一站式平台多模样例Wan2.2_I2V单卡推理; 3.修改CANNLab一站式开发平台表述。 ## 类型 - [ ] Bug 修复 - [x] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 按照readme中的指南操作即可。 ## Checklist: - [x] 我的代码遵循这个项目的代码风格 - [x] 我已经自己测试过我的代码 - [x] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!5006 天前
【docs】update: 更新文件 requirements.txt:模型readme提及torch版本与requirements.txt版本不一致问题排查统一;longcat_flash_lite中reamdme中文件超链接路径修改 Co-authored-by: zhaoliang_8678<zhaoliang92@h-partners.com> # message auto-generated for no-merge-commit merge: !507 merge master into master 【docs】update: 更新文件 requirements.txt:模型readme提及torch版本与requirements.txt版本不一致问题排查统一;longcat_flash_lite中reamdme中文件超链接路径修改 Created-by: zhaoliang_8678 Commit-by: zhaoliang_8678 Merged-by: cann-robot Description: ## 描述 模型readme提及torch版本与requirements.txt版本不一致问题排查统一;longcat_flash_lite中reamdme中文件超链接路径修改 ## 类型 - [ ] Bug 修复 - [ ] 新功能 - [ ] 重构(即不是新增功能,也不是修改bug的代码变动) - [ ] 构建过程或辅助工具的变动 - [x] 文档内容更新 ## 如何测试 描述测试这个变更的步骤,包括哪些文件需要被修改。 ## Checklist: - [ ] 我的代码遵循这个项目的代码风格 - [ ] 我已经自己测试过我的代码 - [ ] 我已经更新了相应的文档 - [x] 我已经在标题中正确使用了类型标签(例如:feat, fix, refactor, docs, test) ## 其他信息 在这里可以添加任何与这个 Pull Request 相关的其他说明。 See merge request: cann/cann-recipes-infer!5072 天前