| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
[RFC]: 刷新代码格式——mindie_llm Co-authored-by: KaiMa<KaiMa_SDU@outlook.com> # message auto-generated for no-merge-commit merge: !905 merge pre_commit_llm into dev [RFC]: 刷新代码格式——mindie_llm Created-by: KaiMa Commit-by: KaiMa Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes #[443](https://gitcode.com/Ascend/MindIE-LLM/issues/443) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!905 | 3 个月前 | |
Add __init__.py Co-authored-by: forcekeng<gengli8@huawei.com> # message auto-generated for no-merge-commit merge: !277 merge dev into dev 【CI】补充__init__.py 文件 Created-by: forcekeng Commit-by: forcekeng Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 改用whl格式打包，要求Python文件夹下有 __init__.py 文件，否则不会识别为Python模块。 > 注意：Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. # 修改内容 > 在Python目录下增加 __init__.py 空文件：mindie_llm/runtime/lora/__init__.py, mindie_llm/runtime/model_runner/__init__.py # 资料变更 > 不涉及 # 接口变更 > 不涉及 # 测试结果 > 不涉及功能变更 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!277 | 6 个月前 | |
[fix] 修复多模型 CodeQL 告警 Co-authored-by: muziyuhui666<lijianfu9@huawei.com> # message auto-generated for no-merge-commit merge: !896 merge codeql-audit-fix into dev [fix] 修复多模型 CodeQL 告警 Created-by: muziyuhui666 Commit-by: muziyuhui666 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 针对 CodeQL 扫描结果中的 Python 告警进行集中修复，消除潜在运行时风险并提升代码可维护性。 本次修改覆盖 InternLM2、MiniCPM-Qwen2-V2、InternVL、Qwen2.5-VL、InternLM-XComposer2 及多模态示例相关代码。 本 PR 属于 CodeQL 治理类修复，不涉及需求功能新增。 # 修改内容 1. 修复 WeightWrapper 接口调用参数不匹配问题（InternLM2）。 - 将 register_embedding/register_layer/register_model_norm/register_model_lmhead 调整为与当前接口签名一致的调用方式。 2. 修复 super() 调用不规范问题（MiniCPM-Qwen2-V2）。 - 将 super(MultiModalLLm, self).__init__(...) 调整为 super().__init__(...)，避免跳过中间父类初始化逻辑风险。 3. 修复局部变量可能未初始化即使用问题。 - internlm_xcomposer2.py：初始化 max_iters，避免 profiling 分支下潜在未定义使用。 - modeling_qwen2_5_vl_vit_atb.py：pad_tensor 增加非 1D/2D 输入保护分支并抛出异常。 - modeling_intern_vit.py：提前初始化 batch_size/padding_size，避免后续聚合分支引用未定义变量。 4. 清理冗余自赋值语句。 - 删除/替换 image_features = image_features、e2e_throughput = e2e_throughput 等无效代码，消除 CodeQL redundant-assignment 告警。 # 资料变更 不涉及。 # 接口变更 不涉及。 # 测试结果 测试场景：本地静态与语法校验（本次修改涉及 Python 逻辑修复，无新增功能接口）。 测试方法： 1. 对修改文件执行 python -m py_compile 语法检查； 2. 对修改文件执行 IDE lints 检查。 测试结果： - 语法检查通过； - lints 无新增错误。 # CheckList - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) Fix [#519](https://gitcode.com/Ascend/MindIE-LLM/issues/519) See merge request: Ascend/MindIE-LLM!896 | 3 个月前 | |
code check代码检查 Co-authored-by: KaiMa<KaiMa_SDU@outlook.com> # message auto-generated for no-merge-commit merge: !839 merge codecheck into dev code check代码检查 Created-by: KaiMa Commit-by: KaiMa Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes #[432](https://gitcode.com/Ascend/MindIE-LLM/issues/432) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 发请求返回  # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!839 | 3 个月前 | |
[RFC]: 刷新代码格式——mindie_llm Co-authored-by: KaiMa<KaiMa_SDU@outlook.com> # message auto-generated for no-merge-commit merge: !905 merge pre_commit_llm into dev [RFC]: 刷新代码格式——mindie_llm Created-by: KaiMa Commit-by: KaiMa Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes #[443](https://gitcode.com/Ascend/MindIE-LLM/issues/443) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!905 | 3 个月前 | |
修复dp负载不均时计算kv_len和q_len的问题 Co-authored-by: earthmanylf<yulinfeng2@huawei.com> # message auto-generated for no-merge-commit merge: !879 merge spec into dev 修复dp负载不均时计算kv_len和q_len的问题 Created-by: earthmanylf Commit-by: earthmanylf Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fix part of [#103](https://gitcode.com/Ascend/MindIE-LLM/issues/103) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 修复dp负载不均时计算kv_len和q_len的问题 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 不涉及 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 不涉及 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 curl通： curl http://141.61.81.21:3025/v1/chat/completions -X POST -d'{"model": "ds","messages": [{"role": "user","content": "You are a helpful assistant."}],"stream": true,"temperature": 0,"max_tokens": 10}' data: {"id":"endpoint_common_0","object":"chat.completion.chunk","created":1776348349,"model":"ds","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}]} data: {"id":"endpoint_common_0","object":"chat.completion.chunk","created":1776348349,"model":"ds","choices":[{"index":0,"delta":{"role":"assistant","content":"Hello"},"logprobs":null,"finish_reason":null}]} data: {"id":"endpoint_common_0","object":"chat.completion.chunk","created":1776348349,"model":"ds","choices":[{"index":0,"delta":{"role":"assistant","content":"! I'm"},"logprobs":null,"finish_reason":null}]} data: {"id":"endpoint_common_0","object":"chat.completion.chunk","created":1776348349,"model":"ds","choices":[{"index":0,"delta":{"role":"assistant","content":" here to help"},"logprobs":null,"finish_reason":null}]} data: {"id":"endpoint_common_0","object":"chat.completion.chunk","created":1776348349,"model":"ds","choices":[{"index":0,"delta":{"role":"assistant","content":" you"},"logprobs":null,"finish_reason":null}]} data: {"id":"endpoint_common_0","object":"chat.completion.chunk","created":1776348349,"model":"ds","choices":[{"index":0,"delta":{"role":"assistant","content":"."},"logprobs":null,"finish_reason":null}]} data: {"id":"endpoint_common_0","object":"chat.completion.chunk","created":1776348349,"model":"ds","usage":{"prompt_tokens":10,"prompt_tokens_details":{"cached_tokens":0},"completion_tokens":10,"completion_tokens_details":{"reasoning_tokens":0},"total_tokens":20},"choices":[{"index":0,"delta":{"role":"assistant","content":" Whether"},"logprobs":null,"finish_reason":"length"}]} # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!879 | 3 个月前 | |
[feat] add pre-validation for DSV3.2 incompatible feature combinations Co-authored-by: xuchi<xuchicolson@163.com> # message auto-generated for no-merge-commit merge: !1041 merge A00272 into dev [feat] add pre-validation for DSV3.2 incompatible feature combinations Created-by: martinXuc Commit-by: xuchi Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 DeepSeek-V3.2 部署文档（ deepseek_v3.2.md 表4）定义了特性叠加矩阵，明确标注了多个不兼容的特性组合。但当前模型拉起时没有任何前置校验，用户配置了不兼容组合后只能在运行时暴露错误（如 npu_kv_rmsnorm_rope_cache 算子报 Index's shape size must equal with B*S），排障成本高。 Fixes #626 # 修改内容 在 ModelRunnerExp.__init__() 中模型路由完成之后、load_weights() 之前，针对 DeepSeek-V3.2 模型新增 _validate_deepseekv32_feature_combinations() 静态方法，对以下 5 个不兼容组合进行前置校验： 1. CP + DP —— 两者同时 > 1 时不兼容，抛出 CP(cp=N) + DP(dp=N) 2. CP + 异步调度 —— 抛出 CP(cp=N) + Async Scheduling 3. CP + Chunked Prefill（splitfuse）—— 抛出 CP(cp=N) + Chunked Prefill(splitfuse) 4. CP + Prefix Cache —— 抛出 CP(cp=N) + Prefix Cache 5. MTP + Chunked Prefill（PD-mixed 混部模式）—— 抛出 MTP + Chunked Prefill(PD-mixed) 模型识别方式：通过 router_ins._model_type == "deepseek_v32" 精确识别，该字段来自 HuggingFace config.json 的 model_type，不依赖用户自定义的 modelName。 校验前置性：校验在 load_weights() 之前执行，仅读取配置参数（cp/dp/plugin_params/ENV），不依赖 NPU 设备、不加载权重，拉起即报错。错误信息通过 logger.error 和 raise ValueError 双重输出。 涉及文件： | 文件 | 改动 | |------|------| | mindie_llm/runtime/model_runner/model_runner_exp.py | +47 行。新增 json 导入、路由后校验调用、_validate_deepseekv32_feature_combinations 方法 | | mindie_llm/modeling/model_wrapper/aclgraph/aclgraph_model_wrapper_exp.py | +1 行。ModelRunnerExp 构造时透传 plugin_params 参数 | # 资料变更 不涉及。 # 接口变更 不涉及。aclgraph_model_wrapper_exp.py 仅新增 plugin_params 参数透传（从 kwargs 取值传入 ModelRunnerExp，两端均为 **kwargs 承接），不修改任何现有接口签名。 # 测试结果 ## 测试用例 1：DP + CP ### 测试方法 开启 DP2 CP8 A3 单机，修改模型层数为 10 层，加速拉起且防止 OOM。 ### 关键打屏 shell [2026-05-30 16:44:31,854] [65794] [281461909156256] [llm] [ERROR] [model_runner_exp.py-285] : [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + DP(dp=2). Please check the feature compatibility matrix in the deployment guide. Traceback (most recent call last): File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/utils/status.py", line 23, in run super().run() ...... File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/spec_worker.py", line 697, in factory return original_class(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 176, in __init__ self._validate_deepseekv32_feature_combinations(**kwargs) File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 286, in _validate_deepseekv32_feature_combinations raise ValueError(msg) ValueError: [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + DP(dp=2). Please check the feature compatibility matrix in the deployment guide. ## 测试用例 2：CP + 异步 ### 测试方法 A3 单机，层数改为 10，开启 cp8 tp2，开启异步 ### 关键打屏 shell [2026-05-30 17:04:40,369] [174234] [281461665624480] [llm] [ERROR] [status.py-34] : Core thread encountered an exception: tid=281461665624480, tname=inference, exception_type=ValueError, exception_message=[DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + Async Scheduling. Please check the feature compatibility matrix in the deployment guide. Traceback (most recent call last): File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/utils/status.py", line 23, in run super().run() ... File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 176, in __init__ self._validate_deepseekv32_feature_combinations(**kwargs) File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 286, in _validate_deepseekv32_feature_combinations raise ValueError(msg) ValueError: [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + Async Scheduling. Please check the feature compatibility matrix in the deployment guide. ## 测试用例 3：CP + chunkedprefill + MTP（混部）（进一步测试多个不兼容配置叠加打屏行为） ### 测试方式 A3 单机，10 层，配置设置 cp 8 tp 2，plugin_params 开启 splitfuse json "plugin_params": "{\"plugin_type\":\"mtp, splitfuse\",\"num_speculative_tokens\": 3}" ### 关键打屏 shell [2026-05-30 17:08:53,659] [179957] [281461377462688] [llm] [ERROR] [model_runner_exp.py-285] : [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + Chunked Prefill(splitfuse); MTP + Chunked Prefill(PD-mixed). Please check the feature compatibility matrix in the deployment guide. Traceback (most recent call last): File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/utils/status.py", line 23, in run super().run() ...... File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 176, in __init__ self._validate_deepseekv32_feature_combinations(**kwargs) File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 286, in _validate_deepseekv32_feature_combinations raise ValueError(msg) ValueError: [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + Chunked Prefill(splitfuse); MTP + Chunked Prefill(PD-mixed). Please check the feature compatibility matrix in the deployment guide. ## 测试用例 4：CP + PrefixCache ### 测试方式 A3 单机，模型层数改为 10，开启 mtp prefix_cache json "plugin_params": "{\"plugin_type\":\"mtp, prefix_cache\",\"num_speculative_tokens\": 3}" ### 关键打屏 shell [2026-05-30 17:11:21,228] [185590] [281461541695904] [llm] [ERROR] [model_runner_exp.py-285] : [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + Prefix Cache. Please check the feature compatibility matrix in the deployment guide. Traceback (most recent call last): File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/utils/status.py", line 23, in run super().run() ...... File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 176, in __init__ self._validate_deepseekv32_feature_combinations(**kwargs) File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 286, in _validate_deepseekv32_feature_combinations raise ValueError(msg) ValueError: [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + Prefix Cache. Please check the feature compatibility matrix in the deployment guide. # CheckList - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1041 | 2 个月前 | |
修复dp负载不均时计算kv_len和q_len的问题 Co-authored-by: earthmanylf<yulinfeng2@huawei.com> # message auto-generated for no-merge-commit merge: !879 merge spec into dev 修复dp负载不均时计算kv_len和q_len的问题 Created-by: earthmanylf Commit-by: earthmanylf Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fix part of [#103](https://gitcode.com/Ascend/MindIE-LLM/issues/103) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 修复dp负载不均时计算kv_len和q_len的问题 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 不涉及 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 不涉及 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 curl通： curl http://141.61.81.21:3025/v1/chat/completions -X POST -d'{"model": "ds","messages": [{"role": "user","content": "You are a helpful assistant."}],"stream": true,"temperature": 0,"max_tokens": 10}' data: {"id":"endpoint_common_0","object":"chat.completion.chunk","created":1776348349,"model":"ds","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}]} data: {"id":"endpoint_common_0","object":"chat.completion.chunk","created":1776348349,"model":"ds","choices":[{"index":0,"delta":{"role":"assistant","content":"Hello"},"logprobs":null,"finish_reason":null}]} data: {"id":"endpoint_common_0","object":"chat.completion.chunk","created":1776348349,"model":"ds","choices":[{"index":0,"delta":{"role":"assistant","content":"! I'm"},"logprobs":null,"finish_reason":null}]} data: {"id":"endpoint_common_0","object":"chat.completion.chunk","created":1776348349,"model":"ds","choices":[{"index":0,"delta":{"role":"assistant","content":" here to help"},"logprobs":null,"finish_reason":null}]} data: {"id":"endpoint_common_0","object":"chat.completion.chunk","created":1776348349,"model":"ds","choices":[{"index":0,"delta":{"role":"assistant","content":" you"},"logprobs":null,"finish_reason":null}]} data: {"id":"endpoint_common_0","object":"chat.completion.chunk","created":1776348349,"model":"ds","choices":[{"index":0,"delta":{"role":"assistant","content":"."},"logprobs":null,"finish_reason":null}]} data: {"id":"endpoint_common_0","object":"chat.completion.chunk","created":1776348349,"model":"ds","usage":{"prompt_tokens":10,"prompt_tokens_details":{"cached_tokens":0},"completion_tokens":10,"completion_tokens_details":{"reasoning_tokens":0},"total_tokens":20},"choices":[{"index":0,"delta":{"role":"assistant","content":" Whether"},"logprobs":null,"finish_reason":"length"}]} # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!879 | 3 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 3 个月前 | ||
| 6 个月前 | ||
| 3 个月前 | ||
| 3 个月前 | ||
| 3 个月前 | ||
| 3 个月前 | ||
| 2 个月前 | ||
| 3 个月前 |