| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
layerwise_disaggregated边云协同重构切chunk策略，解决非标长度获取出来policy不相等的bug Co-authored-by: zxf_00617641<zhangxiaofeng44@huawei.com> # message auto-generated for no-merge-commit merge: !889 merge dev into dev layerwise_disaggregated边云协同重构切chunk策略，解决非标长度获取出来policy不相等的bug Created-by: zxf_boluochuishui Commit-by: zxf_00617641 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes [#518](https://gitcode.com/Ascend/MindIE-LLM/issues/518) 边云协同特性在长序列中，需要切分chunk，由于边和云切分时限制了其比例（如云的一段等于边的3段），并且限制了边和云的最小单位，边云切分chunk时的最小单位可以不一致，因而边云切分出来的chunk长度可能无法对应上，进而导致运行时概率报错。 # 修改内容 本次PR系列的核心目标是重构边云协同推理场景下的长序列预填充分块策略，以支持更精细和灵活的分块控制。主要解决了原有简单均分策略无法满足边侧与云侧分块长度需保持整数倍关系的复杂约束问题，确保了在分布式异构计算环境下的数据切分正确性。同时，通过引入统一的数据结构封装分块策略，重构了请求路由器、元数据管理模块及相关单元测试，解决了原有代码中逻辑分散、耦合度高、并发处理能力不足的问题，提升了系统的可维护性、调度效率和代码健壮性。 引入 RatioInfo 数据类统一管理分块比例和最小对齐单位，并重构了核心分块算法 split_long_seq_by_ratio，使其能综合考虑边云两侧的约束，确保云侧分块长度是边侧对应分块长度之和的整数倍。在架构层面，引入了 ChunkPolicyData 数据结构，在请求处理早期统一计算并封装边侧策略、云侧策略及其映射关系，替代了原有分散、重复的计算逻辑，简化了请求路由器（RequestRouterCloud 和 RequestRouterEdge）中的数据流。此外，将输入元数据管理从基于队列的方式重构为基于 request_key 的映射管理，支持并发请求的精准隔离。最后，全面重构并增强了相关单元测试，以适配新接口并验证复杂的长序列处理场景。 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 分布式边云协同 长/短 序列qwen、deepseek。 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!889 | 3 个月前 | |
[Feat] 结构化输出支持PD分离场景及重计算 Co-authored-by: earthmanylf<yulinfeng2@huawei.com> Co-authored-by: stanzzzzz<zonghaoxin@huawei.com> Co-authored-by: KaiMa<KaiMa_SDU@outlook.com> Co-authored-by: zhaokerui<zhaokerui@huawei.com> Co-authored-by: ella07<xiechangxiu3@h-partners.com> Co-authored-by: czy6<cuizhengyao@huawei.com> Co-authored-by: LinWei100<linwei100@huawei.com> Co-authored-by: dongyubin1<dongyubin1@h-partners.com> Co-authored-by: yangshuai047<yangshuai153@huawei.com> Co-authored-by: shiqiangA<shiqiang15@huawei.com> Co-authored-by: taojiovvo<jitao12@huawei.com> Co-authored-by: zhang980530<zhanghao680@h-partners.com> # message auto-generated for no-merge-commit merge: !603 merge cherry-pick-eeaa6db into dev [Feat] 结构化输出支持PD分离场景及重计算 Created-by: LinWei100 Commit-by: LinWei100;shiqiangA;ella07;zhaokerui;KaiMa;taojiovvo;stanzzzzz;yangshuai047;zhang980530;dongyubin1;czy6;earthmanylf Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes [#358](https://gitcode.com/Ascend/MindIE-LLM/issues/358) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 1. response_format改为context机制 2. seqid改为context handle 3. 支持pd分离、重计算场景 （replay机制） 4. mtp叠加结构化输出校验拦截 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。   # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!603 | 5 个月前 | |
[feat] add pre-validation for DSV3.2 incompatible feature combinations Co-authored-by: xuchi<xuchicolson@163.com> # message auto-generated for no-merge-commit merge: !1041 merge A00272 into dev [feat] add pre-validation for DSV3.2 incompatible feature combinations Created-by: martinXuc Commit-by: xuchi Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 DeepSeek-V3.2 部署文档（ deepseek_v3.2.md 表4）定义了特性叠加矩阵，明确标注了多个不兼容的特性组合。但当前模型拉起时没有任何前置校验，用户配置了不兼容组合后只能在运行时暴露错误（如 npu_kv_rmsnorm_rope_cache 算子报 Index's shape size must equal with B*S），排障成本高。 Fixes #626 # 修改内容 在 ModelRunnerExp.__init__() 中模型路由完成之后、load_weights() 之前，针对 DeepSeek-V3.2 模型新增 _validate_deepseekv32_feature_combinations() 静态方法，对以下 5 个不兼容组合进行前置校验： 1. CP + DP —— 两者同时 > 1 时不兼容，抛出 CP(cp=N) + DP(dp=N) 2. CP + 异步调度 —— 抛出 CP(cp=N) + Async Scheduling 3. CP + Chunked Prefill（splitfuse）—— 抛出 CP(cp=N) + Chunked Prefill(splitfuse) 4. CP + Prefix Cache —— 抛出 CP(cp=N) + Prefix Cache 5. MTP + Chunked Prefill（PD-mixed 混部模式）—— 抛出 MTP + Chunked Prefill(PD-mixed) 模型识别方式：通过 router_ins._model_type == "deepseek_v32" 精确识别，该字段来自 HuggingFace config.json 的 model_type，不依赖用户自定义的 modelName。 校验前置性：校验在 load_weights() 之前执行，仅读取配置参数（cp/dp/plugin_params/ENV），不依赖 NPU 设备、不加载权重，拉起即报错。错误信息通过 logger.error 和 raise ValueError 双重输出。 涉及文件： | 文件 | 改动 | |------|------| | mindie_llm/runtime/model_runner/model_runner_exp.py | +47 行。新增 json 导入、路由后校验调用、_validate_deepseekv32_feature_combinations 方法 | | mindie_llm/modeling/model_wrapper/aclgraph/aclgraph_model_wrapper_exp.py | +1 行。ModelRunnerExp 构造时透传 plugin_params 参数 | # 资料变更 不涉及。 # 接口变更 不涉及。aclgraph_model_wrapper_exp.py 仅新增 plugin_params 参数透传（从 kwargs 取值传入 ModelRunnerExp，两端均为 **kwargs 承接），不修改任何现有接口签名。 # 测试结果 ## 测试用例 1：DP + CP ### 测试方法 开启 DP2 CP8 A3 单机，修改模型层数为 10 层，加速拉起且防止 OOM。 ### 关键打屏 shell [2026-05-30 16:44:31,854] [65794] [281461909156256] [llm] [ERROR] [model_runner_exp.py-285] : [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + DP(dp=2). Please check the feature compatibility matrix in the deployment guide. Traceback (most recent call last): File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/utils/status.py", line 23, in run super().run() ...... File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/spec_worker.py", line 697, in factory return original_class(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 176, in __init__ self._validate_deepseekv32_feature_combinations(**kwargs) File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 286, in _validate_deepseekv32_feature_combinations raise ValueError(msg) ValueError: [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + DP(dp=2). Please check the feature compatibility matrix in the deployment guide. ## 测试用例 2：CP + 异步 ### 测试方法 A3 单机，层数改为 10，开启 cp8 tp2，开启异步 ### 关键打屏 shell [2026-05-30 17:04:40,369] [174234] [281461665624480] [llm] [ERROR] [status.py-34] : Core thread encountered an exception: tid=281461665624480, tname=inference, exception_type=ValueError, exception_message=[DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + Async Scheduling. Please check the feature compatibility matrix in the deployment guide. Traceback (most recent call last): File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/utils/status.py", line 23, in run super().run() ... File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 176, in __init__ self._validate_deepseekv32_feature_combinations(**kwargs) File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 286, in _validate_deepseekv32_feature_combinations raise ValueError(msg) ValueError: [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + Async Scheduling. Please check the feature compatibility matrix in the deployment guide. ## 测试用例 3：CP + chunkedprefill + MTP（混部）（进一步测试多个不兼容配置叠加打屏行为） ### 测试方式 A3 单机，10 层，配置设置 cp 8 tp 2，plugin_params 开启 splitfuse json "plugin_params": "{\"plugin_type\":\"mtp, splitfuse\",\"num_speculative_tokens\": 3}" ### 关键打屏 shell [2026-05-30 17:08:53,659] [179957] [281461377462688] [llm] [ERROR] [model_runner_exp.py-285] : [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + Chunked Prefill(splitfuse); MTP + Chunked Prefill(PD-mixed). Please check the feature compatibility matrix in the deployment guide. Traceback (most recent call last): File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/utils/status.py", line 23, in run super().run() ...... File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 176, in __init__ self._validate_deepseekv32_feature_combinations(**kwargs) File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 286, in _validate_deepseekv32_feature_combinations raise ValueError(msg) ValueError: [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + Chunked Prefill(splitfuse); MTP + Chunked Prefill(PD-mixed). Please check the feature compatibility matrix in the deployment guide. ## 测试用例 4：CP + PrefixCache ### 测试方式 A3 单机，模型层数改为 10，开启 mtp prefix_cache json "plugin_params": "{\"plugin_type\":\"mtp, prefix_cache\",\"num_speculative_tokens\": 3}" ### 关键打屏 shell [2026-05-30 17:11:21,228] [185590] [281461541695904] [llm] [ERROR] [model_runner_exp.py-285] : [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + Prefix Cache. Please check the feature compatibility matrix in the deployment guide. Traceback (most recent call last): File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/utils/status.py", line 23, in run super().run() ...... File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 176, in __init__ self._validate_deepseekv32_feature_combinations(**kwargs) File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 286, in _validate_deepseekv32_feature_combinations raise ValueError(msg) ValueError: [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + Prefix Cache. Please check the feature compatibility matrix in the deployment guide. # CheckList - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1041 | 3 个月前 | |
[feat] add pre-validation for DSV3.2 incompatible feature combinations Co-authored-by: xuchi<xuchicolson@163.com> # message auto-generated for no-merge-commit merge: !1041 merge A00272 into dev [feat] add pre-validation for DSV3.2 incompatible feature combinations Created-by: martinXuc Commit-by: xuchi Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 DeepSeek-V3.2 部署文档（ deepseek_v3.2.md 表4）定义了特性叠加矩阵，明确标注了多个不兼容的特性组合。但当前模型拉起时没有任何前置校验，用户配置了不兼容组合后只能在运行时暴露错误（如 npu_kv_rmsnorm_rope_cache 算子报 Index's shape size must equal with B*S），排障成本高。 Fixes #626 # 修改内容 在 ModelRunnerExp.__init__() 中模型路由完成之后、load_weights() 之前，针对 DeepSeek-V3.2 模型新增 _validate_deepseekv32_feature_combinations() 静态方法，对以下 5 个不兼容组合进行前置校验： 1. CP + DP —— 两者同时 > 1 时不兼容，抛出 CP(cp=N) + DP(dp=N) 2. CP + 异步调度 —— 抛出 CP(cp=N) + Async Scheduling 3. CP + Chunked Prefill（splitfuse）—— 抛出 CP(cp=N) + Chunked Prefill(splitfuse) 4. CP + Prefix Cache —— 抛出 CP(cp=N) + Prefix Cache 5. MTP + Chunked Prefill（PD-mixed 混部模式）—— 抛出 MTP + Chunked Prefill(PD-mixed) 模型识别方式：通过 router_ins._model_type == "deepseek_v32" 精确识别，该字段来自 HuggingFace config.json 的 model_type，不依赖用户自定义的 modelName。 校验前置性：校验在 load_weights() 之前执行，仅读取配置参数（cp/dp/plugin_params/ENV），不依赖 NPU 设备、不加载权重，拉起即报错。错误信息通过 logger.error 和 raise ValueError 双重输出。 涉及文件： | 文件 | 改动 | |------|------| | mindie_llm/runtime/model_runner/model_runner_exp.py | +47 行。新增 json 导入、路由后校验调用、_validate_deepseekv32_feature_combinations 方法 | | mindie_llm/modeling/model_wrapper/aclgraph/aclgraph_model_wrapper_exp.py | +1 行。ModelRunnerExp 构造时透传 plugin_params 参数 | # 资料变更 不涉及。 # 接口变更 不涉及。aclgraph_model_wrapper_exp.py 仅新增 plugin_params 参数透传（从 kwargs 取值传入 ModelRunnerExp，两端均为 **kwargs 承接），不修改任何现有接口签名。 # 测试结果 ## 测试用例 1：DP + CP ### 测试方法 开启 DP2 CP8 A3 单机，修改模型层数为 10 层，加速拉起且防止 OOM。 ### 关键打屏 shell [2026-05-30 16:44:31,854] [65794] [281461909156256] [llm] [ERROR] [model_runner_exp.py-285] : [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + DP(dp=2). Please check the feature compatibility matrix in the deployment guide. Traceback (most recent call last): File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/utils/status.py", line 23, in run super().run() ...... File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/spec_worker.py", line 697, in factory return original_class(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 176, in __init__ self._validate_deepseekv32_feature_combinations(**kwargs) File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 286, in _validate_deepseekv32_feature_combinations raise ValueError(msg) ValueError: [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + DP(dp=2). Please check the feature compatibility matrix in the deployment guide. ## 测试用例 2：CP + 异步 ### 测试方法 A3 单机，层数改为 10，开启 cp8 tp2，开启异步 ### 关键打屏 shell [2026-05-30 17:04:40,369] [174234] [281461665624480] [llm] [ERROR] [status.py-34] : Core thread encountered an exception: tid=281461665624480, tname=inference, exception_type=ValueError, exception_message=[DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + Async Scheduling. Please check the feature compatibility matrix in the deployment guide. Traceback (most recent call last): File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/utils/status.py", line 23, in run super().run() ... File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 176, in __init__ self._validate_deepseekv32_feature_combinations(**kwargs) File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 286, in _validate_deepseekv32_feature_combinations raise ValueError(msg) ValueError: [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + Async Scheduling. Please check the feature compatibility matrix in the deployment guide. ## 测试用例 3：CP + chunkedprefill + MTP（混部）（进一步测试多个不兼容配置叠加打屏行为） ### 测试方式 A3 单机，10 层，配置设置 cp 8 tp 2，plugin_params 开启 splitfuse json "plugin_params": "{\"plugin_type\":\"mtp, splitfuse\",\"num_speculative_tokens\": 3}" ### 关键打屏 shell [2026-05-30 17:08:53,659] [179957] [281461377462688] [llm] [ERROR] [model_runner_exp.py-285] : [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + Chunked Prefill(splitfuse); MTP + Chunked Prefill(PD-mixed). Please check the feature compatibility matrix in the deployment guide. Traceback (most recent call last): File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/utils/status.py", line 23, in run super().run() ...... File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 176, in __init__ self._validate_deepseekv32_feature_combinations(**kwargs) File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 286, in _validate_deepseekv32_feature_combinations raise ValueError(msg) ValueError: [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + Chunked Prefill(splitfuse); MTP + Chunked Prefill(PD-mixed). Please check the feature compatibility matrix in the deployment guide. ## 测试用例 4：CP + PrefixCache ### 测试方式 A3 单机，模型层数改为 10，开启 mtp prefix_cache json "plugin_params": "{\"plugin_type\":\"mtp, prefix_cache\",\"num_speculative_tokens\": 3}" ### 关键打屏 shell [2026-05-30 17:11:21,228] [185590] [281461541695904] [llm] [ERROR] [model_runner_exp.py-285] : [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + Prefix Cache. Please check the feature compatibility matrix in the deployment guide. Traceback (most recent call last): File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/utils/status.py", line 23, in run super().run() ...... File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 176, in __init__ self._validate_deepseekv32_feature_combinations(**kwargs) File "/mnt/share/xuchi/Tasks/A00272/MindIE-LLM/mindie_llm/runtime/model_runner/model_runner_exp.py", line 286, in _validate_deepseekv32_feature_combinations raise ValueError(msg) ValueError: [DeepSeek-V3.2] Incompatible feature combinations: CP(cp=8) + Prefix Cache. Please check the feature compatibility matrix in the deployment guide. # CheckList - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1041 | 3 个月前 | |
MIES_INSTALL_PATH替换 Co-authored-by: xqchen7<chenxueqing7@huawei.com> # message auto-generated for no-merge-commit merge: !313 merge dev_127 into dev MIES_INSTALL_PATH替换 Created-by: xqchen7 Commit-by: xqchen7 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > llm仓\ > MIES_INSTALL_PATH -> MINDIE_LLM_HOME_PATH。\ >'Fixes #155' # 修改内容 > LLM仓里的MIES_INSTALL_PATH全部替换为 MINDIE_LLM_HOME_PATH。\ # 资料变更 > docs/zh/user_guide/user_manual/environment_variable.md \ docs/zh/user_guide/user_manual/prefill_decode_mixed_deployment.md \ examples/atb_models/examples/models/telechat/README.md \ 里的MIES_INSTALL_PATH全部替换为 MINDIE_LLM_HOME_PATH。 # 接口变更 > “不涉及”。 # 测试结果 > pd混部  > pd分离 。 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!313 | 7 个月前 | |
[BugFix]: 解决快恢stop_device接口不抛出FORCE STOP Co-authored-by: jiangkaiqiang<jiangkaiqiang@huawei.com> # message auto-generated for no-merge-commit merge: !1082 merge dev_hbm into dev [BugFix]: 解决快恢stop_device接口不抛出FORCE STOP Created-by: jiangkaiqiang Commit-by: jiangkaiqiang Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes [#660](https://gitcode.com/Ascend/MindIE-LLM/issues/660) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 1. 增加synchronize使得forcestop能够抛出 2. 快恢时销毁ATTN_DP的cpu的通信域，使得请求不会卡在cpu通信算子 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 不涉及 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 不涉及 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。  # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1082 | 2 个月前 | |
OOM快恢适配aclgraph Co-authored-by: yangjinyang<yangjinyang5@huawei.com> # message auto-generated for no-merge-commit merge: !1038 merge pr_ into dev OOM快恢适配aclgraph Created-by: yangjinyang Commit-by: yangjinyang Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 Fix part of #527 # 修改内容 适配aclgraph的OOM故障码，添加了一种故障映射关系以及修改oom故障码的bug # 资料变更 不涉及 # 接口变更 不涉及 # 测试结果  # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!1038 | 3 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 3 个月前 | ||
| 5 个月前 | ||
| 3 个月前 | ||
| 3 个月前 | ||
| 7 个月前 | ||
| 2 个月前 | ||
| 3 个月前 |