master

ascend-robot修正循环依赖

26fde602创建于 3月25日历史提交

文件	最后提交记录	最后更新时间
CMakeLists.txt	修正循环依赖 Co-authored-by: lbr711<liuboru1@huawei.com> Co-authored-by: yangjinyang<yangjinyang5@huawei.com> # message auto-generated for no-merge-commit merge: !602 merge pr_03 into dev 修正循环依赖 Created-by: yangjinyang Commit-by: lbr711;yangjinyang Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 故障码上报功能位于server中，llm_engine中为了上报故障码直接将server的healthChecker.cpp加入编译llm_engine.so时源文件链接范畴，导致所有直接/间接依赖llm_engine.so的模块，都必须显示链接mindieservice_endpoint，否则找不到符号无法通过编译。 Fix part of #312 # 修改内容 原本内嵌于HealthChecker类中的错误队列功能抽取为独立的单例类ErrorQueue，实现了错误处理逻辑的集中化与解耦，提升了代码的模块化、可维护性，并为其他模块复用该功能奠定了基础 # 资料变更 不涉及 # 接口变更 不涉及 # 测试结果    # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [ ] 代码注释完备 - [ ] 正确记录错误日志 - [ ] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [ ] 进行了空指针校验 - [ ] 若存在资源申请，使用后资源被正确的释放了 - [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [ ] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [ ] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!602	2 个月前
buffered_responser_test.cpp	[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com>	5 个月前
construct_execute_request_test.cpp	[BUGFIX] MindIE 解决 pc+sp 叠加的精度问题 Co-authored-by: OuYangmolin<zhoufangquan@huawei.com> # message auto-generated for no-merge-commit merge: !433 merge dev into dev [BUGFIX] MindIE 解决 pc+sp 叠加的精度问题 Created-by: zhoufangquan Commit-by: OuYangmolin Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意：Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fix part of #130 # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 删除无用变量 computed block order，由worker层直接生成。 修复 computed block num 和 slots 的构造 bug，解决cpsp+pc的精度问题 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 # 测试结果 CPSP + PC 相同条件下执行： ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_base --dump-eval-details --debug ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_base --dump-eval-details --debug ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_base --dump-eval-details --debug ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_miss_func --dump-eval-details --debug ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_base --dump-eval-details --debug ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_miss_func --dump-eval-details --debug ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_base --dump-eval-details --debug ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_miss_func --dump-eval-details --debug ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_base --dump-eval-details --debug ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_miss_func --dump-eval-details --debug BFCL_gen_multi_turn_base : 至少 0.37 BFCL_gen_multi_turn_miss_func： 至少 0.29 修改之前，得分依次是： 0.32 0.36 0.35 0.14(miss func) 0.35 0.13(miss func) 0.34 0.11(miss func) 0.34 0.12(miss func) 修改之后，得分依次是： 0.48 0.42 0.45 0.36(miss func) 0.44 0.33(miss func) 0.46 0.36(miss func) 0.43 0.35(miss func) SP + PC 相同条件下执行： ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_base --dump-eval-details --debug ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_base --dump-eval-details --debug ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_base --dump-eval-details --debug ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_miss_func --dump-eval-details --debug ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_base --dump-eval-details --debug ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_miss_func --dump-eval-details --debug ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_base --dump-eval-details --debug ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_miss_func --dump-eval-details --debug ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_base --dump-eval-details --debug ais_bench --models vllm_api_function_call_chat --datasets BFCL_gen_multi_turn_miss_func --dump-eval-details --debug BFCL_gen_multi_turn_base : 至少 0.37 BFCL_gen_multi_turn_miss_func： 至少 0.29 修改之前，报错 修改之后，得分依次是： 0.41 0.45 0.45 0.31(miss func) 0.42 0.31(miss func) 0.45 0.35(miss func) 0.46 0.33(miss func) # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!433	2 个月前
layerwise_mixin_test.cpp	边云协同支持spcp Co-authored-by: aolin123<zhangaolin5@huawei.com> Co-authored-by: Kisella<yezhujun1@h-partners.com> # message auto-generated for no-merge-commit merge: !398 merge dev into dev 边云协同支持spcp Created-by: aolin123 Commit-by: aolin123;Kisella Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意：Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fix part of [#150](https://gitcode.com/Ascend/MindIE-LLM/issues/150) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 边云协同ds双机场景新增支持cpsp功能。在开启spcp后，block管理的最小单位为sp_rank，每个npu上使用的block不再相同。边云场景下边侧和云侧npu卡数不同，block使用情况不同，sp数不同，无法使用原方案统一在边侧管理。因此在边侧新增cloudblockmanager，在边侧对边云block分别管理，边侧流程不变，云侧读取cloudblockmanager分配的block。 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 不涉及 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 不涉及 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 已验证QWEN3、DS、QWEN2.5模型的短序列、长序列，以上在集中式、分布式推理场景均通过。 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!398	3 个月前
model_exec_output_handler_test.cpp	[Feature] enable multi block tables & kv cache descs Co-authored-by: coding-lz<liuzhe62@huawei.com> # message auto-generated for no-merge-commit merge: !500 merge dev_0306 into dev [Feature] enable multi block tables & kv cache descs Created-by: coding-lz Commit-by: coding-lz Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 注意：Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fix part of [#234](https://gitcode.com/Ascend/MindIE-LLM/issues/234) # 修改内容 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）。 # 资料变更 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”。 # 接口变更 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”。 # 测试结果 > 请说明测试场景，测试方法以及测试结果。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!500	2 个月前
seq_group_builder_test.cpp	[新需求] 虚推健康方案-虚推健康方案llm侧 Co-authored-by: Huangzjun<zijunhua@usc.edu> # message auto-generated for no-merge-commit merge: !312 merge br_dev_sim_0127 into dev [新需求] 虚推健康方案-虚推健康方案llm侧 Created-by: Huangzjun Commit-by: Zijun Huang;Huangzjun Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251225 --> # 合入背景 当前技术状况：在PD分离场景下，如果子进程挂死，未发出退出信号，服务仍对外保持健康状态，其他卡触发HCCL/LCCL通信超时引发重启。 因此，PD分离需要一种通用的静默故障检测方案 Fix part of [#170](https://gitcode.com/Ascend/MindIE-LLM/issues/170) （有依赖pr所以重新提交pr，检视意见修改可见原pr https://gitcode.com/Ascend/MindIE-LLM/pull/154） # 修改内容 1. LLM manager：虚推有特定固定seqid和requestid，完成seqid和req id的映射 2. Scheduler: pd分离场景跳过kvtransfer，虚推p节点正常prefill走完整流程，d节点直接进入running队列进行推理，并且虚推请求使用固定的blocktable且不写入slot 3. TextGenerator: 固定给虚推分发context = 0，和dummybatch复用，context = 0时跳过更新和清除 时序图：  # 资料变更 不涉及 # 接口变更 不涉及 # 测试结果 cpsp,mtp,prefix cache,异步调度  # CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]。 - [x] 代码注释完备 - [x] 正确记录错误日志 - [x] 进行了返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值；考虑接口的异常场景；调用底层组件接口时，需要进行返回值校验) - [x] 进行了空指针校验 - [x] 若存在资源申请，使用后资源被正确的释放了 - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - [x] 按照[代码仓中提供的格式模板](https://gitcode.com/Ascend/MindIE-LLM/blob/master/.clang-format)，使用clang-format工具格式化代码 - [x] 符合Ascend社区的编码规范。[C++ 语言编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-coding-style-guide.md) | [C++ 语言安全编程指导](https://gitcode.com/Ascend/community/blob/master/docs/contributor/Ascend-cpp-secure-coding-guide.md) See merge request: Ascend/MindIE-LLM!312	3 个月前
test_dummy_quota_manager.cpp	[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com>	5 个月前
transfer_output_handler_test.cpp	[dev]Synchronize code Co-authored-by: forcekeng<gengli8@huawei.com>	5 个月前