| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
[fix]修复Controller 若干问题 Co-authored-by: 吕有辉<lvyouhui@huawei.com> # message auto-generated for no-merge-commit merge: !447 merge fix_controller_log into master [fix]修复Controller 若干问题 Created-by: codeDogPro Commit-by: 吕有辉 Merged-by: towncharlie Description: ## **1. 合入背景** https://gitcode.com/Ascend/MindIE-PyMotor/issues/245 https://gitcode.com/Ascend/MindIE-PyMotor/issues/246 https://gitcode.com/Ascend/MindIE-PyMotor/issues/256 ## **2. 修改内容** 1、修复Controller组件日志打印逻辑 2、修复configmap解析json的bug，如果不是json，就不要强制解析 3、node manager的心跳发送机制增强 4、ETCD续约机制增强，增加续约重试，避免误发送主降备 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** 已修复场景： 1、实例重启，不再刷屏Controller的日志 2、Coordinator重启，推送功能正常 3、心跳超时后不再持续刷屏 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!447 | 1 天前 | |
[fix] 适配A5 硬件故障信息configmap Co-authored-by: 吕有辉<lvyouhui@huawei.com> # message auto-generated for no-merge-commit merge: !359 merge cm_a5_adapter into master [fix] 适配A5 硬件故障信息configmap Created-by: codeDogPro Commit-by: 吕有辉 Merged-by: towncharlie Description: ## **1. 合入背景** A5 configmap与A2 A3不同，需要适配，否则故障无法解析 ## **2. 修改内容** 1、补充对950代际configmap变化的解析适配 2、补充相应测试用例 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!359 | 10 天前 | |
【bugfix】执行缩P保D前，先检查当前P资源是否足够完成缩P保D Co-authored-by: zhang980530<zhanghao680@h-partners.com> # message auto-generated for no-merge-commit merge: !444 merge master into master 【bugfix】执行缩P保D前，先检查当前P资源是否足够完成缩P保D Created-by: zhang980530 Commit-by: zhang980530 Merged-by: towncharlie Description: ## **1. 合入背景** Fixes [#250](https://gitcode.com/Ascend/MindIE-PyMotor/issues/250) ## **2. 修改内容** 缩P动作之前更新当前实例故障个数，保证统计正确 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果**  ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!444 | 2 天前 | |
[refractor] 删除旧FaultManager代码 ，重命名ft为fault_tolerance Co-authored-by: 吕有辉<lvyouhui@huawei.com> # message auto-generated for no-merge-commit merge: !219 merge k8s_feature_br_2 into master [refractor] 删除旧FaultManager代码 ，重命名ft为fault_tolerance Created-by: codeDogPro Commit-by: 吕有辉 Merged-by: ascend-robot Description: ## **1. 合入背景** 该PR为需求ISSUE的前置PR之一：https://gitcode.com/Ascend/MindIE-pyMotor-private/issues/113 ## **2. 修改内容** 删除旧的FaultManager代码内容 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-pyMotor-private!219 | 5 个月前 | |
[fix] 增加ManualSeparateNPU故障等级（L6）&& 修复A2故障处理逻辑 Co-authored-by: 吕有辉<lvyouhui@huawei.com> # message auto-generated for no-merge-commit merge: !388 merge fix_preseparateNPU into master [fix] 增加ManualSeparateNPU故障等级（L6）&& 修复A2故障处理逻辑 Created-by: codeDogPro Commit-by: 吕有辉 Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. ## **2. 修改内容** 1、Added MANUALLY_SEPARATE_NPU = "ManuallySeparateNPU" to OriginFaultLevel enum Added OriginFaultLevel.MANUALLY_SEPARATE_NPU: FaultLevel.L6 to map_fault_level mapping Updated docstring to document that ManuallySeparateNPU is never downgraded 2、修复降级处理中的L6等级故障处理bug A2: CardNetworkUnhealthy (PreSeparateNPU) 到达 → active → L2 (降级) → 网络故障打死实例 → INACTIVE → INSTANCE_SEPERATED → _refresh_instance_fault_level → Step 1 重评估: no active → L6 ← 已有逻辑 → Step 3 _affects_instance(fi, node): len(instance_ids) > 0 → True → L6 被包含 → 实例故障等级 = L6 → separate_instance() → ScaleP2D ✓ A3+: 同样报 PreSeparateNPU，但网络故障不会打死实例 → active → L2 → 业务继续跑 → 不进入 INSTANCE_SEPERATED 路径 ✓ ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 ## **5. 测试结果** (MainProcess pid=30) INFO 07-03 09:50:47 [fault_tolerance][resource_monitor.py:406] Fault information changed, processing ConfigMap update (MainProcess pid=30) INFO 07-03 09:50:47 [fault_tolerance][resource_manager.py:437] Fault[1/1] detected - Type: CardNetworkUnhealthy, NPU: Ascend910-5, Code: 0x81078603, Level: L6(PreSeparateNPU) (MainProcess pid=30) INFO 07-03 09:50:47 [fault_tolerance][resource_manager.py:474] PreSeparateNPU fault 0x81078603 downgraded to L2: node node-37-212 still has active instances (MainProcess pid=30) INFO 07-03 09:50:47 [fault_tolerance][resource_manager.py:500] Updated node node-37-212 with 1 hardware fault infos (preserved node_reboot: False) (MainProcess pid=30) INFO 07-03 09:50:47 [fault_tolerance][fault_manager.py:465] Instance 1 fault level updated to L2 (code: 0x81078603, category: hardware) (MainProcess pid=30) WARNING 07-03 09:51:43 [resources][instance.py:362] Instance mindie-lyh-vllm-0-d0(id:1)'s endpoints {'10.244.241.182': [6]} have ABNORMAL status (MainProcess pid=30) INFO 07-03 09:51:43 [resources][instance.py:477] Instance mindie-lyh-vllm-0-d0(id:1) status updated to InsStatus.INACTIVE (MainProcess pid=30) INFO 07-03 09:51:43 [core][event_pusher.py:128] Instance removed: mindie-lyh-vllm-0-d0 (MainProcess pid=30) INFO 07-03 09:51:43 [fault_tolerance][fault_manager.py:214] FaultManager update instance mindie-lyh-vllm-0-d0 with event: ObserverEvent.INSTANCE_SEPERATED. (MainProcess pid=30) INFO 07-03 09:51:43 [fault_tolerance][fault_manager.py:381] Re-evaluated PreSeparateNPU 0x81078603 → L6 on node node-37-212 (no active instances) (MainProcess pid=30) INFO 07-03 09:51:43 [fault_tolerance][fault_manager.py:465] Instance 1 fault level updated to L6 (code: 0x81078603, category: hardware) (MainProcess pid=30) INFO 07-03 09:51:43 [core][instance_manager.py:463] Successfully separated instance mindie-lyh-vllm-0-d0 (id:1) in state InsStatus.INACTIVE (MainProcess pid=30) INFO 07-03 09:51:43 [fault_tolerance][fault_manager.py:563] Instance 1: strategy ScaleP2DStrategy, level=L6, code=0x81078603 (MainProcess pid=30) INFO 07-03 09:51:43 [fault_tolerance][scale_p2d.py:102] ScaleP2D strategy started. instance_id=1, job_name=mindie-lyh-vllm-0-d0 (MainProcess pid=30) INFO 07-03 09:51:43 [fault_tolerance][scale_p2d.py:295] Faulty node count computed. instance_id=1, faulty=1, total=1 (MainProcess pid=30) INFO 07-03 09:51:43 [fault_tolerance][scale_p2d.py:247] D instance info loaded. instance_id=1, job_name=mindie-lyh-vllm-0-d0, node_count=1, faulty_node_count=1 (MainProcess pid=30) INFO 07-03 09:51:43 [fault_tolerance][scale_p2d.py:325] Checking D instance status before ScaleP2D. instance_id=1, job_name=mindie-lyh-vllm-0-d0, timeout_s=60 A2实机测试正常，可以在D故障后触发缩P保D ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!388 | 7 天前 | |
[fix] 增加ManualSeparateNPU故障等级（L6）&& 修复A2故障处理逻辑 Co-authored-by: 吕有辉<lvyouhui@huawei.com> # message auto-generated for no-merge-commit merge: !388 merge fix_preseparateNPU into master [fix] 增加ManualSeparateNPU故障等级（L6）&& 修复A2故障处理逻辑 Created-by: codeDogPro Commit-by: 吕有辉 Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. ## **2. 修改内容** 1、Added MANUALLY_SEPARATE_NPU = "ManuallySeparateNPU" to OriginFaultLevel enum Added OriginFaultLevel.MANUALLY_SEPARATE_NPU: FaultLevel.L6 to map_fault_level mapping Updated docstring to document that ManuallySeparateNPU is never downgraded 2、修复降级处理中的L6等级故障处理bug A2: CardNetworkUnhealthy (PreSeparateNPU) 到达 → active → L2 (降级) → 网络故障打死实例 → INACTIVE → INSTANCE_SEPERATED → _refresh_instance_fault_level → Step 1 重评估: no active → L6 ← 已有逻辑 → Step 3 _affects_instance(fi, node): len(instance_ids) > 0 → True → L6 被包含 → 实例故障等级 = L6 → separate_instance() → ScaleP2D ✓ A3+: 同样报 PreSeparateNPU，但网络故障不会打死实例 → active → L2 → 业务继续跑 → 不进入 INSTANCE_SEPERATED 路径 ✓ ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 ## **5. 测试结果** (MainProcess pid=30) INFO 07-03 09:50:47 [fault_tolerance][resource_monitor.py:406] Fault information changed, processing ConfigMap update (MainProcess pid=30) INFO 07-03 09:50:47 [fault_tolerance][resource_manager.py:437] Fault[1/1] detected - Type: CardNetworkUnhealthy, NPU: Ascend910-5, Code: 0x81078603, Level: L6(PreSeparateNPU) (MainProcess pid=30) INFO 07-03 09:50:47 [fault_tolerance][resource_manager.py:474] PreSeparateNPU fault 0x81078603 downgraded to L2: node node-37-212 still has active instances (MainProcess pid=30) INFO 07-03 09:50:47 [fault_tolerance][resource_manager.py:500] Updated node node-37-212 with 1 hardware fault infos (preserved node_reboot: False) (MainProcess pid=30) INFO 07-03 09:50:47 [fault_tolerance][fault_manager.py:465] Instance 1 fault level updated to L2 (code: 0x81078603, category: hardware) (MainProcess pid=30) WARNING 07-03 09:51:43 [resources][instance.py:362] Instance mindie-lyh-vllm-0-d0(id:1)'s endpoints {'10.244.241.182': [6]} have ABNORMAL status (MainProcess pid=30) INFO 07-03 09:51:43 [resources][instance.py:477] Instance mindie-lyh-vllm-0-d0(id:1) status updated to InsStatus.INACTIVE (MainProcess pid=30) INFO 07-03 09:51:43 [core][event_pusher.py:128] Instance removed: mindie-lyh-vllm-0-d0 (MainProcess pid=30) INFO 07-03 09:51:43 [fault_tolerance][fault_manager.py:214] FaultManager update instance mindie-lyh-vllm-0-d0 with event: ObserverEvent.INSTANCE_SEPERATED. (MainProcess pid=30) INFO 07-03 09:51:43 [fault_tolerance][fault_manager.py:381] Re-evaluated PreSeparateNPU 0x81078603 → L6 on node node-37-212 (no active instances) (MainProcess pid=30) INFO 07-03 09:51:43 [fault_tolerance][fault_manager.py:465] Instance 1 fault level updated to L6 (code: 0x81078603, category: hardware) (MainProcess pid=30) INFO 07-03 09:51:43 [core][instance_manager.py:463] Successfully separated instance mindie-lyh-vllm-0-d0 (id:1) in state InsStatus.INACTIVE (MainProcess pid=30) INFO 07-03 09:51:43 [fault_tolerance][fault_manager.py:563] Instance 1: strategy ScaleP2DStrategy, level=L6, code=0x81078603 (MainProcess pid=30) INFO 07-03 09:51:43 [fault_tolerance][scale_p2d.py:102] ScaleP2D strategy started. instance_id=1, job_name=mindie-lyh-vllm-0-d0 (MainProcess pid=30) INFO 07-03 09:51:43 [fault_tolerance][scale_p2d.py:295] Faulty node count computed. instance_id=1, faulty=1, total=1 (MainProcess pid=30) INFO 07-03 09:51:43 [fault_tolerance][scale_p2d.py:247] D instance info loaded. instance_id=1, job_name=mindie-lyh-vllm-0-d0, node_count=1, faulty_node_count=1 (MainProcess pid=30) INFO 07-03 09:51:43 [fault_tolerance][scale_p2d.py:325] Checking D instance status before ScaleP2D. instance_id=1, job_name=mindie-lyh-vllm-0-d0, timeout_s=60 A2实机测试正常，可以在D故障后触发缩P保D ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!388 | 7 天前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 1 天前 | ||
| 10 天前 | ||
| 2 天前 | ||
| 5 个月前 | ||
| 7 天前 | ||
| 7 天前 |