docs/auto_scaler

towncharlie解决日志重复问题

9de22219创建于 7月22日历史提交

文件	最后提交记录	最后更新时间
__init__.py	[feat]修复持久化日志按pid分文件的问题 Co-authored-by: hxy<huxinyi9@huawei.com> # message auto-generated for no-merge-commit merge: !331 merge feat/merged-log-collector into master [feat]修复持久化日志按pid分文件的问题 Created-by: hu-xinyi_555 Commit-by: hxy Merged-by: towncharlie Description: ## **1. 合入背景** 当前的持久化日志存在两个问题： 1. vllm的日志没有记录 2. 所有的日志都是按照Pid进行存储的。后续日志分析较为不便，希望修改成按时序存储 ## **2. 修改内容** 通过zmq将不同的pid都写入同一个文件 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** before：按照pid进行文件区分  after：统一为一个文件  after：包含vllm原生内容  ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!331	2 个月前
formatter.py	解决日志重复问题 Co-authored-by: wenkea<tianmengx12@163.com> Co-authored-by: 吴铭泾<wumingjing@huawei.com> # message auto-generated for no-merge-commit merge: !446 merge fix/request-cancel-and-logger into master 解决日志重复问题 Created-by: wenkea Commit-by: wenkea;吴铭泾 Merged-by: towncharlie Description: ## **1. 合入背景** Unified PD 路由在客户端断开、dispatch 取消等预期取消场景下，原先会将 asyncio.CancelledError 包装成 RuntimeError，在 dispatch.handle_request 中落入通用 Exception 分支，以 ERROR 级别打印完整堆栈，容易被误判为系统故障，干扰问题定位。 同时，日志模块在处理多行 message 和 exc_info 堆栈时，NewLineFormatter / MaxLengthFormatter 存在格式异常（堆栈 header 重复、换行截断不当），影响维测日志可读性。 #ISSUE ID: https://gitcode.com/Ascend/MindIE-PyMotor/issues/342 ## **2. 修改内容** 1.新增 RequestCancelledError 异常类型（motor/common/utils/error.py） 用于标识客户端断开、dispatch 取消等预期取消场景 携带 reason 字段，便于日志与 trace 记录 Unified PD 路由取消路径改造（motor/coordinator/router/strategies/unified_pd.py） 2.在 _process_response_error 中，将 asyncio.CancelledError 包装为 RequestCancelledError，替代原 RuntimeError 取消原因仍通过 check_cancel_error 解析，重试逻辑不变 Dispatch 层单独处理取消异常（motor/coordinator/router/dispatch.py） 3.新增 RequestCancelledError 捕获分支 以 debug 级别记录 api / req_id / reason，不再走通用 error 堆栈日志 仍返回 HTTP 500，并通过 sanitize_error_message 做安全处理 日志格式化修复（motor/common/logger/formatter.py、motor/common/logger/logger.py） 4.NewLineFormatter：仅对 message 内换行做 header 前缀扩展，避免 exc_info 堆栈 header 重复 MaxLengthFormatter：新增 _escape_for_single_line，将换行转义为 \n，保证单行日志长度截断正确 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及。 ## **5. 测试结果** 1.取消异常类型与 reason 传递 pytest tests/coordinator/router/test_cancel_error.py PASSED 2.Dispatch 取消时不打 ERROR 堆栈 test_dispatch_request_cancelled_does_not_log_error PASSED 3.非预期异常仍打 ERROR 堆栈 test_dispatch_unexpected_exception_still_logs_error PASSED 4.Unified PD 取消包装为 RequestCancelledError test_unified_pd_process_response_error_wraps_cancelled_as_request_cancelled_error PASSED 5.多行日志 / exc_info / MaxLength 转义 pytest tests/common/logger/test_logger.py PASSED 7.构造真实推理场景测试日志打印效果 问题已解决 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!446	2 个月前
log_collector.py	[feat]修复持久化日志按pid分文件的问题 Co-authored-by: hxy<huxinyi9@huawei.com> # message auto-generated for no-merge-commit merge: !331 merge feat/merged-log-collector into master [feat]修复持久化日志按pid分文件的问题 Created-by: hu-xinyi_555 Commit-by: hxy Merged-by: towncharlie Description: ## **1. 合入背景** 当前的持久化日志存在两个问题： 1. vllm的日志没有记录 2. 所有的日志都是按照Pid进行存储的。后续日志分析较为不便，希望修改成按时序存储 ## **2. 修改内容** 通过zmq将不同的pid都写入同一个文件 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** before：按照pid进行文件区分  after：统一为一个文件  after：包含vllm原生内容  ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!331	2 个月前
logger.py	解决日志重复问题 Co-authored-by: wenkea<tianmengx12@163.com> Co-authored-by: 吴铭泾<wumingjing@huawei.com> # message auto-generated for no-merge-commit merge: !446 merge fix/request-cancel-and-logger into master 解决日志重复问题 Created-by: wenkea Commit-by: wenkea;吴铭泾 Merged-by: towncharlie Description: ## **1. 合入背景** Unified PD 路由在客户端断开、dispatch 取消等预期取消场景下，原先会将 asyncio.CancelledError 包装成 RuntimeError，在 dispatch.handle_request 中落入通用 Exception 分支，以 ERROR 级别打印完整堆栈，容易被误判为系统故障，干扰问题定位。 同时，日志模块在处理多行 message 和 exc_info 堆栈时，NewLineFormatter / MaxLengthFormatter 存在格式异常（堆栈 header 重复、换行截断不当），影响维测日志可读性。 #ISSUE ID: https://gitcode.com/Ascend/MindIE-PyMotor/issues/342 ## **2. 修改内容** 1.新增 RequestCancelledError 异常类型（motor/common/utils/error.py） 用于标识客户端断开、dispatch 取消等预期取消场景 携带 reason 字段，便于日志与 trace 记录 Unified PD 路由取消路径改造（motor/coordinator/router/strategies/unified_pd.py） 2.在 _process_response_error 中，将 asyncio.CancelledError 包装为 RequestCancelledError，替代原 RuntimeError 取消原因仍通过 check_cancel_error 解析，重试逻辑不变 Dispatch 层单独处理取消异常（motor/coordinator/router/dispatch.py） 3.新增 RequestCancelledError 捕获分支 以 debug 级别记录 api / req_id / reason，不再走通用 error 堆栈日志 仍返回 HTTP 500，并通过 sanitize_error_message 做安全处理 日志格式化修复（motor/common/logger/formatter.py、motor/common/logger/logger.py） 4.NewLineFormatter：仅对 message 内换行做 header 前缀扩展，避免 exc_info 堆栈 header 重复 MaxLengthFormatter：新增 _escape_for_single_line，将换行转义为 \n，保证单行日志长度截断正确 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及。 ## **5. 测试结果** 1.取消异常类型与 reason 传递 pytest tests/coordinator/router/test_cancel_error.py PASSED 2.Dispatch 取消时不打 ERROR 堆栈 test_dispatch_request_cancelled_does_not_log_error PASSED 3.非预期异常仍打 ERROR 堆栈 test_dispatch_unexpected_exception_still_logs_error PASSED 4.Unified PD 取消包装为 RequestCancelledError test_unified_pd_process_response_error_wraps_cancelled_as_request_cancelled_error PASSED 5.多行日志 / exc_info / MaxLength 转义 pytest tests/common/logger/test_logger.py PASSED 7.构造真实推理场景测试日志打印效果 问题已解决 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!446	2 个月前
logger_handler.py	日志轮转,支持按大小、数量、支持压缩 Co-authored-by: ZhangShoufeng<zhangshoufeng1@huawei.com> # message auto-generated for no-merge-commit merge: !272 merge master-logger into master 日志轮转,支持按大小、数量、支持压缩 Created-by: ZhangShoufeng Commit-by: ZhangShoufeng Merged-by: ascend-robot Description: ## **1. 合入背景** 日志持久化 Fixes #151 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意：Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 ## **3. 资料变更** 涉及，已补充config配置指导md > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 ## **4. 接口变更** 不涉及 > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 ## **5. 测试结果** 日志目录  压缩日志轮转  非压缩日志轮转  > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-pyMotor-private!272	6 个月前
rate_limited_logger.py	[fix]修复Controller 若干问题 Co-authored-by: 吕有辉<lvyouhui@huawei.com> # message auto-generated for no-merge-commit merge: !447 merge fix_controller_log into master [fix]修复Controller 若干问题 Created-by: codeDogPro Commit-by: 吕有辉 Merged-by: towncharlie Description: ## **1. 合入背景** https://gitcode.com/Ascend/MindIE-PyMotor/issues/245 https://gitcode.com/Ascend/MindIE-PyMotor/issues/246 https://gitcode.com/Ascend/MindIE-PyMotor/issues/256 ## **2. 修改内容** 1、修复Controller组件日志打印逻辑 2、修复configmap解析json的bug，如果不是json，就不要强制解析 3、node manager的心跳发送机制增强 4、ETCD续约机制增强，增加续约重试，避免误发送主降备 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** 已修复场景： 1、实例重启，不再刷屏Controller的日志 2、Coordinator重启，推送功能正常 3、心跳超时后不再持续刷屏 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!447	2 个月前
zmq_handler.py	[feat]修复持久化日志按pid分文件的问题 Co-authored-by: hxy<huxinyi9@huawei.com> # message auto-generated for no-merge-commit merge: !331 merge feat/merged-log-collector into master [feat]修复持久化日志按pid分文件的问题 Created-by: hu-xinyi_555 Commit-by: hxy Merged-by: towncharlie Description: ## **1. 合入背景** 当前的持久化日志存在两个问题： 1. vllm的日志没有记录 2. 所有的日志都是按照Pid进行存储的。后续日志分析较为不便，希望修改成按时序存储 ## **2. 修改内容** 通过zmq将不同的pid都写入同一个文件 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** before：按照pid进行文件区分  after：统一为一个文件  after：包含vllm原生内容  ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!331	2 个月前