| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
[feature]增加告警清除逻辑 Co-authored-by: hxy<huxinyi9@huawei.com> # message auto-generated for no-merge-commit merge: !598 merge feat/hybrid-precision-detection into master [feature]增加告警清除逻辑 Created-by: hu-xinyi_555 Commit-by: hxy Merged-by: towncharlie Description: ## **1. 合入背景** 可见https://gitcode.com/Ascend/MindIE-Motor/issues/359 精度检测特性（前序合入 61b0475 [feature]支持混布场景的精度异常检测）已具备 **告警产生** 与 **auto-recovery 实例终止** 能力，但缺少完整的 **告警清除（CLEAR）闭环**： - auto-recovery 终止 P/D 实例后，OM 侧精度告警仍可能残留； - CCAE 手动下发 precision control 终止实例后，未同步清除对应 PD Group 告警； - 未开启 auto-recovery 时，实例恢复后无法通过连续正常检测自动清除活动告警； - Coordinator Scheduler 侧 alarm_active 状态无统一清理入口，影响后续同 PD Group 重复告警。 ## **2. 修改内容** 详细设计见：[docs/zh/design/fault_tolerance/precision_detection.md](../../pymotor/MindIE-PyMotor_8989/docs/zh/design/fault_tolerance/precision_detection.md)（告警清除章节） ### 2.1 三条清除路径 | 路径 | 触发方 | 行为 | |------|--------|------| | **auto-recovery 清除** | Controller | 精度 ALARM 触发终止 P/D 全部成功后，上报 CLEAR 至 OM，并通知 Coordinator 清理 Scheduler 活动状态 | | **CCAE 手动清除** | CCAE Reporter → Controller | 终止 P/D 时携带 precision_alarm_clear=true，复用统一恢复入口清除 OM 告警 + 通知 Coordinator | | **连续正常清除** | Coordinator | 活动告警下连续 precision_clear_threshold（默认 10）次有效正常检测后，上报 CLEAR | ### 2.2 组件交互（实现要点） 1. **Controller recovery_service.py（新增统一入口）** - complete_precision_pd_group_recovery()：可选终止 P/D → 从 AlarmStore 查找活动精度告警 → 深拷贝原 Alarm 并 clear() 上报 OM → 调用 CoordinatorApiClient.notify_precision_alarm_cleared() 清理 Scheduler 状态 - terminate_pd_group() / is_precision_raise_alarm() 等辅助函数供 API 层复用 2. **Controller alarm_store.py** - 新增 _active_precision_alarms 索引与 find_active_precision_alarm(p_id, d_id)，按 PD Group 追踪活动精度告警及其 moi 3. **Controller controller_api.py** - 精度 auto-recovery 成功后走 complete_precision_pd_group_recovery，响应携带 precision_alarm_cleared / precision_alarm_cleared_by_auto_recovery - POST /controller/terminate_instance 支持 precision_alarm_clear=true，CCAE 手动清除走同一恢复入口 4. **Coordinator Scheduler（scheduler.py + runtime）** - 新增 alarm_active、clear_probing、clear_tokens 等 per-PD-Group 状态 - record_precision_result() 在活动告警下累计连续正常样本，达 clear_threshold 触发 clear action - finish_precision_action(action_type=clear|raise) 提交 action 结果；auto-recovery 已清除时直接删除整组状态 - 新增 ZMQ 协议与 client/server 透传 finish_precision_action / record_precision_result(clear_threshold=...) 5. **Coordinator PrecisionReporter + PrecisionAlarm** - Reporter 支持 raise / clear 双 action 编排，clear_threshold_hit 时异步触发 CLEAR 上报 - PrecisionAlarm.execute(action=clear) 构造 build_precision_issue_clear_alarm() 并上报 Controller；CLEAR 必须使用与产生告警相同的 moi 6. **Coordinator Management API（新增）** - POST /precision/alarm_cleared：Controller 通知 Coordinator 删除 Scheduler 活动告警状态（Mgmt 进程 → Scheduler） 7. **CCAE Reporter + MotorBackend** - precision control 终止成功后调用带 precision_alarm_clear=true 的 group terminate - 新增 precision task 上报窗口与 controlCode 抑制逻辑 8. **公共层** - 新增 motor/common/alarm/deserialize.py：告警反序列化 - precision_issue_alarm.py：新增 build_precision_issue_clear_alarm() - coordinator.py：新增 precision_clear_threshold 配置项 ### 2.3 时序（auto-recovery 清除） mermaid sequenceDiagram participant CR as Coordinator PrecisionAlarm participant CT as Controller participant OM as OM/CCAE participant SCH as Coordinator Scheduler CR->>CT: POST report_alarms (ALARM) CT->>CT: terminate P/D instances CT->>OM: report ALARM + CLEAR (same moi) CT->>SCH: POST /precision/alarm_cleared SCH->>SCH: clear alarm_active state CT-->>CR: precision_alarm_cleared_by_auto_recovery=true --- ## **3. 资料变更** **涉及**，修改如下： | 文件 | 变更说明 | |------|----------| | docs/zh/design/fault_tolerance/precision_detection.md | 补充告警清除设计：三条清除路径、moi 一致性约束、Scheduler 状态清理、CCAE 手动清除时序 | | docs/zh/user_guide/features/precision_detection.md | 补充 precision_clear_threshold 配置说明 | | docs/zh/user_guide/api/observability_interface.md | 补充 CCAE precision control 调用 /controller/terminate_instance 时 precision_alarm_clear 字段说明 | --- ## **4. 接口变更** **涉及**，均为客户面/跨组件可见接口： | 接口 | 变更类型 | 说明 | |------|----------|------| | POST /controller/terminate_instance | **请求体扩展** | 新增可选字段 precision_alarm_clear: bool（默认 false）。为 true 时按 PD Group 终止 P/D 并清除精度告警；响应 data 新增 precision_alarm_cleared、scheduler_state_cleared、moi | | POST /controller/report_alarms（精度 ALARM 响应） | **响应扩展** | auto-recovery 成功后 data 新增 precision_alarm_cleared、precision_alarm_cleared_by_auto_recovery、scheduler_state_cleared | | POST /precision/alarm_cleared（Coordinator Mgmt） | **新增** | Controller → Coordinator，请求体 {p_instance_id, d_instance_id}，清除 Scheduler 侧活动精度告警状态 | | Coordinator 配置 | **新增字段** | precision_detection_config.precision_clear_threshold（默认 10） | | CCAE precision control → MotorBackend | **行为变更** | 终止实例时携带 precision_alarm_clear=true | --- ## **5. 测试结果**  --- ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-Motor!598 | 1 个月前 | |
解决日志重复问题 Co-authored-by: wenkea<tianmengx12@163.com> Co-authored-by: 吴铭泾<wumingjing@huawei.com> # message auto-generated for no-merge-commit merge: !446 merge fix/request-cancel-and-logger into master 解决日志重复问题 Created-by: wenkea Commit-by: wenkea;吴铭泾 Merged-by: towncharlie Description: ## **1. 合入背景** Unified PD 路由在客户端断开、dispatch 取消等预期取消场景下，原先会将 asyncio.CancelledError 包装成 RuntimeError，在 dispatch.handle_request 中落入通用 Exception 分支，以 ERROR 级别打印完整堆栈，容易被误判为系统故障，干扰问题定位。 同时，日志模块在处理多行 message 和 exc_info 堆栈时，NewLineFormatter / MaxLengthFormatter 存在格式异常（堆栈 header 重复、换行截断不当），影响维测日志可读性。 #ISSUE ID: https://gitcode.com/Ascend/MindIE-PyMotor/issues/342 ## **2. 修改内容** 1.新增 RequestCancelledError 异常类型（motor/common/utils/error.py） 用于标识客户端断开、dispatch 取消等预期取消场景 携带 reason 字段，便于日志与 trace 记录 Unified PD 路由取消路径改造（motor/coordinator/router/strategies/unified_pd.py） 2.在 _process_response_error 中，将 asyncio.CancelledError 包装为 RequestCancelledError，替代原 RuntimeError 取消原因仍通过 check_cancel_error 解析，重试逻辑不变 Dispatch 层单独处理取消异常（motor/coordinator/router/dispatch.py） 3.新增 RequestCancelledError 捕获分支 以 debug 级别记录 api / req_id / reason，不再走通用 error 堆栈日志 仍返回 HTTP 500，并通过 sanitize_error_message 做安全处理 日志格式化修复（motor/common/logger/formatter.py、motor/common/logger/logger.py） 4.NewLineFormatter：仅对 message 内换行做 header 前缀扩展，避免 exc_info 堆栈 header 重复 MaxLengthFormatter：新增 _escape_for_single_line，将换行转义为 \n，保证单行日志长度截断正确 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及。 ## **5. 测试结果** 1.取消异常类型与 reason 传递 pytest tests/coordinator/router/test_cancel_error.py PASSED 2.Dispatch 取消时不打 ERROR 堆栈 test_dispatch_request_cancelled_does_not_log_error PASSED 3.非预期异常仍打 ERROR 堆栈 test_dispatch_unexpected_exception_still_logs_error PASSED 4.Unified PD 取消包装为 RequestCancelledError test_unified_pd_process_response_error_wraps_cancelled_as_request_cancelled_error PASSED 5.多行日志 / exc_info / MaxLength 转义 pytest tests/common/logger/test_logger.py PASSED 7.构造真实推理场景测试日志打印效果 问题已解决 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!446 | 1 个月前 | |
支持Nodemanager原生拉起引擎，解除Engine Server层依赖 Co-authored-by: tobking<wangjun292@huawei.com> # message auto-generated for no-merge-commit merge: !698 merge feat/pr2-native-engine-routing into master 支持Nodemanager原生拉起引擎，解除Engine Server层依赖 Created-by: tobking Commit-by: tobking Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. **当前Motor侵入式修改引擎侧API SERVER，会导致引擎版本变更时，不兼容变更。且Coordinator组件无法支持独立部署。** [#394](https://gitcode.com/Ascend/MindIE-Motor/issues/394) ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 1. NodeManager 不再拉起Engine Server, 直接通过原生指令拉起引擎； 2. Engine server中vllm \sglang adapter 上移到coordinator中； 3. Coordinator直连原生引擎做PD调度； 4. 虚推、容器快照相关逻辑上移到nodemanager，心跳和健康检查改为引擎0原生状态查询（health）； 当前PR未删除Engine Server代码，后续单独PR统一删除冗余代码 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 涉及 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 不涉及 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 [引擎原生拉起验证报告](https://wiki.huawei.com/domains/114540/wiki/411410/WIKI2026081412302804) See merge request: Ascend/MindIE-Motor!698 | 23 天前 | |
[feature] kv-conductor /query 支持 msgpack 编码，10倍性能收益 Co-authored-by: 吕有辉<lvyouhui@huawei.com> # message auto-generated for no-merge-commit merge: !687 merge opt/kv_conductor_query_msgpack into master [feature] kv-conductor /query 支持 msgpack 编码，10倍性能收益 Created-by: codeDogPro Commit-by: 吕有辉 Merged-by: tobking Description: ## 1. 合入背景 为 kv-conductor 的 /query 与 /query_by_hash 增加 MessagePack 编解码支持，并在 Coordinator 端到端打通（ConductorApiClient.query_conductor 默认走 msgpack）。长上下文（1M/5M token）场景下，KV 亲和性查询的请求体积与编解码耗时显著下降。 借鉴 Mooncake conductor #3258 的 Content-Type 分派方案；与 KV Conductor 的前缀索引能力（#338 对应的自研 kv-conductor）配套演进。 关联 ISSUE：[#455](https://gitcode.com/Ascend/MindIE-Motor/issues/455) ## 2. 修改内容 1. **kv-conductor（Rust，motor/kv_conductor/）** - /query、/query_by_hash 按请求 Content-Type 分派：application/msgpack → rmp_serde 解码请求，响应/错误/空结果用 rmp::encode 手工编码；其他 Content-Type 走原 JSON 路径（行为不变）。 - 响应侧手工编码的原因：QueryResponse 使用 #[serde(flatten)]（tenants 展开到顶层 map），msgpack 序列化器不支持 flatten——手工编码保证 msgpack wire 形状与 JSON 逐字节等价，并有单元测试（rmpv→serde_json 结构化对比）守护。 - QueryRequest / QueryByHashRequest 增加 Serialize（原仅 Deserialize）。 2. **Coordinator（Python）** - ConductorApiClient：新增 encode_query_msgpack / decode_query_response_msgpack（msgspec），query_conductor() 按 kv_conductor_config.query_encoding（默认 "msgpack"）分派；响应按服务器 Content-Type 解析（msgpack → msgspec，否则 JSON），**旧版 JSON-only conductor 自动兼容，无需配置切换**。 - SafeHTTPSClient 新增 post_bytes()（原始 body POST）。 - KvConductorConfig 新增 query_encoding 配置项。 3. **测试** - Rust：单元测试 120（新增 msgpack 往返、wire 形状等价、Content-Type 嗅探、错误/空结果编码）+ 集成测试 20（新增 msgpack/JSON 查询结果一致、msgpack /query_by_hash、404/400 错误路径按请求编码返回）；cargo clippy -D warnings、cargo fmt 通过。 - Python：api_client 44（新增 msgpack wire 格式断言、json 配置路径、legacy JSON 响应 fallback）、coordinator 模块 1155 全过。 - 性能验证使用临时 benchmark 脚本（真实 conductor 进程 + client 真实编解码路径），bench 属验证工具未随 PR 上库。 ## 3. 资料变更 涉及： - docs/zh/user_guide/configuration/config_reference.md：新增 kv_conductor_config.query_encoding 配置说明。 - skill reference（.agent/skills/motor-dev/references/coordinator.md、kv-conductor.md）：新增 msgpack 编解码章节与端到端数据，并修正两处过时内容（服务端加权评分模型已移除、src/indexer.rs → src/indexer/ 目录）。 ## 4. 接口变更 涉及（客户面可见）： - POST /query、POST /query_by_hash 新增 Content-Type: application/msgpack 请求编码支持，响应随请求编码返回（JSON 默认行为不变，向后兼容）。 - Coordinator 配置新增 kv_conductor_config.query_encoding（默认 "msgpack"；对接旧版 conductor 可配 "json"）。 ## 5. 测试结果 **性能收益**（真实 kv-conductor release 进程 + Coordinator client 真实编解码路径，best-of-5，DeepSeek V4 风格长上下文）： === 1M tokens（block_size=128）=== step JSON msgpack 提速 请求体积 encode 29.92 ms 2.89 ms 10.4x 6.65MB -> 2.99MB (-55%) HTTP RTT 45.63 ms 12.07 ms 3.78x (客户端序列化+服务端XXH3哈希/树匹配/序列化+网络) TOTAL 45.63 ms 12.07 ms 3.78x === 5M tokens（block_size=128）=== encode 149.8 ms 14.4 ms 10.4x 33.3MB -> 14.9MB (-55%) HTTP RTT 220.5 ms 41.9 ms 5.26x TOTAL 220.5 ms 41.9 ms 5.26x - 5M 上下文单次查询省 ~178ms，1M 省 ~34ms；请求体积减半（网络传输同步受益）。 - 收益来源：客户端 msgspec 编码（10x）、服务端 rmp 解析 vs serde_json（RTT 内体现）、传输字节减半。 **短上下文覆盖**（1 ~ 16K tokens，纯编解码，msgspec vs json.dumps/loads，best-of-20000）： tokens | json enc msgpack enc | json dec msgpack dec 1 | 1.07us 0.12us | 1.19us 0.21us 64 | 2.83us 0.27us | 2.94us 0.51us 1024 | 26.44us 2.31us | 26.44us 7.96us 16384 | 437.67us 32.82us | 430.86us 148.58us - 全长度区间（1 ~ 16K token）msgpack 均更快：1 token 时亦快 ~9x（编码 0.12us vs 1.07us）； - **无临界点、无负收益**——msgspec 为纯 C 实现，固定开销（~0.1-0.2us）低于 json.dumps/loads 的固定开销（~1-1.2us），短上下文（普通对话场景）同样占优； - 默认 query_encoding: "msgpack" 在短/长上下文下均无回归。 **功能测试**： - cargo test：120 单元 + 20 集成全过； - bash tests/run_tests.sh tests/coordinator/：1155 用例全过； - pre-commit 全量通过（ruff/pylint/bandit/cargo clippy/fmt 等）。 **测试场景**：单元（编解码往返/等价性）、集成（HTTP Content-Type 协商、错误路径、JSON 兼容）、端到端（1M/5M 长上下文性能）。精度/显存不涉及（无模型运行）。 ## 6. CheckList - [x] 代码注释完备 - [x] 正确记录维测日志 - [x] 是否有UT用例（120 Rust 单元 + 20 集成 + 44 Python 单测） - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题（查询路径只读锁语义未变，msgpack 编解码为无状态纯函数） See merge request: Ascend/MindIE-Motor!687 | 26 天前 |