变更摘要

本 PR 对 Motor 的 FaultReporter 进行了重大重构，将引擎故障感知机制从 ZMQ SUB 订阅全面迁移到 HTTP 轮询 vLLM FT 框架的 GET /fault_tolerance/status 接口，并新增 Controller 侧软件故障（ENGINE_DEAD/ENGINE_UNHEALTHY）的统一 Token 重推恢复策略，实现软硬件 L2 故障的闭环自动修复。

主要改动

• FaultReporter 从 ZMQ 订阅改为 HTTP 轮询：motor/node_manager/core/fault_reporter.py 移除了 zmq、msgspec.msgpack 依赖，新增 query_engine_ft_status() 调用以轮询每个 endpoint 的 GET /fault_tolerance/status；引入 _STARTUP_GRACE_SEC（300s）冷启动宽限期防误报、max_poll_failures 连续失败阈值判定 dead，去重 key 由 payload engine id 统一为受管 endpoint id；支持通过 user config 引擎段 enable-fault-tolerance/enable_fault_tolerance 自动启用（_engine_ft_enabled()）

• L2 故障策略拆分为软硬件 selector 注册表：motor/controller/fault_tolerance/strategy/strategy.py 将 level2_strategy 拆分为 _L2_STRATEGY_SELECTORS 元组，含 _select_software_fault_strategy（仅对 ACTIVE 实例启动，INACTIVE/DELETED 由心跳机制处理）和 _select_hardware_fault_strategy，二者统一返回 TokenReinferenceStrategy；StrategyBase 独立至 strategy/base.py 以消除循环 import

• TokenReinferenceStrategy 实现循环驱动恢复：motor/controller/fault_tolerance/strategy/token_reinference.py 新增完整的 execute() 循环逻辑——锁内快照实例的 node_managers/endpoints，通过 NodeManagerApiClient.apply_engine_recovery() 下发 vLLM FT retry 命令，聚合引擎状态直至全部 healthy 结束；连续空轮（_MAX_EMPTY_ROUNDS=3）放弃防无限循环，stop() 通过 event.set() 可中断

• 新增 POST /node-manager/engine-recover 路由：motor/node_manager/api_server/node_manager_api.py 新增 engine_recover 端点，接收 {"commands": [{"endpoint_id", "instruction", "params"}]}，逐条调用 apply_engine_ft_command() 转发至引擎 POST /fault_tolerance/apply，单命令失败隔离、endpoint_id 拒绝 bool 类型（True == 1 陷阱）、body 非对象返回 400

• 引擎 FT 协议层收敛为共享模块：新增 motor/common/http/engine_ft_client.py 提供 query_engine_ft_status() 和 apply_engine_ft_command()，healthy 引擎不重复下发命令、状态按 engine id 精确匹配；motor/common/constants.py 新增 FT_STATUS_PATH、FT_APPLY_PATH、ENGINE_RECOVER_PATH 等协议常量；配置字段 zmq_pub_port 删除，新增 poll_interval_sec（5.0）/poll_timeout_sec（5.0）/max_poll_failures（3）

代码审查

The documentation searches reveal no dangerous instructions or configurations introduced by this diff. Now let me provide the closing summary.

审查总结

逐文件审查结果：

按优先级统计：P0: 0, P1: 0, P2: 0, P3: 1

整体风险判断：低风险。此次变更代码逻辑正确，异常处理完善（poll 失败不杀线程、malformed payload 不崩溃、HTTP 调用有 finally 清理、stop/start 防双线程），测试覆盖充分（863 passed）。唯一的 P3 问题是 fault_reporter.py:287 行使用了硬编码字符串 "unhealthy" 而非已导入的 ENGINE_STATUS_UNHEALTHY 常量，当前运行时行为等价，属于可维护性改进项。

💬 仅评论

✅ 文档门禁通过！