已关闭
[Documentation|文档反馈]: 需要补充服务限流特性说明文档 #311
LinWei100创建于  7月16日关闭于  4 天前
LinWei100
LinWei100成员
7月16日 创建

在您提交issue前,请确认以下信息:

文档链接

当前仓库缺少独立的服务限流特性文档。已有入口只给配置片段,docs/zh/user_guide/features/ 下没有 rate_limiting.md:

问题文档片段

PD 分离部署文档「服务限流」小节仅给出最小配置示例:

"motor_coordinator_config": {
  "rate_limit_config": {
    "enable_rate_limit": true,
    "max_requests": 10000,
    "window_size": 60
  }
}

配置参考中的 rate_limit_config 字段表只列出字段名与默认值,未说明生效范围、多 Worker 令牌桶、OLC 降级、429/413 响应、响应头,以及热更新何时能改 enable_rate_limit。

存在的问题

  1. 特性指南中无法检索到服务限流的配置方法、原理与排障说明。
  2. 未说明限流只挂在 Coordinator 推理面,且 simple 按每个推理 Worker 独立持有令牌桶,总通过量约为 max_requests × num_workers(默认 num_workers 为 4)。
  3. 未说明 provider: olc 需要安装库和已存在的规则目录,加载失败时回退为 simple。
  4. 未说明请求体超限返回 HTTP 413 且不消耗令牌,限流超限返回 HTTP 429,放行和拒绝都会带 X-RateLimit-*。
  5. 未说明 scope 当前不改变分桶;启动时未开启限流则热更新不能补装中间件。启动时已创建 simple 限流器后,热更新可以改 enable_rate_limit、skip_paths、错误响应和令牌桶参数。
  6. simple 拥堵告警用剩余令牌 available 与 max_requests × 85% 比较。桶接近满(空闲)时会误报,令牌快耗尽时反而不告警。应按已用额度 used = max_requests - available 判定:已用达到 85% 上报告警,低于 75% 恢复。该缺陷同时见 #513。
  7. 未写清 max_request_body_size:默认 0 不限制,启动校验拒绝负数,运行时 <= 0 不检查。
  8. 未说明拥堵告警按推理 Worker 进程分别上报,多个 Worker 同时接近额度时 Controller 会收到多条事件。
  9. 未说明 max_requests 为 1、2、3、4、7、8 时,85% 与 75% 取整后阈值相同,边界附近会反复上报;为 1 时恢复条件 used < 0 无法成立,告警置位后不会清除。max_requests >= 10 时两个整数阈值至少相差 1。
  10. report_alarms 失败时返回 ok=false 且不抛异常,但限流器在调用前就把拥堵状态置位,Controller 恢复后不会重试,告警一直漏报。该点与 #513 一并修。

同步提交:master https://gitcode.com/Ascend/MindIE-Motor/merge_requests/1041 ,v3.2.0 https://gitcode.com/Ascend/MindIE-Motor/merge_requests/1078 。两条分支都合入后问题才算在对应版本关闭。

likedislike
wangyang
wangyang成员
7月17日 评论:

👋 您好,感谢向 mindie-motor 提交 Issue!
🎉 我们已收到您的反馈,感谢你对开源社区的支持!

📅 处理时效 维护团队将在工作日 24 小时内查看并回复您的问题。
🔍 自助排查(推荐优先查看) 在等待回复期间,您可以先查阅仓库README以及历史 Issue 中相似问题的解决方案,多数问题可快速解决。
💡 为了更快定位问题,请您确保 Issue 包含:

清晰的问题描述
可复现的操作步骤
相关日志、截图或环境信息
我们会尽快跟进,感谢您的理解与配合!

likedislike
LinWei100LinWei100成员
8月13日 关联了pull request:[docs] 添加服务限流特性说明文档
LinWei100LinWei100成员
8月13日 关联了pull request:[docs] 添加服务限流特性说明文档(v3.1.0)
LinWei100LinWei100成员
8月13日 修改标题为 “[Documentation|文档反馈]: 需要补充服务限流特性说明文档”,原标题为“【docs】添加服务限流功能文档”
LinWei100LinWei100成员
8月13日 修改了issue 的描述
LinWei100LinWei100成员
8月13日 修改了issue 的描述
LinWei100LinWei100成员
8月14日 修改了issue 的描述
LinWei100LinWei100成员
10 天前 修改了issue 的描述
LinWei100LinWei100成员
10 天前 关联了pull request:[docs] 补充服务限流特性说明
LinWei100LinWei100成员
10 天前 修改了issue 的描述
LinWei100LinWei100成员
4 天前 修改了issue 的描述
wangyangwangyang成员
4 天前 关闭了 issue
wangyangwangyang成员
4 天前 issue状态由 TODO 改变为 DONE
ascend-robotascend-robot成员
4 天前 添加了label:resolved
LinWei100LinWei100成员
4 天前 关联了pull request:[docs] 补充服务限流特性说明并修正拥堵告警判定
LinWei100LinWei100成员
4 天前 修改了issue 的描述