已关闭
[Feature]: 寻优工具支持推理服务化进程异常状态监测与容错 #16
zhuhuixiong创建于 2月26日关闭于 4月13日
2月26日 添加了label：feature
2月26日 添加了label：triaged
孤傲的天狼
3月4日 评论：
3月4日 评论：
我加了一些代码目前在vllm上，测试了一下，提前发现显存不足问题。
ttcool
3月5日 评论：
3月5日 评论：
当前由于引入插件化后统一流程获取推理端口health状态判断服务是否拉起，遇到服务已经崩溃的case无法及时识别，后续将在每个具体插件中添加进程判断，同时提供接口便于用户自定义添加。功能将在3月中下旬上线
3月10日 关联了pull request：[feat]监控框架运行时oom显存日志，及时终止，节省运行时间
3月26日 关联了里程碑：MindStudio 26.1.0
ttcool
4月13日 评论：
4月13日 评论：
4月13日 添加了label：resolved
提交提案之前，请先检索仓库内是否已有相同的提案，如已有请在同一提案中进行讨论。
💻 需求背景、当前现状、期望实现的功能内容、具体的设计方案、以及测试方案
当前modelevalate工具对vllm serve等推理服务化进程状态无主动感知机制，只有30分钟超时等待，这在很多情况下容易导致未知的等待状态，浪费N*30分钟的时间。
希望针对以下场景进行改进：
1、主动感知vllm serve等服务化后台的启动状态，并解析错误信息。如果是已知错误（如爆显存、卡异常）等，增加容错处理；
2、针对偶发性环境问题，如网络抖动、文件系统IO错误等，增加重试机制，保证寻优过程继续
替代方案
NA
补充说明
NA
欢迎加入社区，感谢您对社区的贡献 🎉!