已关闭
[Feature]: HCCL故障模式自动分析 #1
yanglei创建于  4月1日关闭于  4月22日
yanglei成员
4月1日 创建

提交提案之前,请先检索仓库内是否已有相同的提案,如已有请在同一提案中进行讨论。

💻 需求背景、当前现状、期望实现的功能内容、具体的设计方案、以及测试方案

【需求背景】
HCCL问题多:开发团队每月支撑维护问题100+,其中90%以上问题根因和HCCL无关,问题分析全靠人工通过plog日志定位分析,缺少有效工具支撑
问题分析门槛搞:通信类问题分析需要了解HCCL通信基础知识以及实现逻辑,华为维护团队的人不具备复杂通信问题的分析能力,需要求助HCCL研发团队
问题分析效率低:大集群日志信息很多,人工分析问题效率低(0.5人天),个别疑难问题甚至需要2~3天
【需求描述】
基于plog日志信息,自动分析HCCL通信域初始化相关典型问题。

设计思路
•plog日志文件校验:遍历指定目录及子目录下所有文件,找出所有文件名称以“plog-”或“device”开头,且后缀为“.log” 的文件
•plog日志解析提取:日志文件分批解析并提取有效信息,先完成run目录下plog解析提取通信域信息,再解析debug目录下plog文件,获取异常日志
•中断故障模式诊断:包括HCCL通信域初始化、参数面建链、通信算子执行三个业务阶段的故障问题分析,先根据报错信息明确问题发生阶段,再综合通信域内全量日志信息分析首错节点、问题根因

•诊断结果输出:文字形式表达诊断结果,输出首错节点信息、问题根因及修改建议(打屏方式输出)

【验收标准】
A2/A3场景HCCL通信域初始化相关故障模式库(13个),可以正确分析问题根因

替代方案

补充说明

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
Yyanglei成员
4月1日 添加了label:feature
Yyanglei成员
4月1日 将 yanglei0101 设为负责人
yanglei成员
4月1日 评论:

/label add triaged

likedislike
ascend-robotascend-robot成员
4月1日 添加了label:triaged
元宝
元宝成员
4月1日 评论:

需求已接收

likedislike
此处折叠了45条消息 查看更多
Yyanglei成员
4月18日 关联了pull request:修改执行超时提示语
yanglei成员
4月22日 评论:

/label add resolved

likedislike
ascend-robotascend-robot成员
4月22日 添加了label:resolved
Yyanglei成员
4月22日 issue状态由 TODO 改变为 DONE
Yyanglei成员
4月22日 关闭了 issue