通信域建链超时

问题现象描述

关键词"Socket Timeout"

原因分析

模型多卡训练过程中，通信域建链超时报错。可能原因：

• 0卡与其他卡的网络存在异常，其他卡等待超时报错。
• 0卡异常退出，其他卡等待超时报错。
• 0卡比其他卡执行通信域建立慢，其他卡等待超时报错。

解决措施

1. 检查0卡与其他卡网络情况。
2. 检查0卡有没有异常退出。
3. 检测0卡是否存在执行通信域建立操作比较慢的情况。