已合并
提交Flex Parallel:多维并行配置自动寻优算法的代码实现 #583
AtomGit-Bot创建于 2024年7月26日
提交Flex Parallel:多维并行配置自动寻优算法的代码实现 #583
已合并
AtomGit-Bot创建于 2024年7月26日
refs/pull/583/head合入到master
AtomGit-Bot
2024年7月26日

【作者】 刘林峰、周维、唐雄、郭凯洋、甘晋豪、张梦阳
【算法介绍】 本算法在输入模型结构、集群信息的条件下,通过算子不确定性建模和高效搜索算法,自动搜索得到较优的混合并行配置。
算法详细文档说明:https://gitee.com/robert_codes/MindSpeed/blob/master/docs/features/Automatic_Parallelism.md
【使用说明】
在使用多维自动并行特性时,需使用python作为脚本启动器,在所有的节点上拉起脚本,并配置多维自动并行相关的参数。相关参数及其含义如下表所示。脚本使用示例可参考算法详细文档

参数名 参数含义
--auto-parallel 多维自动并行特性总开关
--nodes 集群中节点的个数
--nproc-per-node 每个节点中NPU的个数
--master-addr 集群中主节点的IP地址
--master-port 用于通信的端口号,各节点需要配置相同的端口号
--node-rank 集群中节点的rank,主节点为0,其他节点为1,2,······

【算法效果】
1

likedislike
Pull Request已成功合入, 合并人@
(感谢 AtomGit-Bot 的贡献)
atlasaccount1
atlasaccount1
2024年7月26日 评论:

流水线任务触发成功,正在执行,请稍候。 任务链接[c50b7c9309664d00955cdf54ceba6425]

likedislike
atlasaccount1
atlasaccount1
2024年7月26日 评论:

流水线任务触发成功,正在执行,请稍候。 任务链接[481682beef124b1da68d82239e579039]

likedislike
atlasaccount1
atlasaccount1
2024年7月26日 评论:


防投毒扫描: pass

# check type result report
1 anti poison pass >>>

likedislike
atlasaccount1
atlasaccount1
2024年7月26日 评论:


静态检查: no pass

# check type result report
1 codecheck no pass >>>

likedislike
atlasaccount1
atlasaccount1
2024年7月26日 评论:

流水线任务触发成功,正在执行,请稍候。 任务链接[bf736b82754d4f5f83e60352a8069600]

likedislike
此处折叠了169条消息 查看更多
atlasaccount1
atlasaccount1
2024年7月30日 评论:

流水线任务触发成功,正在执行,请稍候。 任务链接[04aa2cfc8d5e45bf97000cbecf14bd34]

likedislike
atlasaccount1
atlasaccount1
2024年7月30日 评论:


SCA扫描: success

# check type result report
1 sca success >>>

likedislike
atlasaccount1
atlasaccount1
2024年7月30日 评论:


防投毒扫描: pass

# check type result report
1 anti poison pass >>>

likedislike
atlasaccount1
atlasaccount1
2024年7月30日 评论:


静态检查: pass

# check type result report
1 codecheck pass >>>

likedislike
bingobb成员
2024年7月30日 评论:

/lgtm

likedislike