Star1644
547
Code
Code
Issues40
Pull Requests168
Actions
Discussion
Wiki
Analysis
Star1644
547
Closed
[RFC]: GE框架静态shape多流新增加权算法和自动择优能力；动态shape接入DAG多流算法 #472
夏国正Add on  Jun 26Closed at  Sep 17
夏
夏国正Collaborators
Jun 26 Create

变更/设计描述

  1. H1上线的多流增强算法：LoadBalance和MainStream只考虑了并发图结构，默认所有算子执行耗时都是一样的，所以并没有达到最优的并发效果。希望通过profiling数据，考虑实际执行耗时来优化并发效果，使端到端性能进一步提升。
  2. 当前多流增强算法需要用户显示设置，通过设置不同的算法和流数来反复运行测出最优效果，易用性较差，希望实现一种自动择优最佳算法，避免用户重复编译和执行。
  3. 动态shape默认单流，且当前的动态shape多流主要是考虑计算和通信并行，希望接入当前的多流算法，在device bound场景下实现计算与计算并行，进一步提升性能

功能要点

  1. 静态shape加权均衡算法
  2. 静态shape自动择优最佳算法
  3. 动态shape接入多流增强

技术方案

  1. 静态shape加权均衡算法：通过解析profiling的op_summary.csv，获取算子实际执行耗时，在负载均衡算法里叠加算子执行耗时权重。
  2. 静态shape自动择优最佳算法：基于当前能力，设计自动择优脚本
  3. 动态shape接入多流增强：在动态shape流分配阶段接入DAG多流算法

相关文档

测试方案

在device bound的推荐网络DLRM上验证

验收标准

通过profiling观察device侧并发情况，实际脚本侧端到端执行耗时有提升

备注

likedislike
夏夏国正Collaborators
Jun 26 changed custom category from 任务 to 需求
夏夏国正Collaborators
Jun 26 Assign Mexyy as responsible person
夏夏国正Collaborators
Jul 6 Associated pull request
夏夏国正Collaborators
Jul 17 Modify description of issue
夏夏国正Collaborators
Jul 17 Modify description of issue
夏夏国正Collaborators
Aug 10 Associated pull request
夏夏国正Collaborators
Sep 17 changed custom state from 待办的 to 已确认
夏夏国正Collaborators
Sep 17 changed custom state from 已确认 to 已解决
夏夏国正Collaborators
Sep 17 Close issue
夏夏国正Collaborators
Sep 17 changed custom state from 已解决 to 已完成
夏夏国正Collaborators
Sep 17 Associated pull request
CANN-robotCANN-robotCollaborators
Sep 17 Added label: resolved