变更/设计描述

1. H1上线的多流增强算法：LoadBalance和MainStream只考虑了并发图结构，默认所有算子执行耗时都是一样的，所以并没有达到最优的并发效果。希望通过profiling数据，考虑实际执行耗时来优化并发效果，使端到端性能进一步提升。
2. 当前多流增强算法需要用户显示设置，通过设置不同的算法和流数来反复运行测出最优效果，易用性较差，希望实现一种自动择优最佳算法，避免用户重复编译和执行。
3. 动态shape默认单流，且当前的动态shape多流主要是考虑计算和通信并行，希望接入当前的多流算法，在device bound场景下实现计算与计算并行，进一步提升性能

功能要点

1. 静态shape加权均衡算法
2. 静态shape自动择优最佳算法
3. 动态shape接入多流增强

技术方案

1. 静态shape加权均衡算法：通过解析profiling的op_summary.csv，获取算子实际执行耗时，在负载均衡算法里叠加算子执行耗时权重。
2. 静态shape自动择优最佳算法：基于当前能力，设计自动择优脚本
3. 动态shape接入多流增强：在动态shape流分配阶段接入DAG多流算法

相关文档

测试方案

在device bound的推荐网络DLRM上验证

验收标准

通过profiling观察device侧并发情况，实际脚本侧端到端执行耗时有提升

备注