| 【feature】FlexSmooth & FlexAwqSSZ 算法多卡量化支持并接入DistributedTaskScheduler
Co-authored-by: sunny<sunyu_0904@163.com>
# message auto-generated for no-merge-commit merge:
!435 merge feature/flexbaseprocessor_support_dts into master
【feature】FlexSmooth & FlexAwqSSZ 算法多卡量化支持并接入DistributedTaskScheduler
Created-by: sunny_infra
Commit-by: sunny
Merged-by: ascend-robot
Description: 感谢您贡献的Pull Request!
在提交之前,请务必阅读 [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/CONTRIBUTING.md)。
Thanks for sending a pull request!
BEFORE SUBMITTING, PLEASE READ [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/CONTRIBUTING.md).
## PR描述 (What this PR does / why we need it?)
- PR的变更内容。
(1)FlexAwqSSZ 算法适配支持多卡量化,实现完备性支持;
(2)FlexSmooth & FlexAwqSSZ 接入DistributedTaskScheduler,通过共享任务池进行子任务下发,避免各rank执行重复的子任务,从而提升该离群值抑制算法的计算效率
(3)由于接入DTS的逻辑几乎相同,将相关逻辑提取到FlexSmoothBaseProcessor基类
- 变更原因。
当前多卡量化方法各rank执行重复的子任务,在离群值抑制场景下量化效率有待提升
- 关联issue号(如果有)。
https://gitcode.com/Ascend/msmodelslim/issues/232
https://gitcode.com/Ascend/msmodelslim/issues/231
## 面向用户的变更 (Does this PR introduce _any_ user-facing change)?
暂无
## 功能验证 (How was this patch tested?)
请确认CI已通过增量及存量的单元测试用例。
如果本次测试方式与常规单元测试不同,请详细说明您的测试步骤(最好提供完整的可复现的操作路径及关键截图),以便Committer能够快速复现验证,也便于后续的维护。
如果未添加测试,请说明未添加的原因,以及为何难添加测试。
- [x] 功能自验
- [_] 本地自验截图(涉及个人标识符等敏感信息请注意脱敏)
- [_] 新增/变更内容是否已新增/适配UT测试用例看护
See merge request: Ascend/msmodelslim!435 | 6 天前 |