View类算子优化功能
功能简介
以TorchAir图方式调用算子时,如果存在多个View类算子,会带来冗余计算,增加计算耗时。默认情况下,TorchAir会开启View类算子优化功能,以提升算子执行性能。如果用户需要进行算子调优,尤其是精度比对,建议关闭本功能避免影响调优效果。
使用约束
- 本功能仅适用于GE图模式场景。
- 在图内多流表达、图内设置AI Core和Vector Core核数、图内算子不超时配置功能以及指定算子dump范围时,本特性不生效。
使用方法
该功能通过torchair.get_npu_backend中compiler_config配置,示例如下,仅供参考不支持直接拷贝运行,参数说明参见下表。
import torch_npu
import torchair
config = torchair.CompilerConfig()
# View类算子优化配置
config.experimental_config.enable_view_optimize = False
npu_backend = torchair.get_npu_backend(compiler_config=config)
opt_model = torch.compile(model, backend=npu_backend)
表 1 参数说明
| 参数名 | 说明 |
|---|---|
| enable_view_optimize | 图模式调用View算子时是否开启计算优化。 False:关闭优化。 True(默认值):开启优化。 |