算子在线编译选项

功能简介

模型编译时，支持用户在线编译和使用编译好的算子二进制文件。用户根据实际情况自行设置。

使用约束

本功能仅适用于GE图模式场景。

使用方法

该功能通过torchair.get_npu_backend中compiler_config配置，示例如下，仅供参考不支持直接拷贝运行，参数说明参见下表。

import torch_npu, torchair 
config = torchair.CompilerConfig()
# 算子在线编译选项配置
config.experimental_config.jit_compile = "auto"
npu_backend = torchair.get_npu_backend(compiler_config=config)
opt_model = torch.compile(model, backend=npu_backend)

表 1 参数说明

参数名	说明
jit_compile	算子编译方式，默认值为“auto”。当前仅支持“auto”，系统自行判断编译方式。 针对静态shape网络，选择在线编译算子。 针对动态shape网络，优先查找系统中已编译好的算子二进制，如果查找不到对应的二进制，再在线编译算子。