force_eager功能

功能简介

当模型执行出现问题,无法确定是源于npugraph_ex的图变换操作(IR converter、Cache compile等操作)还是图执行器导致的,建议启用本配置项。

本配置项提供了图模式执行之前以Eager模式执行FX graph的能力,通过对比前后模型执行效果,辅助问题定界。

使用约束

使用方法

该功能通过npugraph_ex的options配置,示例如下,仅供参考不支持直接拷贝运行,参数说明参见下表。

import torch
import torch_npu
opt_model = torch.compile(model, backend="npugraph_ex", options={"force_eager": True})

表 1 参数说明

参数名 参数说明
force_eager 图执行前是否使用Eager模式运行,布尔类型。
False(默认值):不启动Eager模式,以aclgraph图模式运行。
True:启动Eager模式运行。
支持npugraph_ex对aclgraph图增强优化功能,但是不进行aclgraph的Capture&Replay,便于进行aclgraph Runtime层问题定位。