create_prune_retrain_model

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	通道稀疏：√ 4选2结构化稀疏接口：x
Atlas A3 训练系列产品/Atlas A3 推理系列产品	通道稀疏：√ 4选2结构化稀疏接口：√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	通道稀疏：√ 4选2结构化稀疏接口：√

注：上述4选2结构化稀疏特性，标记“x”的产品，调用接口不会报错，但是获取不到性能收益。

功能说明

通道稀疏或4选2结构化稀疏接口，两种稀疏特性每次只能使能一个：将输入的待稀疏的图结构按照给定的稀疏配置文件进行稀疏处理，在传入的图结构中插入或者替换相关的算子，生成记录稀疏信息的record_file，返回修改后可用于稀疏后训练的torch.nn.Module模型。

函数原型

prune_retrain_model = create_prune_retrain_model (model, input_data, config_defination, record_file)

参数说明

参数名	输入/输出	说明
model	输入	含义：待进行稀疏的模型，已加载权重。数据类型：torch.nn.Module
input_data	输入	含义：模型的输入数据。一个torch.tensor会被等价为tuple(torch.tensor)。数据类型：tuple
config_defination	输入	含义：简易配置文件。基于retrain_config_pytorch.proto文件生成的简易配置文件prune.cfg，.proto文件所在路径为：AMCT安装目录/amct_pytorch/proto/。.proto文件参数解释以及生成的prune.cfg简易量化配置文件样例请参见量化感知训练简易配置文件。数据类型：string
record_file	输入	含义：记录稀疏信息的文件路径及名称，记录通道稀疏结点间的级联关系或记录4选2稀疏的节点。数据类型：string

通道稀疏支持的层及约束

表 1 通道稀疏支持的层以及约束

优化方式	支持的层类型	约束
通道稀疏	torch.nn.Linear：全连接层	复用层（共用weight和bias参数）不支持稀疏。
通道稀疏	torch.nn.Conv2d：卷积层	复用层（共用weight和bias参数）不支持稀疏。 depthwise只能被动稀疏(groups=in_channels)，不能主动稀疏。只支持input data的shape为(N, Cin, Hin, Win)。

4选2结构化稀疏支持的层及约束

表 1 支持的层以及约束

优化方式	支持的层类型	约束
4选2结构化稀疏	torch.nn.Linear：全连接层	复用层（共用weight）不支持稀疏。
torch.nn.Conv2d：卷积层	复用层（共用weight）不支持稀疏。只支持input data的shape为(N, Cin, Hin, Win)。
torch.nn.ConvTranspose2d：反卷积层	复用层（共用weight）不支持稀疏。只支持input data的shape为(N, Cin, Hin, Win)。

优化方式

支持的层类型

约束

4选2结构化稀疏

torch.nn.Linear：全连接层

复用层（共用weight）不支持稀疏。

torch.nn.Conv2d：卷积层

复用层（共用weight）不支持稀疏。
只支持input data的shape为(N, Cin, Hin, Win)。

torch.nn.ConvTranspose2d：反卷积层

复用层（共用weight）不支持稀疏。
只支持input data的shape为(N, Cin, Hin, Win)。

返回值说明

返回修改后可用于稀疏后训练的torch.nn.Module模型。

调用示例

import amct_pytorch as amct
# 建立待进行稀疏的网络图结构
model = build_model()
model.load_state_dict(torch.load(state_dict_path))
input_data = tuple([torch.randn(input_shape)])
 
# 调用稀疏模型API
record_file = os.path.join(TMP, 'scale_offset_record.txt')
cfg_file = './prune_config.cfg'
prune_retrain_model = amct.create_prune_retrain_model(
               model,
               input_data,
               cfg_file,
               record_file)