Starnet_Resnet34_tps模型-推理指导
概述
Starnet是一个对于不规则的文字具有鲁棒性的识别模型模型，参考论文[STAR-Net: a spatial attention residue network for scene text recognition.]，对于标准的文本的效果会更差一些，且处理效率较CRNN会更低
-
参考实现：
url=https://github.com/PaddlePaddle/PaddleOCR.git branch=release/2.5 commit_id=a40f64a70b8d290b74557a41d869c0f9ce4959d5 model_name=Starnet_Resnet34
输入输出数据
-
输入数据
输入数据 数据类型 大小 数据排布格式 input RGB_FP32 batchsize x 3 x 32 x 100 NCHW -
输出数据
输出数据 数据类型 大小 数据排布格式 output1 FLOAT32 batchsize x 25 x 37 ND
推理环境准备
-
该模型需要以下插件与驱动
表 1 版本配套表
配套 版本 环境准备指导 固件与驱动 22.0.2.3 Pytorch框架推理环境准备 CANN 6.0.RC1 - Python 3.7.5 - PyTorch 1.12.1 - paddlepaddle 2.3.2 该依赖只支持x86 说明：Atlas 300I Duo 推理卡请以CANN版本选择实际固件与驱动版本。 \ \
快速上手
获取源码
-
获取源码。
git clone -b release/2.5 https://github.com/PaddlePaddle/PaddleOCR.git cd PaddleOCR git reset --hard a40f64a70b8d290b74557a41d869c0f9ce4959d5 git apply ../Starnet_Resnet34_vd.patch cd .. -
安装依赖。
pip3 install -r requirements.txt cd PaddleOCR python3 setup.py install export PYTHONPATH=$(echo $(pwd)):$PYTHONPATH cd .. git clone https://gitcode.com/ascend/auto-optimizer.git cd auto-optimizer pip3 install -r requirements.txt python3 setup.py install cd ..
准备数据集
-
获取原始数据集。
该模型在以LMDB格式(LMDBDataSet)存储的IIIT, SVT, IC03, IC13, IC15, SVTP, CUTE数据集上进行评估，共计12067个评估数据，数据介绍参考[DTRB]，数据集[下载链接]。
下载后将其中的
evaluation.zip压缩包存放在RARE_Resnet34_vd目录下，并通过以下命令进行解压。mkdir -p ./train_data/data_lmdb_release/ unzip -d ./train_data/data_lmdb_release/ evaluation.zip mv ./train_data/data_lmdb_release/evaluation ./train_data/data_lmdb_release/validation -
数据预处理。
数据预处理将原始数据集转换为模型输入的数据。
在
Starnet_Resnet34工作目录下，执行Starnet_Resnet34_tps_preprocess.py脚本，完成预处理。python3 Starnet_Resnet34_tps_preprocess.py \ --config=PaddleOCR/configs/rec/rec_r34_vd_tps_bilstm_ctc.yml \ --opt=bin_data=rare_bindata-
参数说明：
- --config：模型配置文件。
- --opt=bin_data：bin文件保存路径。
运行后在当前目录下的
rare_bindata路径中保存生成的二进制数据。 -
模型推理
-
模型转换。
使用
paddle2onnx将模型权重文件转换为.onnx文件，再使用ATC工具将.onnx文件转为离线推理模型文件.om文件。- 获取权重文件。
训练权重链接为：
在`Starnet_Resnet34`工作目录下可通过以下命令获取训练权重并转为推理模型。
```
wget -nc -P ./checkpoint https://paddleocr.bj.bcebos.com/dygraph_v2.0/en/rec_r34_vd_tps_bilstm_ctc_v2.0_train.tar
cd ./checkpoint && tar xf rec_r34_vd_tps_bilstm_ctc_v2.0_train.tar && cd ..
python3 PaddleOCR/tools/export_model.py \
-c PaddleOCR/configs/rec/rec_r34_vd_tps_bilstm_ctc.yml \
-o Global.pretrained_model=./checkpoint/rec_r34_vd_tps_bilstm_ctc_v2.0_train/best_accuracy \
Global.save_inference_dir=./inference/rec_star
```
- 参数说明：
- -c：模型配置文件。
- -o: 模型入参信息。
- Global.pretrained_model：权重文件保存路径。
- Global.save_inference_dir：paddleocr推理模型保存路径。
-
导出onnx文件。
-
使用paddle2onnx工具导出onnx文件。
在
RARE_MobileNetV3_tps工作目录下通过运行以下命令获取onnx模型。paddle2onnx \ --model_dir ./inference/rec_star \ --model_filename inference.pdmodel \ --params_filename inference.pdiparams \ --save_file ./Starnet_Resnet34_tps_dybs.onnx \ --opset_version 11 \ --enable_onnx_checker True参数说明请通过
paddle2onnx -h命令查看。运行后在
Starnet_Resnet34目录下获得Starnet_Resnet34_vd_dybs.onnx文件。 -
优化ONNX文件。
使用onnxsim工具优化onnx模型，命令如下。
python3 -m onnxsim Starnet_Resnet34_tps_dybs.onnx Starnet_Resnet34_tps_sim_dybs.onnx --skip-shape-inference使用opt_onnx.py脚本优化onnx模型，主要是替换GridSample算子。
python3 opt_onnx.py \ --in_onnx=./Starnet_Resnet34_tps_sim_dybs.onnx \ --out_onnx=./Starnet_Resnet34_tps_sim_fix_dybs.onnx-
参数说明：
- --in_onnx：输入ONNX模型文件。
- --out_onnx：输出ONNX模型文件。
获得Starnet_Resnet34_tps_sim_fix_dybs.onnx文件。
-
-
-
使用ATC工具将ONNX模型转OM模型。
-
配置环境变量。
source /usr/local/Ascend/ascend-toolkit/set_env.sh说明： 该脚本中环境变量仅供参考，请以实际安装环境配置环境变量。详细介绍请参见《CANN 开发辅助工具指南 (推理)》。
-
执行命令查看芯片名称（${chip_name}）。
npu-smi info #该设备芯片名为Ascend310P3 （自行替换） 回显如下： +-------------------+-----------------+------------------------------------------------------+ | NPU Name | Health | Power(W) Temp(C) Hugepages-Usage(page) | | Chip Device | Bus-Id | AICore(%) Memory-Usage(MB) | +===================+=================+======================================================+ | 0 310P3 | OK | 15.8 42 0 / 0 | | 0 0 | 0000:82:00.0 | 0 1074 / 21534 | +===================+=================+======================================================+ | 1 310P3 | OK | 15.4 43 0 / 0 | | 0 1 | 0000:89:00.0 | 0 1070 / 21534 | +===================+=================+======================================================+ -
执行ATC命令。
atc --framework=5 \ --model=./Starnet_Resnet34_tps_sim_fix_dybs.onnx \ --output=./Starnet_Resnet34_tps_bs${batchsize} \ --input_format=NCHW \ --input_shape="x:${batchsize},3,32,100" \ --log=error \ --soc_version=Ascend${chip_name}-
参数说明：
- --model：为ONNX模型文件。
- --framework：5代表ONNX模型。
- --output：输出的OM模型。
- --input_format：输入数据的格式。
- --input_shape：输入数据的shape。
- --log：日志级别。
- --soc_version：处理器型号。
${batchsize}表示om模型可支持不同batch推理，可取值为：1，4，8，16，32，64。 运行成功后生成RARE_Resnet34_vd_bs${batchsize}.om模型文件。
-
-
-
开始推理验证。
a. 使用ais-infer工具进行推理。
ais-infer工具获取及使用方式请点击查看[ais_infer 推理工具使用文档]
b. 执行推理。
python3 -m ais_bench \ --model=./Starnet_Resnet34_tps_bs${batchsize}.om \ --input=./rare_bindata \ --batchsize=${batchsize} \ --output=./-
参数说明：
- --model：om模型路径。
- --input：bin文件路径。
- --batchsize：om模型的batch。
- --output：推理结果保存路径。
${path_to_ais-infer}为ais_infer.py脚本的存放路径。${batchsize}表示不同batch的om模型。推理完成后在当前
Starnet_Resnet34_tps工作目录生成推理结果。其目录命名格式为xxxx_xx_xx-xx_xx_xx(年_月_日-时_分_秒)，如2022_08_18-06_55_19。说明： 执行ais-infer工具请选择与运行环境架构相同的命令。参数详情请参见。
c. 精度验证。
执行后处理脚本
Starnet_Resnet34_tps_postprocess.py，参考命令如下：python3 Starnet_Resnet34_tps_postprocess.py \ --config=PaddleOCR/configs/rec/rec_r34_vd_tps_bilstm_ctc.yml \ --opt=results=${output_path}-
参数说明：
- --config：模型配置文件。
- --opt：推理结果路径。
${output_path}为推理结果的保存路径。
推理结果通过屏显显示，如下所示：
{'acc': 0.8437888449127465, 'norm_edit_dis': 0.9346047078147245}d. 性能验证。
可使用ais_infer推理工具的纯推理模式验证不同batch_size的om模型的性能，参考命令如下：
python3 -m ais_bench \ --model=./Starnet_Resnet34_tps_bs${batchsize}.om \ --loop=50 \ --batchsize=${batchsize}-
参数说明：
- --model：om模型路径。
- --loop：推理次数。
- --batchsize：om模型的batch。
${path_to_ais-infer}为ais_infer.py脚本的存放路径。${batchsize}表示不同batch的om模型。纯推理完成后，在ais-infer的屏显日志中
throughput为计算的模型推理性能，如下为batchsize=16时的性能测试结果（性能测试会有波动，以实际结果为准）：[INFO] throughput 1000*batchsize(16)/NPU_compute_time.mean(10.348920078277589): 112.53087529912726 -
模型推理性能&精度
调用ACL接口推理计算，性能参考下列数据。
| 芯片型号 | Batch Size | 数据集 | 精度 | 性能 |
|---|---|---|---|---|
| 300I Pro | 1 | IIIT, SVT, IC03, IC13, IC15, SVTP, CUTE | {'acc': 0.8437, 'norm_edit_dis': 0.9346} | 478.8652 fps |
| 300I Pro | 4 | IIIT, SVT, IC03, IC13, IC15, SVTP, CUTE | {'acc': 0.8437, 'norm_edit_dis': 0.9346} | 1351.03640 fps |
| 300I Pro | 8 | IIIT, SVT, IC03, IC13, IC15, SVTP, CUTE | {'acc': 0.8437, 'norm_edit_dis': 0.9346} | 1762.73029 fps |
| 300I Pro | 16 | IIIT, SVT, IC03, IC13, IC15, SVTP, CUTE | {'acc': 0.8437, 'norm_edit_dis': 0.9346} | 1983.8578 fps |
| 300I Pro | 32 | IIIT, SVT, IC03, IC13, IC15, SVTP, CUTE | {'acc': 0.8437, 'norm_edit_dis': 0.9346} | 2067.5093 fps |
| 300I Pro | 64 | IIIT, SVT, IC03, IC13, IC15, SVTP, CUTE | {'acc': 0.8437, 'norm_edit_dis': 0.9346} | 2071.3276 fps |
公网地址说明
代码涉及公网地址参考 public_address_statement.md