CTPN模型-推理指导
概述
CTPN是一种文字检测算法，它结合了CNN与LSTM深度网络，能有效的检测出复杂场景的横向分布的文字CTPN。作者开发了一种垂直锚定机制，可以联合预测每个固定宽度提议的位置和文本/非文本得分，大大提高了定位精度。序列提议通过循环神经网络自然连接，并与卷积网络无缝结合，形成一个端到端的可训练模型，这使得CTPN可以探索丰富的图像上下文信息，使其强大的检测极其模糊的文本。CTPN可以在多尺度和多语言文本上可靠地工作，而无需进一步的后处理，这与以前自下而上的方法需要多步后处理不同。CTPN只预测文本的竖直方向上的位置，水平方向的位置不预测，从而检测出长度不固定的文本。
-
参考实现：
url=https://github.com/CrazySummerday/ctpn.pytorch branch=master commit_id=99f6baf2780e550d7b4656ac7a7b90af9ade468f
输入输出数据
-
输入数据
输入数据 数据类型 大小 数据排布格式 input RGB_FP32 batchsize x 3 x h x w NCHW -
输出数据
输出数据 数据类型 大小 数据排布格式 output1 FLOAT32 batchsize x ((h // 16) * (w // 16)) x 2 ND output2 FLOAT32 batchsize x ((h // 16) * (w // 16)) x 2 ND
推理环境准备
-
该模型需要以下插件与驱动
表 1 版本配套表
配套 版本 环境准备指导 固件与驱动 1.0.16 Pytorch框架推理环境准备 CANN 5.1.RC2 - Python 3.7.5 \ 说明：Atlas 300I Duo 推理卡请以CANN版本选择实际固件与驱动版本。 \ \
快速上手
获取源码
-
获取源码。
git clone https://github.com/CrazySummerday/ctpn.pytorch.git -b master cd ctpn.pytorch git reset 99f6baf2780e550d7b4656ac7a7b90af9ade468f –hard cd ..源码目录结构如下：
├──ctpn.pytorch //开源仓目录 ├──ctpn_preprocess.py ├──ctpn_postprocess.py ├──ctpn_pth2onnx.py ├──config.py ├──image_kmeans.py ├──task_process.py ├──LICENCE ├──requirements.txt ├──README.md ├──modelzoo_level.txt ├──performance_gpu.py -
安装依赖。
pip3 install -r requirements.txt
准备数据集
-
获取原始数据集。
本模型支持ICDAR2013 数据集及相应精度评测代码。用户可自行获取ICDAR2013数据集及评测方法代码上传到服务器，可放置于任意路径下，以"./datasets"和"./script"目录为例。
├──datasets ├──Challenge2_Test_Task12_Images ├──script //精度验证时会用到 ├──gt.zip ├──readme.txt ├──rrc_evaluation_funcs_1_1.py ├──script.py -
数据预处理。
数据预处理将原始数据集转换为模型输入的数据。
因为该模型根据图片输入形状采用分档输入，一共分为了10档，因此需要生成不同分辨率的预处理文件，为简化步骤、避免浪费不必要的时间，直接将相应的预处理程序放在任务处理的"task_process.py"脚本中，该脚本会自动删除和创建数据预处理的文件夹，以及调用预处理“ctpn_preprocess.py”程序。执行task_process.py脚本，完成预处理。
python3 task_process.py --interpreter=python3 --mode=preprocess --src_dir=./datasets/Challenge2_Test_Task12_Images --res_dir ./pre_bin/images_bin- 参数说明：
- --interpreter:解释器路径。
- --mode：脚本处理的方式。
- --src_dir：输入文件的目录。
- --res_dir：得到的文件的目录。
预处理后生成结果目录结构如下：
├──pre_bin ├──images_bin_248x360 ├──images_bin_1000x462 ├──images_bin_280x550 ├──images_bin_650x997 ├──images_bin_458x440 ├──images_bin_319x973 ├──images_bin_997x744 ├──images_bin_631x471 ├──images_bin_477x636 ├──images_bin_753x1000 - 参数说明：
模型推理
-
模型转换。
使用Torch将模型权重文件.pth转换为.onnx文件，再使用ATC工具将.onnx文件转为离线推理模型文件.om文件。
-
获取权重文件。
权重文件在./ctpn.pytorch/weights/ 目录下，文件名称为ctpn.pth。
-
导出onnx文件。
-
使用ctpn_pth2onnx.py导导出onnx文件。
运行ctpn_pth2onnx.py导脚本。
python3 ctpn_pth2onnx.py --pth_path=./ctpn.pytorch/weights/ctpn.pth --onnx_path=./- 参数说明
- --pth_path：权重文件路径。
- --onnx_path：生成的onnx文件路径
获得onnx文件如下：
├──./ ├──ctpn_280x550.onnx ├──ctpn_248x360.onnx ├──ctpn_319x973.onnx ├──ctpn_458x440.onnx ├──ctpn_477x636.onnx ├──ctpn_631x471.onnx ├──ctpn_650x997.onnx ├──ctpn_753x1000.onnx ├──ctpn_997x744.onnx ├──ctpn_1000x462.onnx - 参数说明
-
-
使用ATC工具将ONNX模型转OM模型。
-
配置环境变量。
source /usr/local/Ascend/ascend-toolkit/set_env.sh -
执行命令查看芯片名称。
npu-smi info #该设备芯片名为Ascend310P3 （自行替换） 回显如下： +-------------------+-----------------+------------------------------------------------------+ | NPU Name | Health | Power(W) Temp(C) Hugepages-Usage(page) | | Chip Device | Bus-Id | AICore(%) Memory-Usage(MB) | +===================+=================+======================================================+ | 0 310P3 | OK | 15.8 42 0 / 0 | | 0 0 | 0000:82:00.0 | 0 1074 / 21534 | +===================+=================+======================================================+ | 1 310P3 | OK | 15.4 43 0 / 0 | | 0 1 | 0000:89:00.0 | 0 1070 / 21534 | +===================+=================+======================================================+ -
执行ATC命令。
atc --framework=5 --model=ctpn_1000x462.onnx --output=ctpn_bs1 --input_format=NCHW --input_shape="image:1,3,-1,-1" --dynamic_image_size="248,360;280,550;319,973;458,440;477,636;631,471;650,997;753,1000;997,744;1000,462" --log=error --soc_version=Ascend${chip_name}- 参数说明：
- --model：为ONNX模型文件。
- --framework：5代表ONNX模型。
- --output：输出的OM模型。
- --input_format：输入数据的格式。
- --input_shape：输入数据的shape。
- --log：日志级别。
- --soc_version：处理器型号。
- --dynamic_image_size：设置输入图片的动态分辨率参数。
运行成功后生成ctpn_bs1.om模型文件。
- 参数说明：
-
-
-
开始推理验证。
-
安装ais_bench推理工具。
请访问ais_bench推理工具代码仓，根据readme文档进行工具安装。
-
执行推理。
python3 task_process.py --interpreter="python3 -m ais_bench" --om_path=./ctpn_bs1.om --src_dir=./pre_bin/images_bin --res_dir=./result --batch_size=1 --device=0- 参数说明：
- --interpreter:推理工具。
- --om_path：om文件路径。
- --src_dir：输入的bin文件路径。
- --res_dir：得到的结果文件夹。
- --batch_size：模型batch。
- --device：NPU设备编号。
推理后的输出在推理结果文件路径下result文件夹。
性能计算方式：
设输入数据根据宽高的不同分为 nn 组，第 ii 组的性能为 fif_i，第 ii 组的数据集大小为 sis_i，则模型的综合性能的计算公式为：
performance=∑infi∗si∑insiperformance = \frac{\sum_i^n f_i*s_i}{\sum_i^ns_i}
- 参数说明：
-
精度验证。
调用脚本与原图片处理后文件比对，可以获得Accuracy数据，结果保存在result.json中。
python3 ctpn_postprocess.py --imgs_dir=./datasets/Challenge2_Test_Task12_Images --bin_dir=./result --predict_txt=./result/predict_txt zip -j ./script/predict_txt.zip ./result/predict_txt/* python3 script/script.py -g=./script/gt.zip –s=./script/predict_txt.zip > result.json- 参数说明：
- --imgs_dir：图片文件路径
- --bin_dir：输出结果bin文件路径。
- --predict_txt：模型后处理结果文件路径。
- -g：标杆文件。
- –s：推理结果文件。
- 参数说明：
-
模型推理性能&精度
调用ACL接口推理计算，性能参考下列数据。
| 芯片型号 | Batch Size | 数据集 | 精度 | 性能 |
|---|---|---|---|---|
| 300I PRO | 1 | ICDAR2013 | precision: 86.84%;recall: 75.05%;hmean: 80.51% | 141.11 |
| 300I PRO | 4 | ICDAR2013 | precision: 86.84%;recall: 75.05%;hmean: 80.51% | 153.24 |
| 300I PRO | 8 | ICDAR2013 | precision: 86.84%;recall: 75.05%;hmean: 80.51% | 167.68 |
| 300I PRO | 16 | ICDAR2013 | precision: 86.84%;recall: 75.05%;hmean: 80.51% | 162.42 |
| 300I PRO | 32 | ICDAR2013 | precision: 86.84%;recall: 75.05%;hmean: 80.51% | 164.31 |
| 300I PRO | 64 | ICDAR2013 | precision: 86.84%;recall: 75.05%;hmean: 80.51% | 160.14 |