AlphaPose模型-推理指导
概述
AlphaPose 是一个精准的多人姿态估计系统，是首个在 COCO 数据集上可达到 70+ mAP（72.3 mAP，高于 Mask-RCNN 8.2 个百分点），在 MPII 数据集上可达到 80+ mAP（82.1 mAP）的开源系统。为了能将同一个人的所有姿态关联起来，AlphaPose 还提供了一个称为 Pose Flow 的在线姿态跟踪器，这也是首个在 PoseTrack 挑战数据集上达到 60+ mAP（66.5 mAP）和 50+ MOTA（58.3 MOTA）的开源在线姿态跟踪器。
-
参考实现：
url=https://github.com/MVIG-SJTU/AlphaPose.git branch=master commit_id=ddaf4b99327132f7617a768a75f7cb94870ed57c
输入输出数据
-
输入数据
输入数据 数据类型 大小 数据排布格式 image FLOAT32 batchsize x 3 x 256 x 192 NCHW -
输出数据
输出数据 大小 数据类型 数据排布格式 output batch_size x 17 x 64 x 48 FLOAT32 NCHW
推理环境准备[所有版本]
-
该模型需要以下插件与驱动
表 1 版本配套表
| 配套 | 版本 | 环境准备指导 |
|---|---|---|
| 固件与驱动 | 1.0.17 | Pytorch框架推理环境准备 |
| CANN | 6.0.RC1 | - |
| Python | 3.7.5 | - |
| PyTorch | 1.5.0+ | - |
| 说明：Atlas 300I Duo 推理卡请以CANN版本选择实际固件与驱动版本。 | \ | \ |
快速上手
获取源码
-
获取源码。
git clone https://gitcode.com/ascend/ModelZoo-PyTorch.git # 克隆仓库的代码 git checkout master # 切换到对应分支 cd ACL_PyTorch/contrib/cv/detection/AlphaPose # 切换到模型的代码仓目录 -
安装依赖。
pip3 install -r requirements.txt git clone https://github.com/cocodataset/cocoapi.git cd cocoapi/PythonAPI/ make -j8 python3.7 setup.py install cd - -
获取开源代码仓。 在已下载的源码包根目录下，执行如下命令。
git clone https://github.com/MVIG-SJTU/AlphaPose.git ./AlphaPose cd AlphaPose git reset ddaf4b99327132f7617a768a75f7cb94870ed57c --hard git pull origin pull/592/head # Ctrl-x退出 patch -p1 < ../AlphaPose.patch python3.7 setup.py build develop cd ..
准备数据集
-
获取原始数据集。
本模型采用 coco_val2017 ，解压到data文件夹下（如不存在则需要新建）
数据目录结构请参考：
data └── coco ├── annotations └── val2017 -
数据预处理。
数据预处理将原始数据集转换为模型输入的数据。该模型预处理数据依赖模型推理，需要下载对应模型权重：
获取fast_res50_256x192.pth，在工程目录下新建文件夹models，将pth文件放置到models文件夹内：
mkdir -p models mv fast_res50_256x192.pth models获取yolov3-spp.weights放到对应文件夹下：
mkdir -p ./AlphaPose/detector/yolo/data mv yolov3-spp.weights ./AlphaPose/detector/yolo/data执行预处理脚本，生成数据集预处理后的bin文件:
python3 preprocess.py --dataroot ./data/coco --output ./prep_data --output_flip ./prep_data_flip-
参数说明：
--dataroot: 数据集文件位置。
--output：非flip输出文件位置。
--output_flip：flip输出文件位置。
-
模型推理
-
模型转换。
使用PyTorch将模型权重文件.pth转换为.onnx文件，再使用ATC工具将.onnx文件转为离线推理模型文件.om文件。
-
获取权重文件。
相关权重文件已通过预处理步骤下载得到。
-
导出onnx文件。
-
使用脚本导出onnx文件。
运行pth2onnx.py脚本。
# pth转换为ONNX mkdir -p models python3 pth2onnx.py AlphaPose/configs/coco/resnet/256x192_res50_lr1e-3_1x.yaml models/fast_res50_256x192.pth models/fast_res50_256x192.onnx- 参数说明：第一个参数为模型配置文件，第二个参数是模型权重路径，第三个参数是导出onnx文件路径。
获得models/fast_res50_256x192.onnx文件。
-
-
优化onnx。
# 以bs1为例 python3 -m onnxsim --input-shape="image:1,3,256,192" models/fast_res50_256x192.onnx models/fast_res50_256x192_bs1.onnx -
使用ATC工具将ONNX模型转OM模型。
-
配置环境变量。
source /usr/local/Ascend/ascend-toolkit/set_env.sh说明： 该脚本中环境变量仅供参考，请以实际安装环境配置环境变量。详细介绍请参见《CANN 开发辅助工具指南 (推理)》。
-
执行命令查看芯片名称（${chip_name}）。
npu-smi info #该设备芯片名为Ascend310P3 （自行替换） 回显如下： +-------------------|-----------------|------------------------------------------------------+ | NPU Name | Health | Power(W) Temp(C) Hugepages-Usage(page) | | Chip Device | Bus-Id | AICore(%) Memory-Usage(MB) | +===================+=================+======================================================+ | 0 310P3 | OK | 15.8 42 0 / 0 | | 0 0 | 0000:82:00.0 | 0 1074 / 21534 | +===================+=================+======================================================+ | 1 310P3 | OK | 15.4 43 0 / 0 | | 0 1 | 0000:89:00.0 | 0 1070 / 21534 | +===================+=================+======================================================+ -
执行ATC命令。
# 以bs1为例 atc --framework=5 --model=models/fast_res50_256x192_bs1.onnx --output=models/fast_res50_256x192_bs1 --input_format=NCHW --input_shape="image:1,3,256,192" --log=debug --soc_version=${chip_name}-
参数说明：
- --model：为ONNX模型文件。
- --framework：5代表ONNX模型。
- --output：输出的OM模型。
- --input_format：输入数据的格式。
- --input_shape：输入数据的shape。
- --log：日志级别。
- --soc_version：处理器型号。
运行成功后生成模型文件models/fast_res50_256x192_bs1.om。
-
-
-
-
开始推理验证。
-
使用ais-bench工具进行推理。
ais-bench工具获取及使用方式请点击查看[ais_infer 推理工具使用文档]
-
执行推理。
# 以bs1为例,该模型需要同时推理两份数据，得到最佳结果 mkdir -p results/bs1 python3 -m ais_bench --model ./models/fast_res50_256x192_bs1.om --input ./prep_data --output ./results --output_dirname bs1 --batchsize 1 mkdir -p results/bs1_flip python3 -m ais_bench --model ./models/fast_res50_256x192_bs1.om --input ./prep_data_flip --output ./results --output_dirname bs1_flip --batchsize 1-
参数说明：
- --model：om文件路径。
- --input：输入文件。
- --output：输出目录。
- --output_dirname：保存目录名。
- --device：NPU设备编号。
- --outfmt: 输出数据格式。
- --batchsize：推理模型对应的batchsize。
推理后的输出默认在当前目录outputs/bs1下。
-
-
精度验证。
调用postprocess.py脚本与数据集标签比对，获得Accuracy数据。
# 以bs1为例 python3 postprocess.py --dataroot ./data/coco --dump_dir ./result/bs1 --dump_dir_flip ./result/bs1_flip- 参数说明：
--dataroot：数据集所在路径。 --dump_dir：非flip推理结果所在路径。 --dump_dir_flip：flip推理结果所在路径。 -
模型推理性能&精度
精度参考下列数据:
| 模型 | pth精度 | 300I PRO离线推理精度 | 基准性能 | 300I PRO性能 |
|---|---|---|---|---|
| AlphaPose bs1 | mAP:71.73 | mAP:71.47 | 627.502fps | 864.15fps |
| AlphaPose bs16 | mAP:71.73 | mAP:71.47 | 1238.543fps | 1772.40fps |
| AlphaPose bs4 | 1082.605fps | 1641.56fps | ||
| AlphaPose bs8 | 1196.666fps | 1703.80fps | ||
| AlphaPose bs32 | 1400.707fps | 1412.49fps | ||
| AlphaPose bs64 | 1449.932fps | 1405.04fps |