下图展示了 COCO 预训练模型的推理吞吐量与验证 AP 的可视化。吞吐量是在单张 V100 GPU、batch size 64 的条件下测量的。
注意
姿态估计功能在 GluonCV 0.4 版本中发布。请务必通过 pip install gluoncv --upgrade 更新你的安装来尝试该功能。
MS COCO 关键点¶
提示
对于 COCO 数据集，训练图像集是 train2017，验证图像集是 val2017。
COCO 指标，即 IoU 阈值为 0.5:0.95 (平均 10 个值，AP 0.5:0.95)、0.5 (AP 0.5) 和 0.75 (AP 0.75) 的平均精度 (AP)，以 (AP 0.5:0.95)/(AP 0.5)/(AP 0.75) 的格式一起报告。
COCO 关键点指标评估的是物体关键点相似度 AP。请阅读官方文档以获得详细介绍。
通过对原始输入和翻转输入的预测结果进行平均，我们可以获得更高的性能。这里我们报告了使用和不使用翻转集成的预测性能。
使用 ResNet 的 Simple Pose¶
请查看此处的演示教程：1. 使用预训练 Simple Pose Estimation 模型进行预测
大多数模型在输入尺寸 256x192 下训练，除非另有说明。具有灰色名称的参数可以通过传递相应的哈希标签下载。
下载默认预训练权重：
net = get_model('simple_pose_resnet152_v1d', pretrained=True)根据哈希标签下载权重：
net = get_model('simple_pose_resnet152_v1d', pretrained='2f544338')
模型 |
OKS AP |
OKS AP (带翻转) |
哈希标签 |
训练命令 |
训练日志 |
|---|---|---|---|---|---|
simple_pose_resnet18_v1b [1]_ |
66.3/89.2/73.4 |
68.4/90.3/75.7 |
f63d42ac |
||
simple_pose_resnet18_v1b [1]_ (128x96) |
52.8/83.6/57.9 |
54.5/84.8/60.3 |
ccd24037 |
||
simple_pose_resnet50_v1b [1]_ |
71.0/91.2/78.6 |
72.2/92.2/79.9 |
e2c7b1ad |
||
simple_pose_resnet50_v1d [1]_ |
71.6/91.3/78.7 |
73.3/92.4/80.8 |
ba2675b6 |
||
simple_pose_resnet101_v1b [1]_ |
72.4/92.2/79.8 |
73.7/92.3/81.1 |
b7ec0de1 |
||
simple_pose_resnet101_v1d [1]_ |
73.0/92.2/80.8 |
74.2/92.4/82.0 |
1f8f48fd |
||
simple_pose_resnet152_v1b [1]_ |
72.4/92.1/79.6 |
74.2/92.3/82.1 |
ef4e0336 |
||
simple_pose_resnet152_v1d [1]_ |
73.4/92.3/80.7 |
74.6/93.4/82.1 |
3ca502ea |
||
simple_pose_resnet152_v1d [1]_ (384x288) |
74.8/92.3/82.0 |
76.1/92.4/83.2 |
2f544338 |
移动姿态模型¶
通过替换骨干网络，并使用像素重排层而不是反卷积，我们可以获得非常快速的模型。
这些模型适用于边缘设备应用，部署教程将很快推出。
模型在输入尺寸 256x192 下训练，除非另有说明。
模型 |
OKS AP |
OKS AP (带翻转) |
哈希标签 |
训练命令 |
训练日志 |
|---|---|---|---|---|---|
mobile_pose_resnet18_v1b [1]_ |
66.2/89.2/74.3 |
67.9/90.3/75.7 |
dd6644eb |
||
mobile_pose_resnet50_v1b [1]_ |
71.1/91.3/78.7 |
72.4/92.3/79.8 |
ec8809df |
||
mobile_pose_mobilenet1.0 [1]_ |
64.1/88.1/71.2 |
65.7/89.2/73.4 |
b399bac7 |
||
mobile_pose_mobilenetv2_1.0 [1]_ |
63.7/88.1/71.0 |
65.0/89.2/72.3 |
4acdc130 |
||
mobile_pose_mobilenetv3_large [1]_ |
63.7/88.9/70.8 |
64.5/89.0/72.0 |
1ca004dc |
||
mobile_pose_mobilenetv3_small [1]_ |
54.3/83.7/59.4 |
55.6/84.7/61.7 |
b1b148a9 |
AlphaPose¶
请查看此处的演示教程：2. 使用预训练 AlphaPose Estimation 模型进行预测
Alpha Pose 模型在输入尺寸 (320*256) 下评估，除非另有说明。用法与 Simple Pose 部分类似。
模型 |
OKS AP |
OKS AP (带翻转) |
哈希标签 |
训练命令 |
训练日志 |
|---|---|---|---|---|---|
alpha_pose_resnet101_v1b_coco [2]_ |
74.2/91.6/80.7 |
76.7/92.6/82.9 |
de56b871 |