深度预测

MXNet Pytorch

MXNet

这是深度预测任务的模型动物园。

提示

训练命令使用此脚本： 下载 train.py

测试脚本 下载 test.py 可用于在各种数据集上评估模型。

KITTI 数据集

下表列出了在 KITTI 上训练的预训练模型。

提示

测试脚本 下载 test.py 可用于评估模型（KITTI RAW 结果使用官方服务器评估）。例如 monodepth2_resnet18_kitti_stereo_640x192

python test.py --model_zoo monodepth2_resnet18_kitti_stereo_640x192 --pretrained_type gluoncv --batch_size 1 --eval_stereo --png

注意

我们的预训练模型重现了近期最先进方法的结果。更多信息请查阅参考论文。

Modality（模态）是训练期间使用的方法。`Stereo`（立体）表示我们使用立体图像对计算损失，`Mono`（单目）表示我们使用单目图像序列计算损失，`Mono + Stereo`（单目 + 立体）表示同时使用立体图像对和单目图像序列计算损失。

Resolution（分辨率）是训练期间模型的输入尺寸。`640x192` 表示我们将原始图像 (1242x375) 重塑为 640x192。

名称	模态	分辨率	绝对相对误差	delta < 1.25	标签	训练命令	训练日志
monodepth2_resnet18_kitti_stereo_640x192 1	立体	640x192	0.114	0.860	83eea4a9	shell script	log
monodepth2_resnet18_kitti_mono_640x192 1	单目	640x192	0.121	0.858	c881771d	shell script	log
monodepth2_resnet18_kitti_mono_stereo_640x192 1	单目 + 立体	640x192	0.109	0.872	9515c219	shell script	log

PoseNet

Monodepth2 通过自监督方式同时训练深度和姿态模型。因此，我们也在此列出我们的预训练模型的重现结果。

提示

测试脚本 下载 test_pose.py 可用于评估模型（KITTI 里程计结果使用官方服务器评估）。例如 monodepth2_resnet18_posenet_kitti_mono_stereo_640x192

python test_pose.py --model_zoo_pose monodepth2_resnet18_posenet_kitti_mono_640x192 --data_path ~/.mxnet/datasets/kitti/kitti_odom --eval_split odom_9  --pretrained_type gluoncv --batch_size 1 --png

请查看完整教程 使用预训练 Monodepth2 Pose 模型从图像序列测试 PoseNet。

注意

我们的预训练模型重现了近期最先进方法的结果。更多信息请查阅参考论文。

Sequence 09 和 Sequence 10 分别表示模型在 KITTI 里程计数据集的序列 9 和序列 10 上进行测试。结果显示平均绝对轨迹误差 (ATE) 和标准差，单位为米。

名称	模态	分辨率	序列 09	序列 10
monodepth2_resnet18_posenet_kitti_mono_640x192 1	单目	640x192	0.021±0.012	0.018±0.011
monodepth2_resnet18_posenet_kitti_mono_stereo_640x192 1	单目 + 立体	640x192	0.021±0.010	0.016±0.010

PyTorch

使用 PyTorch 实现的模型将在后续添加。请先查看我们的 MXNet 实现。

参考

1(1,2,3,4,5)

Clement Godard, Oisin Mac Aodha, Michael Firman and Gabriel J. Brostow. “Digging into Self-Supervised Monocular Depth Prediction.” Proceedings of the International Conference on Computer Vision (ICCV), 2019.