在类似增强现实和自动驾驶的应用中，自定位/相机姿态估计（self-localization/camera pose Estimation）和场景解析都是关键的技术。在本论文中，我们提出了一个统一的框架来同时解决这两个问题。为了实现系统的稳健性和效率，我们设计了独特的传感器融合方案。
该方案融合了摄像机视频、运动传感器(GPS/IMU)和三维语图。具体地说，我们首先从消费级的运动传感器(GPS/IMU)中获得一个初始的粗略相机姿态，基于此姿态和三维语图可以渲染出标签图像。然后，将渲染出的标签图像（rendered label map）和RGB图像共同输入到姿态卷积神经网络中，从而获得纠正过相机姿态。
此周公解梦 梦见洗头外，为了融合时间信息，我们进一步采用了多层循环神经网络(RNN)提高了姿态精度。最后，基于循环神经网络的输出的姿态，我们渲染新的标签图像并且联同RGB图像一起被输入到用于分割的卷积神经网络中，该卷积神经网络输出像素级别的语义标签。为了验证我们的方法，我们用配准过的三维点云和视频图像构建了一个数据集。点云和图像都具备语义标签。每个视频帧都有来自高精度运动传感器的地面真实姿态。我们发现在实际应用中，单靠图像的姿态估计网络可能会由于街景的混淆而失败，因此多传感器融合常重要的。最后，我们进行了各种消融研究，验证了该系统的有效性。特别地，我们证明了场景解析和姿态估计对于实现一个更加稳定和精确的系统是相互有利的。
是移动机器人必不可少的能力。在本文中，我们提出一个通用和有效3M（多机器人、多场景、多阶段)训练框架。我们使用了鲁棒的策略梯度算法（policy gradient algorithm）来优化无地图策略。我们的方法可用于不同类型的移动平台，并且能够在复杂和高度动态的中安全，例如拥挤的人群。为了证明我们的方法的优越性，我们在四种移动平台上并在四种场景中测试了我们的方法。
本文由来源于财鼎国际(www.hengpunai.cn)