单目视觉 SLAM 系统-DROID-SLAM

基于特征的单目视觉 SLAM 系统（称为ORB-SLAM）被认为是值得信赖且全面的。它利用了旋转的BRIEF（二进制鲁棒独立基本特征）和定向FAST（来自加速分段测试的特征）特征检测器（ORB）

与其他基于立体视觉的技术相比，它只需要一个单镜头相机，使其成为技术上更简单的解决方案，具有更简单的校准方法。

普林斯顿大学提出了一种基于深度学习的全新SLAM系统。通过使用密集束调整层， DROID-SLAM包括对相机姿势、相机角度和像素级深度的重复迭代调整。“可微循环优化启发设计”（DROID）是一种端到端可微设计，融合了传统方法和深度网络的优点，使得 DROID-SLAM 具有强大的性能和泛化能力。它包括重复的迭代更新，在光流的RAFT基础上进行扩展，同时提供两项重大改进。

首先，它迭代地更新相机姿态和深度，而不是 RAFT 的[循环全对场变换]光流迭代更新。与仅适用于两帧的 RAFT 相比，DROID-SLAM 的更 新允许对所有相机姿势和深度图进行全局联合细化，这对于减少长轨迹和回环的漂移是必要的。

其次，可微的密集束调整（DBA）层计算相机姿势和密集每像素深度的高斯-牛顿更新，以最 大限度地满足最 新光流估计的合规性。该层创建 DROID-SLAM 中相机姿势和深度图的每次更新。由于 DBA 层使用了几何约束，单目系统无需重新训练即可接受立体或 RGB-D 输入，这也提高了准确性和鲁棒性。

DROID-SLAM 准确，显着优于早期研究，并且具有弹性，灾难性故障显着减少。尽管是在单目视频上进行训练的，但它可以使用立体或 RGB-D 视频在测试中表现更好

系统概述：

初始化：收集帧直到计数达到 12，累积它，然后通过在捆绑调整的特定时间戳之后在关键帧之间创建边缘来初始化帧图。

前端：它维护关键帧的集合和存储可见关键帧之间边缘的帧图。借助平均光流测量的 3 个最近邻进行特征提取和图形创建。通过计算平均光流幅度并删除冗余帧来计算帧对之间的距离。

后端：全局捆绑调整是后端的主要操作。首先，在时间相邻的关键帧之间添加边缘。然后按照流量增加的顺序从距离矩阵中采样新的边。

迭代发生在密集的捆绑调整上。它使用 PyTorch 来利用自动微分引擎。在推理时，我们使用自定义 CUDA 内核，该内核利用问题的块稀疏结构，然后对缩小的相机块执行稀疏Cholesky 分解。

最后的话

SLAM 系统是 3D 对象实时地图绘制领域的游戏规则改变者。它在许多领域都有许多应用，它将减少健康和其他领域的大量风险。DROID-SLAM 是最 新、最 高效的 SLAM 算法之一，性能良好。尽管 SLAM 的计算成本非常昂贵，但正在进行的许多类型的研究肯定会降低成本。