基于 3D LIDAR 的多传感器融合 SLAM 系统

智能无人平台在大规模环境下实现自主导航定位的能力要求越来越高，其中基于激光雷达的同步定位与建图（SLAM）是研究方案的主流。然而基于激光雷达的SLAM系统在高动态或者稀疏特征的极端环境下会出现退化而影响定位与建图效果。

对于SLAM系统来说，精 确的位置和姿态估计至关重要，学者们进行了大量的研究，包括基于视觉的方法和基于LIDAR的方法，以实现移动机器人的实时高精度6自由度状态估计。然而单一的传感器系统存在局限性，一方面视觉对初始化的依赖以及对光照总和的敏感性导致系统不稳定，另一方面LIDAR提供的稀疏信息在非结构化场景中使定位迅速退化，另外快速的运动模式和长期的误差积累使里程计进一步失效。因此在定位系统中加入了很多辅助传感器如IMU、GPS、MEMS、UWB等来解决上述问题。

现代SLAM系统大多分为前端和后端两部分（如图2所示）。前端负责实时估计当前帧位姿并存储对应地图信息，后端负责大规模位姿和场景优化。回环检测是SLAM的关键问题之一，有助于机器人识别访问过的场景，并触发全局漂移校正。大规模全局优化也是SLAM与现代里程计的主要区别，两种方法在位姿估计方面有很多相似之处。现代多传感器融合技术大多作用于前端，通过信息互补、局部位姿融合、多数据源滤波等手段，实现里程计系统的高精度、低漂移。

单传感器系统发展相对成熟，其中LIDAR、摄像头、IMU是SLAM系统中最常见的传感器。3D LIDAR可以为系统提供丰富的环境结构信息，但数据离散且数量众多；摄像头可以高速捕捉环境中的颜色和纹理，但深度无法被摄像头直接感知且易受光线干扰；IMU可以灵敏地感知系统在极短时间内的微弱变化，但长期漂移不可避免。三者特点鲜明，优缺点明显。单传感器SLAM系统脆弱且充满不确定性，无法同时应对高速场景、狭小空间、开阔大场景等多种复杂环境。

多传感器融合成为SLAM系统发展的新趋势。多模态传感器融合的SLAM和里程计系统大多采用激光雷达、摄像头、IMU的组合，可分为松耦合或紧耦合两种方式。松耦合系统分别处理各个传感器的测量数据，并通过对当前帧数据进行边缘化的滤波器进行融合，得到最 新的状态估计结果。紧耦合系统联合优化所有传感器的测量数据，结合各个传感器的观测特点和物理模型，得到更加鲁棒的位姿估计。松耦合系统计算量小，系统结构简单，易于实现，但其定位精度通常存在局限性。紧耦合系统计算量大，实现难度大，但在复杂多变的环境下能获得更准确的状态估计。

本文根据系统的耦合方式和需要融合的传感器类型，将这些工作分为LIDAR-IMU松耦合系统、Visual-LIDAR-IMU松耦合系统、LIDAR-IMU紧耦合系统、Visual-LIDAR-IMU紧耦合系统。

 LIDAR-IMU松耦合系统

3D LIDAR还有一个分支——固态LIDAR，相对于传统的VLP-16、VLP-32等多线LDIAR，具有性能稳定、成本低廉的优势，但由于采用不规则扫描，这类视场较小的LIDAR容易产生运动模糊。基于固态LIDAR的SLAM是一个比较新的课题，LOAM-Livox [ 27 ]是其中最 具代表性的作品之一。作者根据Livox雷达独特的扫描方式和传感器特性，以LOAM为参考，设计了一套适用于Livox的SLAM系统，去除不合格的点云，提取线、面特征，通过构建线、面距离的残差，迭代求解位姿，但该方法并未使用IMU。

惯性系统松耦合处理IMU数据进行点云畸变校正，提供先验位姿，在此框架下，传感器融合的效果有限，因此现有算法大多从前端和后端进行改进，表2对比了LIDAR-IMU紧耦合系统的相关工作。

从表中可以看出，近年来的LI松耦合系统大部分都集中在系统的完善和优化上，寻找精准的前端匹配和高效的后端优化方法是其主要创新点。这部分工作虽然没有对数据融合做出突出贡献，但却为后续工作提供了稳定的平台和接口，加速了SLAM技术的发展。

LIDAR-视觉-IMU松耦合系统

LIDAR 里程计性能下降通常发生在非结构化和重复性环境中。即使借助 IMU 进行定位，也无法长时间正常工作。相比之下，视觉传感器不需要边缘和平面等特定结构特征，这些特征需要足够的纹理和颜色信息才能完成定位。然而，视觉传感器无法直观地获取深度信息。因此，将摄像头与 LIDAR 相结合提供了一种互补的解决方案。LIDAR-Visual-IMU 松耦合系统的 LO 和 VO 大多独立运行，但它们彼此共享定位信息以进行姿态校正和更平滑的估计。

CamVox [ 42 ] 是第 一个用于辅助视觉的 Livox LIDAR SLAM 系统。该系统基于 ORB-SLAM2 [ 43 ] 构建，使用 Livox 为相机提供更精 确的深度估计。与 LOAM-Livox 不同，IMU 用于非重复扫描点云的畸变校正。此外，作者利用 Livox LIDAR 的非重复扫描特性，在非受控场景下执行相机和 LIDAR 之间的自动标定。该系统取得了比 VINS-MONO 和 ORB-SLAM2 更好的位姿估计结果。

基于激光雷达的多传感器紧耦合系统

随着机器人技术的快速发展，定位与建图技术被应用到更加复杂多变的场景中。以往的松耦合系统具有实时性、计算复杂度低等优势，但在高速运动或劣化场景下仍难以保证精度。IMU凭借其高频运动响应特性，一直是移动机器人不可或缺的传感器。对于紧耦合系统，如何将IMU与其他里程计进行有效融合是关键问题。

LIDAR-IMU紧耦合系统

惯性系统紧耦合在提高精度的同时无疑会增加系统的计算负担，现有的算法大多通过边缘化历史数据或者限制局部地图容量来提高计算速度，后端优化一般只构建LIDAR的位姿图而不加入IMU测得的偏差和速度。这些方法在多数场景下都能取得优异的效果。但由于对几何特征的依赖，在开阔的非结构化场景中一旦惯性系统失去LO约束，SLAM就会出现严重的漂移和退化。

随着IMU预积分理论的发展和完善，LO系统可以与IMU建立更强的约束关系，SLAM系统的定位精度也得到了进一步的提高，但紧耦合会带来很大的计算量，寻找速度与精度之间的平衡是此阶段工作的难点。

LIDAR-Visual-IMU紧耦合系统

虽然视觉SLAM的研究起步较晚，但由于其体积小、成本低等优势，很快成为SLAM技术的研究热点。近年来，视觉SLAM的研究成果颇丰。视觉不受场景结构的约束，与激光雷达形成了极好的互补。因此，LVI系统因其在传感器退化场景中具有更强的鲁棒性而受到越来越多的关注。

LIDAR、视觉、IMU 相互配合、相互补充的完整系统的出现，是多传感器融合 SLAM 的一个里程碑。融合并不局限于这三个传感器，车轮/腿部里程计、GNSS 也已有效融入系统。同样，计算复杂度的增加也是最棘手的问题之一。此外，还有一些细节需要优化，比如动态环境、非结构化环境、雨雪天气等。

结论与未来展望

基于3D LIDAR的SLAM技术近年来发展迅速，其中多传感器融合的优 秀作品层出不穷。纵观融合SLAM的发展历史，我们看到从基于滤波器的概率方法到基于信息的优化方法；从原始数据辅助的前端融合到基于误差耦合的后端优化；从单一传感器系统到多个子系统耦合的复杂系统；从独立的误差模型到紧耦合的完全图模型。各种应用场景和需求促进了SLAM技术的多样性，传感器技术的不断进步为其提供了基础和动力。

还有更多的基于深度学习进行多传感器融合的作品，主要用于环境感知、物体检测和语义分割。它们可能在SLAM系统中起到辅助作用。

多传感器融合是构建鲁棒系统的关键。基于多传感器的复杂系统需要轻量、精 确、可扩展、通用。从实验部分，我们知道动态环境、物体遮挡、长廊环境是基于特征的SLAM方法的关键挑战。

将传感器与机器人或车辆的控制模型相结合，可以有效缓解特殊情况下里程表退化的问题。随着传感器数量、数据量的增加以及应用场景的不断扩展，SLAM系统很难在规定的计算时间内进一步提高定位和建图的精度。

因此，SLAM在各种场景的应用中都有很大的发展空间。分布式多机器人协作、陆空协作、海空协作系统可以有效解决大场景面临的问题。

此外，硬件加速和并行处理特征提取和位姿优化可以有效缓解由于多传感器数据融合而给系统带来的计算压力。另一方面，深度学习无疑是目前最热门的方向之一。将深度学习与 SLAM 系统相结合的研究已经有很多，在特征提取、深度估计、环境感知、位姿估计、语义地图等几乎所有关键步骤中都可以看到深度学习的应用。在目前的研究中，深度学习仅取代了 SLAM 系统中有限的部分，例如优化单目相机的深度估计以获取地标点、不提取特征直接估计位姿、感知环境以区分运动物体、构建高精度语义地图等。

深度学习的应用将进一步提高和扩展 SLAM 的性能和功能。在未来的工作中，结合多传感器数据融合和深度学习来优化和改进 SLAM 算法将受到更多关注。