多模态3D定位目标检测

3D_Detector技术白皮书

工业现场人员活动检测

1.多模态3D定位目标检测应用背景  

2D可见光目标检测随着AI模型的发展和成熟，已经是相对普遍了，2D 物体检测可以精 确检测物体，但缺乏深度和高度信息。深度和高度信息在避障、自动驾驶汽车导航、家用机器人、医疗手术等方面至关重要。除了自动驾驶领域，3D物体检测包括识别物体类别和精准位置，在工业生产现场安全管理同样至关重要。          

物理空间目标3D定位可以采用以下技术路线：激光雷达、双目视觉或者RGB-D相机。激光雷达点云的局限性在于很难实现目标识别，另外相比较而言，设备成本高。双目视觉可以完成目标3D定位，但是只适用几米的距离，另外在低照度环境表现不佳。RGB-D同样有距离限制和环境照度要求。

针对十米以上物理空间3D可视化、空间内目标识别以及实时获取目标精准3D空间坐标的需求，目前成熟的技术路线是多模态3D定位目标检测。

多模态系统充分利用图像、LiDAR 和 RADAR 的优势:

三维物体检测不仅需要描述物体的位置，还需要描述其空间维度、位置和方向。数据描述涉及物体的长度、宽度、高度、偏航、俯仰、滚动、遮挡量等参数。

多模态3D定位目标检测的技术步骤：

1.目标空间的视频和激光雷达信号覆盖。根据空间的情况，可能需要多个视频和雷达

2.激光雷达3D点云和视频图像之间的精 确对齐和校准，得到基于视频的3D激光雷达点云

3.基于视频目标检测AI算法，实现目标实时检测及跟踪，同时获取目标的3D空间位置坐标

4.通过人员UWB标签高精度定位和激光雷达点云融合，实现目标身份识别。              

多模态3D定位目标检测智能驾驶应用： 

1.1.多模态3D定位目标检测定义  

多模态技术发展充分利用了多种传感器优势：使用 LiDAR 可以很好地感知物体的结构信息，而摄像头则擅长感知精细的纹理信息。

基于激光雷达的检测性能对于远距离物体会下降。相反，彩色图像传感器可以提供高分辨率采样和丰富的上下文数据，从而弥补激光雷达的局限性。RGB图像和LiDAR数据的融合通常可以增强3D检测性能。

多模态3D定位目标检测融合可见光/红外热成像的视频AI目标识别及跟踪、激光雷达/毫米波雷达的3D目标精准定位、UWB标签高精度测量实现目标身份识别。

多模态3D定位目标检测技术要点

lWhat-视频目标检测及跟踪AI算法：基于YOLO、DEEPSORT、CLIP等AI算法，实现目标检测及跟踪。

lWhere-通过激光雷达3D点云和视频图像的精 确对齐和校准，实现基于视频3D可视化。每个像素都可以得到3D空间精准坐标。

lWho-UWB锚点和标签之间测距/测角 TWR+PDOA，通过UWB标签和激光雷达点云融合，实时获取UWB标签目标的精准空间3D坐标。

总结：

基于视频AI的目标检测、雷达点云的目标3D定位及目标UWB标签的身份识别，解决工业现场3D空间电子围栏等应用的What&Where&Who问题。

1.2.多模态3D定位目标检测应用  

多模态3D定位目标检测最主要的应用就是工业现场3D空间电子围栏，支持固定式样或移动式部署。

传统工业现场电子围栏技术缺陷：

UWB高精度定位技术-不适用复杂的工业现场，一方面多径导致定位不稳定和极大定位误差，另一方面不带标签或者标签没电，都没有识别和定位。最后复杂的系统部署工作也是UWB技术没办法推广的重要因素。

视频电子围栏-复杂和低照度环境适用性一般，另外涉及距离和立体空间的电子围栏，没有办法满足。

2D雷达电子围栏-一般用于室外周界，室内及复杂空间电子围栏并不适用

融合视频AI的目标检测、激光雷达点云的3D目标定位及UWB电子标签的身份识别，是解决复杂环境工业现场3D空间电子围栏的技术路线。

多模态融合的3D定位另一个重要好处在于可以辨认未带标签以及标签没电的人员。       

l围绕煤矿作业面大型设备的电子围栏

1、掘进工作面掘进装备（综掘机、掘锚机、掘锚一体机、连采机等）    

黄色区域为报警区、红色区域为停机区、绿色区域为工作人员工作区。

距离设备机头或机尾7m 的范围划定为报警区；距离设备机头或机尾 3m 的范围划定为停机区；以设备为圆心，4m 为半径的区域划定工作区。在工作区域内，有且只有 1 名工作人员的情况下设备能够正常启机运行。

外来人员进入报警区，系统自动触发报警提示；外来人员进入停机区，自动触发报警提示并停机。本机工作人员离开工作区时，自动触发报警提示并停机。

现场大量的金属反射会导致UWB精准测距误差很大，导致误报漏报现象严重。多模态3D定位目标检测是良好的解决办法。通过激光雷达对掘进设备的作业环境三维建模，视频/热成像发现人员目标，通过视频和激光雷达点云融合，获取目标的实时空间坐标。佩戴的UWB电子标签作为人员标识，实现区域授权。可以辨认未带标签或者标签没电的违规人员。

2、液压支架工作环境    

采煤面采煤机的位置, 以及采煤机、液压支架协同工作环境，现场工作人员准确位置对于安全生产管理至关重要。采煤机和多个液压支架以及工作人员协同工作，需要精准掌握采煤机的位置，以及工作人员在的准确液压支架位置，这对采煤机和液压支架协同工作，以及工作人员人身安全非常重要。

单一的视频/热成像AI检测技术或者UWB定位技术都没有办法准确无误的解决这一需求，多模态3D定位目标检测是良好的解决办法。通过激光雷达对作业环境三维建模，视频/热成像发现人员目标，通过视频和激光雷达点云融合，获取目标的实时空间坐标。佩戴的UWB电子标签作为人员标识，可以辨认未带标签或者标签没电的违规人员。

l变电站严格作业规范的人员位置管理

涉及室内和室外环境，需要准确掌握操作人员的位置信息，避免误操作设备造成经济损失。定位精度要求稳定在10厘米以内，室外工作环境有作业高度限制。

室内作业要求：    

大量金属柜体导致无线射频信号反射严重，任何室内定位技术都不能满足操作人员精准定位的技术要求，多模态3D定位目标检测是良好的解决办法。通过激光雷达对作业区域环境三维建模，视频发现人员目标，通过视频和激光雷达点云融合，获取操作人员精准的实时空间坐标（精度确保10厘米以内）。佩戴的UWB电子标签作为操作人员标识，可以辨认未带标签或者标签没电的违规人员。

室外作业要求：

大量金属体导致无线射频信号反射严重，任何定位技术都不能满足操作人员精准定位的要求。此外，现有的物理电子围栏手段没有办法满足作业现场3D空间电子围栏的人员管理要求，多模态3D定位目标检测是良好的解决办法。

通过激光雷达对关注设备区域三维建模，视频发现人员目标，通过视频和激光雷达点云融合，获取操作人员精准的实时空间坐标（精度确保10厘米以内）。佩戴的UWB电子标签作为操作人员标识，可以辨认未带标签或者标签没电的违规人员。

采用移动式多模态3D空间电子围栏，实现作业现场的3D空间电子围栏的人员管理要求。支持辨认未带标签或者标签没电的违规人员。

l化工、核电、铁路检修维护人员作业管理

这些行业的关键设备定期维修和检修，可能涉及高危安全要求，或者保密要求。现场作业人员要求严格的授权管理，指定时间、指定区域、指定人群、指定工作；

最 佳解决方案采用支持快速部署的移动式电子围栏。以激光雷达为中心建立立体空间电子围栏，工作人员佩戴UWB电子标签做人员标识和授权管理。以辨认未带标签或者标签没电的违规人员。

l轨交列车检修站

人员定位系统目的是了解检修人员行动轨迹，工作时长，工作具体部位。要求定位能区分定位在检修台的哪一层操作平台，是在列车上，还是检修平台上。定位要求精 确，提供电子围栏，非作业区人员具备报警功能

大量金属体导致无线射频信号反射极其严重，任何定位技术都不能满足人员定位的技术要求，多模态3D定位目标检测是良好解决办法。通过激光雷达对作业区域环境三维建模，视频发现人员目标，通过视频和激光雷达点云融合，获取操作人员精准的实时空间坐标（精度确保10厘米以内）。佩戴的UWB电子标签作为操作人员标识，可以辨认未带标签或者标签没电的违规人员。

相关微文：多模态3D 物体检测技术及应用