一种融合视觉和雷达系统的海上落水人员识别及定位方法与流程

本发明涉及海上救援救助领域，尤其涉及一种融合视觉和雷达系统的海上落水人员识别及定位方法。

背景技术：

1、目前，海上救援主要依赖于救助艇等在海域内开展地毯式搜索来完成，一定程度上极大降低了海上救援的风险。救助艇是用于救助遇险人员及集结救生筏，且有良好操纵性的机动小艇。但在海洋这样复杂多变的环境背景下，基于这一类的船艇对落水人员这类弱小目标实现及时的识别与定位一直是一个难题。

2、对于海上落水人员这类目标的识别目前主要是可以通过一些深度学习的模型实现，但由于数据集的限制、场景的特殊性以及目标的小尺度特征，尚未能达到较好的检测效果。

3、在海面这样多有遮挡变化的场景中，可见光图像提供的信息是最为丰富的。而目前，利用深度学习算法对可见光图像进行处理，实现目标检测是一个热门的研究领域。近年来相关算法发展得十分迅速，准确率也在不断提升。因此，将相应的目标检测算法应用于海面落水人员这一类的弱小目标的检测识别是目前最兼具准确性和实时性的方法之一。

4、另外，对于落水人员这一类目标要实施救援，除了要得到其方位信息，还需要得到其相对于救援船体的距离信息。

5、激光雷达，是以发射激光束探测目标的位置、速度等特征量的雷达系统；其工作原理是向目标发射探测信号(激光束)，然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标距离、方位、高度、速度等参数，从而对目标进行探测、跟踪和识别。另外，雷达还兼具了准确性与实时性，在海面救援这一场景中，能较好地满足对于目标探测距离同时保证实时性的需求。

6、综上所述，融合视觉与雷达系统有望帮助解决海上落水人员的识别与定位这一难题。在实际场景中，可以在救助艇等海上救援救助设备上实现该算法的应用，进一步提高救援救助效率。

技术实现思路

1、有鉴于此，本发明主要目的在于提供一种融合视觉和雷达系统的海上落水人员识别及定位方法，以克服现有技术中的上述缺陷。

2、本发明解决技术问题所采取的技术方案为：

3、步骤一：采集海面实时图像，进行目标检测，得到第一海面目标候选集以及第一坐标信息；利用相机标定原理得到落水人员的方位信息；同时确定三维激光雷达的搜索范围θ；

4、步骤二：获取三维激光雷达原始点云数据，进行预处理滤波；采用欧式聚类算法得到第二海面目标候选集以及第二坐标信息；

5、步骤三：利用联合标定建立第一坐标信息和第二坐标信息的转换关系，实现雷达点云图像与可见光图像的融合；

6、步骤四：候选目标区域匹配，最终得到落水人员的方位与距离信息。

7、本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述方法。

8、本发明具有以下有益效果：

9、1.融合视觉和雷达系统实现检测，一方面利用深度学习模型对可见光图像进行目标检测，是目前最为高效与准确的方法之一；另一方面利用雷达实现对落水人员的距离探测也是较为精准的，将两者结合实现识别与定位的整体方案是高效且可靠的。

10、2.在利用三维激光雷达进行探测前先根据视觉目标检测的结果得到落水人员的方位信息来进一步确定雷达的探测角度范围，使得探测更有针对性，提高了对落水人员识别定位的高效性。

11、3.在对点云进行欧式聚类前采用了针对性的预处理滤波算法，可有效滤除离散点、阳光噪点和其他无关点云，增强目标点云的特征，滤除效果较好；同时，减少点云簇容量降低计算量，满足实时性检测的需求。

技术特征：

1.一种融合视觉和雷达系统的海上落水人员识别及定位方法，其特征在于该方法包括以下步骤：

2.根据权利要求1所述的一种融合视觉和雷达系统的海上落水人员识别及定位方法，其特征在于：所述的目标检测由深度学习模型yolov5实现。

3.根据权利要求1所述的一种融合视觉和雷达系统的海上落水人员识别及定位方法，其特征在于：所述的相机标定选用张正友标定法。

4.根据权利要求1所述的一种融合视觉和雷达系统的海上落水人员识别及定位方法，其特征在于：所述的搜索范围θ＝1.5θ1，其中θ1为落水人员与单目摄像机在水平面上的夹角，单目摄像机位于船中央，三维激光雷达位于船头，船体的中心轴线贯穿两者。

5.根据权利要求4所述的一种融合视觉和雷达系统的海上落水人员识别及定位方法，其特征在于：所述三维激光雷达以0.5θ1作为扫描起点，2θ1为扫描终点，对候选目标进行针对性的搜索。

6.根据权利要求1所述的一种融合视觉和雷达系统的海上落水人员识别及定位方法，其特征在于：所述的预处理滤波具体是：利用高斯滤波器对整个点云进行加权平均，实现线性平滑滤波，进而消除噪声；再利用体素滤波器实现下采样，同时保留点云的几何结构，进一步减少数据量。

7.根据权利要求1所述的一种融合视觉和雷达系统的海上落水人员识别及定位方法，其特征在于：所述的联合标定基于autoware框架下的calibration_camera_lidar实现。

8.根据权利要求1所述的一种融合视觉和雷达系统的海上落水人员识别及定位方法，其特征在于：所述的候选目标区域匹配是对第一海面目标候选集和第二海面目标候选集中的每一类中心点之间的距离进行计算，设定阈值，即可实现对应目标区域的匹配。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1-8所述的方法。

技术总结
本发明公开了一种融合视觉和雷达系统的海上落水人员识别及定位方法，涉及海上救援救助领域。本发明首先基于视觉图像实现目标的检测，进而得到落水人员的方位信息来进一步确定三维激光雷达的探测范围，然后对三维激光雷达原始点云数据进行预处理滤波，再利用欧式聚类实现分割，最终将视觉图像与点云雷达图像进行融合实现区域匹配，得到落水人员相对于船体的具体距离，结合已知的方位信息，抵近展开救援。本发明在利用三维激光雷达进行探测前先根据视觉目标检测的结果得到落水人员的方位信息来进一步确定雷达的探测角度范围，使得探测更有针对性，提高了对落水人员识别定位的高效性。

技术研发人员：任才龙,徐文军,江佳,钦培健,杨纪平
受保护的技术使用者：江苏佼燕船舶设备有限公司
技术研发日：
技术公布日：2024/1/12