一种水面障碍识别方法、装置及系统与流程

本发明涉及船舶辅助驾驶，尤其涉及一种水面障碍识别方法、装置、系统、计算机设备及计算机可读存储介质。

背景技术：

1、智能船舶是指利用传感器、通信、物联网、互联网等技术手段，自动感知和获得船舶自身、海洋环境、物流、港口等方面的信息和数据，并基于计算机技术、自动控制技术和大数据处理和分析技术，在船舶航行、管理、维护保养、货物运输等方面实现智能化运行的船舶，以使船舶更加安全、更加环保、更加经济和更加高效。

2、在船舶航行时，其航行路径会存在障碍物，一般需要提前感知障碍物以进行避碰路径规划，防止船舶发生碰撞。

3、中国发明专利cn115639536b公开了一种基于多传感器融合的无人船感知目标检测方法及装置，并公开了实时获取无人船的多传感器数据，多传感器数据包括相机图像数据、毫米波雷达数据、激光雷达数据；将实时获取的相机图像数据、毫米波雷达数据、激光雷达数据输入训练好的多传感器融合检测模型中，得到融合感知检测结果。具体内容为将图像数据特征、毫米波雷达数据特征、激光雷达数据特征分别输入至对应的自注意力模块进行处理，然后再通过共享全局注意力模块对经过自注意力模块处理的图像数据特征、毫米波雷达数据特征、激光雷达数据特征进行特征融合，再依次进行特征检测和非极大值抑制，获得融合检测结果。

4、然而，该技术方案存在以下不足：

5、1)图像学习效果并不好，导致在大雾、雨天气、夜间等条件下识别效果不好；

6、2)图像的泛化性不好，不能够对不同水域或河流条件有较强的泛化性；

7、3)成本过高，模型训练上使用成本过高，不可解释等；

8、4)没有针对不同距离的障碍物分别进行处理，在近距离的障碍物感知中，因为毫米波雷达的影响，可能会导致识别精度降低。

9、目前针对相关技术中存在的在恶劣情况下图像识别能力差、不同水域条件下深度学习方法泛化性差、深度学习训练成本高、样本数据集庞大、障碍物感知精度低等问题，尚未提出有效的解决方案。

技术实现思路

1、本发明的目的是针对现有技术中的不足，提供一种水面障碍识别方法、装置、系统、计算机设备及计算机可读存储介质，以解决相关技术中存在的在恶劣情况下图像识别能力差、不同水域条件下深度学习方法泛化性差、深度学习训练成本高、样本数据集庞大、障碍物感知精度低等问题。

2、为实现上述目的，本发明采取的技术方案是：

3、第一方面，提供一种水面障碍识别方法，应用于智能船舶，包括：

4、获取第一图像数据、第一激光数据和第一毫米波数据；

5、分别对所述第一图像数据、所述第一激光数据、所述第一毫米波数据进行同步处理，以获得第二图像数据、第二激光数据和第二毫米波数据；

6、分别对所述第二图像数据、所述第二激光数据、所述第二毫米波数据进行预处理，以获得第三图像数据、第三激光数据、第三毫米波数据；

7、将所述第三图像数据、所述第三激光数据和所述第三毫米波数据进行特征融合，以获得融合数据；

8、将所述融合数据进行特征匹配，以获得障碍物数据，其中，所述障碍物数据包括障碍物类别、尺寸、距离、位置、速度。

9、在其中的一些实施例中，对所述第一图像数据、所述第一激光数据、所述第一毫米波数据进行同步处理包括：

10、对所述第一图像数据进行像素坐标转换，以获得第二图像数据，其中，所述第二图像数据包括第一像素坐标系；

11、对所述第一激光数据依次进行图像坐标转换、像素坐标转换，以获得第二激光数据，其中，所述第二激光数据包括第二像素坐标系，所述第二像素坐标系与所述第一像素坐标系处于同一像素坐标系；

12、对所述第一毫米波数据依次进行图像坐标转换、像素坐标转换，以获得第二毫米波数据，其中，所述第二毫米波数据包括第三像素坐标系，所述第三像素坐标系与所述第一像素坐标系处于同一像素坐标系。

13、在其中的一些实施例中，对所述第一图像数据、所述第一激光数据、所述第一毫米波数据进行同步处理包括：

14、获取所述第一图像数据的第一时间序列、所述第一激光数据的第二时间序列、所述第一毫米波数据的第三时间序列，其中，所述第一时间序列包括若干第一时间节点，所述第二时间序列包括若干第二时间节点，所述第三时间序列包括若干第三时间节点；

15、将所述第一时间序列、所述第二时间序列、所述第三时间序列中的一个作为基准时间序列，其中，所述基准时间序列包括若干基准时间节点，所述基准时间节点的数量不大于所述第一时间节点的数量、所述第二时间节点的数量、所述第三时间节点的数量；

16、根据所述基准时间序列，分别将所述第一图像数据、所述第一激光数据、所述第一毫米波数据转换为第二图像数据、第二激光数据和第二毫米波数据，其中，所述第二图像数据包括若干第四时间节点，所述第二激光数据包括若干第五时间节点，所述第二毫米波数据包括若干第六时间节点，所述第四时间节点、所述第五时间节点、所述第六时间节点分别等于所述基准时间节点。

17、在其中的一些实施例中，对所述第二图像数据进行预处理以获得第三图像数据包括：

18、对所述第二图像数据进行灰度化处理，以获得灰度图像数据；

19、对所述灰度图像数据进行特征提取，以获得特征向量；

20、将所述特征向量输入至识别模型进行特征识别，以获得第三图像数据。

21、在其中的一些实施例中，进行灰度化处理包括：

22、根据灰度计算公式对所述第二图像数据进行灰度化处理，其中，所述灰度计算公式为i＝0.11*r+0.59*g+0.30*b，r为红色通道的像素值，g为绿色通道的像素值，b为蓝色通道的像素值。

23、在其中的一些实施例中，进行特征提取包括：

24、将具有相同尺寸的相邻高斯尺度之间的所述灰度图像数据进行减法运算，以获得第一高斯差分图像数据；

25、对所述第一高斯差分图像数据进行特征点检测，以获得第二高斯差分图像数据，其中，所述第二高斯差分图像数据为具有特征点的第一高斯差分图像数据；

26、获取所述第二高斯差分图像数据的尺度信息，其中，所述尺度信息包括高斯尺度；

27、根据所述高斯尺度，确定所述特征点的主方向；

28、将所述主方向作为x轴方向，对所述特征点进行描述，以获得特征向量，其中，所述特征向量为128维。

29、在其中的一些实施例中，进行特征识别包括：

30、将所述特征向量输入至所述识别模型，以获得特征类别；

31、根据匈牙利算法对特征类别进行目标识别匹配，以获得第三图像数据，其中，所述第三图像数据为标注障碍物类别的数据。

32、在其中的一些实施例中，对所述第二激光数据进行预处理以获得第三激光数据包括：

33、对所述第二激光数据依次进行冗余处理、运动畸变补偿处理、降采样处理，以获得预处理激光数据；

34、对所述预处理激光数据进行特征聚类，以获得第三激光数据。

35、在其中的一些实施例中，对所述第二毫米波数据进行预处理以获得第三毫米波数据包括：

36、对所述第二毫米波数据依次进行冗余处理、运动畸变补偿处理，以获得预处理毫米波数据；

37、对所述预处理毫米波数据进行特征聚类，以获得第三毫米波数据。

38、在其中的一些实施例中，将所述第三图像数据、所述第三激光数据和所述第三毫米波数据进行特征融合包括：

39、获取所述第三图像数据的目标图像数据，其中，所述目标图像数据包括第一像素坐标信息；

40、分别在所述第三激光数据、所述第三毫米波数据选择与所述目标图像数据相匹配的目标激光数据、目标毫米波数据，其中，所述目标激光数据包括第二像素坐标信息，所述目标毫米波数据包括第三像素坐标信息，所述第二像素坐标信息、所述第三像素坐标信息与所述第一像素坐标信息相同；

41、将所述目标图像数据、所述目标激光数据、所述目标毫米波数据融合，以获得融合数据。

42、第二方面，提供一种水面障碍识别装置，包括：

43、图像数据获取模块，用于获取第一图像数据；

44、激光数据获取模块，用于获取第一激光数据；

45、毫米波数据获取模块，用于获取第一毫米波数据；

46、同步处理模块，用于分别对所述第一图像数据、所述第一激光数据、所述第一毫米波数据进行同步处理，以获得第二图像数据、第二激光数据和第二毫米波数据；

47、预处理模块，用于分别对所述第二图像数据、所述第二激光数据、所述第二毫米波数据进行预处理，以获得第三图像数据、第三激光数据、第三毫米波数据；

48、融合模块，用于将所述第三图像数据、所述第三激光数据和所述第三毫米波数据进行特征融合，以获得融合数据；

49、匹配模块，用于将所述融合数据进行特征匹配，以获得障碍物数据，其中，所述障碍物数据包括障碍物类别、尺寸、距离、位置、速度。

50、第三方面，提供一种水面障碍识别系统，包括：

51、若干图像数据获取单元，若干所述图像数据获取单元安装于船舶的不同位置，用于获取不同位置的若干第一图像数据；

52、若干激光数据获取单元，若干所述激光数据获取单元安装于船舶的不同位置，用于获取不同位置的若干第一激光数据；

53、若干毫米波数据获取单元，若干所述毫米波数据获取单元安装于船舶的不同位置，用于获取不同位置的若干第一毫米波数据；

54、控制单元，所述控制单元分别与若干所述图像数据获取单元、若干所述激光数据获取单元、若干所述毫米波数据获取单元连接，用于对若干所述第一图像数据、若干所述第一激光数据、若干所述第一毫米波数据分别进行同步处理和预处理以获得第三图像数据、第三激光数据、第三毫米波数据，将所述第三图像数据、所述第三激光数据和所述第三毫米波数据进行特征融合以获得融合数据，以及将所述融合数据进行特征匹配以获得障碍物数据，其中，所述障碍物数据包括障碍物类别、尺寸、距离、位置、速度。

55、第四方面，本发明提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的水面障碍识别方法。

56、第五方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的水面障碍识别方法。

57、本发明采用以上技术方案，与现有技术相比，具有如下技术效果：

58、本发明的一种水面障碍识别方法、装置、系统、计算机设备及计算机可读存储介质，对图像数据进行图像分割，降低采集成本、标注成本；采用图像分割对图像数据进行处理，解释性更强，对不同水域情况的适应情况更强，泛化能力强，后续迭代成本低；对激光数据、毫米波数据分别进行预处理，可以获得更干净的数据，从而获得更精准的障碍物数据；将图像数据、激光数据、毫米波数据进行融合，可以对不同距离的障碍物进行处理，提高障碍物识别精度。