一种基于立体视觉的海上目标识别与定位方法

本发明涉及双目立体视觉，具体是一种基于立体视觉的海上目标识别与定位方法。

背景技术：

1、目前，智能船舶研究蓬勃发展。无人船母舰“珠海云”的下水，是对智能船舶未来的领先布局，智能化船舶已经成为船舶发展的必然方向。作为船舶避碰及路径规划的关键前置技术，目前海上目标识别领域的图像识别技术远远落后于陆上图像识别技术，大多数船舶是利用船舶自动识别系统(ais)进行海上目标识别，但是ais数据具有局限性：在船载导航设备故障或信号受到人为干扰的情况下，将丧失对海面目标正常定位的能力。同时，ais系统无法满足船舶静默情况下对周围环境的感知能力。这极大影响了船舶避碰及路径规划的实船效果。特别是在无线电静默条件下的自主航行，在没有雷达等高性能传感器的情况下，对基于图像的海面目标识别与定位技术提出了更高的需求。另外，由于图像传感器具有低功耗低硬件成本的优势，算法的提升可以有效提高船舶运营经济性和运营效率。与此同时，随着嵌入式平台对深度学习算法专用硬件单元(npu)的加入，船用低功耗边缘计算设备处理大量传感器数据的能力不断提高，尤其是针对深度图像信息处理的张量单元(tensorcore)的加入，通过对图像处理算法的优化提升智能船只态势感知能力的前提条件已经成熟，通过图像识别算法实现的被动式海面目标感知技术可以有效提升智能船舶自主航行时的态势感知能力，进而有效提升自主航行的安全性和鲁棒性。

2、基于深度学习的图像识别技术的研究中，由于图像样本具有数量大、单个样本中像素点多的特点，首先对样本进行特征提取是必要的。一些传统的特征提取的方法如：主成分分析法、离散小波变化法、小波阈值去噪法、小波包分解、稀疏自编码器等已经在各个领域得到了广泛的应用。在不同的系统中都体现出了优势，但是在船舶领域的应用情况尚未得到验证。

3、数据经过特征提取后，利用支持向量机、径向基神经网络、bp神经网络等方法对其进行分类与识别，但是随着数据量的增加，传统的方法很难处理一些领域的大数据，而深度学习概念的提出，为此提供了一个很好的解决方案。一些对传统方法的改进方案也应运而生，如深度卷积神经网络、深度支持向量机、深度置信网络等方法。其中，深度卷积神经网络对图像处理方面的应用最为广泛。

4、在目标定位的方面，图像识别虽然可以将目标在图像中进行标注，但是仅能获得角度信息，无法检测到目标在空间中的相对位置。因此通常需要利用双目视觉，单目视觉，点云语义分割算法，在图像识别后对目标进行三维空间中的定位。

5、随着自动驾驶技术不断发展，基于深度学习的图像识别技术对于车辆的自动驾驶的意义被广泛认可，随着各大科研机构及公司的技术攻关，国内外对于陆上典型的目标进行识别及定位的方法日渐成熟。l peiliang提出了通过双目立体图像来进行目标跟踪及角度跟踪的方法，并提出stereo r-cnn进行算法实现。yuguang等提出了立体中点网络(stereo centernet)利用双目图像的几何信息来对三维空间中的目标进行检测及定位以支撑车辆的自动驾驶应用。同时，随着目标检测网络的逐渐深入，针对检测物特征在空间及通道上的分布概率对算法进行针对性调整成为图像识别领域的重要改进形式。但以上算法都是针对陆上应用场景进行设计，基于深度学习的图像识别技术在海上目标识别中应用较少，往往作为与雷达信息进行数据融合的补充检测手段。

技术实现思路

1、本发明提出stereoyolo算法，通过引入双目视觉和注意力机制对yolov5单目目标检测算法进行改进，从而实现海上目标进行识别与定位。通过在主干特征提取网络中引入注意力机制，利用海上目标识别任务中目标特征在通道及空间上的典型分布规律，算法应用了坐标注意力模块及卷积注意力模块，以实现相似网络参数量的前提下，提高海上目标识别任务性能的目的。同时，针对海上目标定位问题，stereoyolo算法利用海面目标距离优化算法提升了海面摇晃状态下目标测距结果的稳定性。

2、本发明所采用的技术方案为：一种基于立体视觉的海上目标识别与定位方法，其特征在于：包括stereoyolo海上目标识别与运动状态检测算法、实验平台搭建、模型训练与实验；

3、所述stereoyolo海上目标识别与运动状态检测算法具体如下：

4、s1：目标识别与运动状态检测流程：通过双目摄像机的左右摄像头分别获取到左、右图像。将左图像输入融合注意力的深度目标识别网络，经过数据增强、主干特征提取网络、加强特征提取网络后获得目标锚框。在锚框内选取由左右图像输入后进行特征点匹配，对选取的特征点进行视差-深度转换，得到特征点的三维相对坐标信息，通过双目测距算法进行解算，再由k-聚类算法对多特征点距离信息进行聚类后获得目标距离。

5、s2：双目立体视觉模型，其双目视觉算法为：o1和o2分别为左、右相机成像平面的中心点坐标，其像素坐标分别为(uo1,vo1)和(uo2,vo2)，o1x1y1z1和o2x2y2z2分别为左、右相机坐标系。目标特征点xc在左相机坐标系下的坐标为(x,y,z)，即其投影在左相机成像平面x1o’1y1上的投影点为p1，在右相机成像平面x2o’2y2上的投影的对应投影点为p2，图中o1o’1和o2o’2分别为左右相机镜头的的焦距f。

6、通过目标检测得到海上目标特征点xc在左、右相机成像平面上投影点p1,p2的齐次像素坐标：p1＝(u1,v1)和p2＝(u2,v2)。则特征点xc与投影点齐次坐标p1、p2的关系如式(1)所示：

7、

8、此时，xc在左相机坐标系o1x1y1z1下的三维坐标值如式(2)所示：

9、

10、在海上目标检测任务中，需要考虑海上目标的实际距离，在实际海况的风浪流下，海上目标检测平台姿态呈现不稳定性，一般都会有六个运动状态，分别为：横摇(roll)、横荡(sway)、纵摇(pitch)、纵荡(surge)、首摇(yaw)、垂荡(heave)，使得摄像头坐标系相对世界坐标系产生角度偏移，进而导致目标检测距离数据产生下偏差。为解决由于摄像头坐标系相对世界坐标系的角度偏移导致的偏差，需要引入x轴及z轴方向的距离，以减小由于海上目标相对测量方向的角度偏移所导致的误差。此时，xc在左相机坐标系o1x1y1z1下的绝对距离d如式(3)所示：

11、

12、此时，d为特征点到双目相机左摄像头坐标系的绝对距离。针对陆上目标定位的双目算法只考虑z轴距离，stereoyolo算法通过同时考虑实际海况下海上目标检测平台姿态的不稳定性引起的x轴及y轴偏差，对海上目标测距进行了针对性改进。

13、s3：改进型海上目标检测算法，包括算法框架、主干提取网络、特征提取网络、检测头、损失函数、引入注意力机制的海上目标检测算法。

14、所述实验平台搭建采用1.8m船长实验船作为目标，通过对实验平台进行目标检测、测距及定位实验以验证海上目标识别算法的目标检测准确度及测距误差，从而对目标定位算法进行验证。

15、所述模型训练与实验包括模型训练与评价指标、基于cbam改进的船舶目标检测仿真实验分析、基于多注意力机制的改进型海上目标检测算法船舶目标检测仿真分析、融合双目视觉的船舶轨迹检测方法实验。

16、作为本发明进一步的方案：所述式(1)中s1、s2为比例系数，m1、m2分别为左、右相机经过矫正后得到的的内参矩阵，r和t表示左相机坐标系中右相机的相对旋转矩阵及平移向量；

17、所述式(3)中s1为比例系数，uo1为左相机中心像素点横坐标，u1为目标点在左相机上投影点的横坐标。

18、作为本发明进一步的方案：所述算法框架具体为：

19、(1)stereoyolo算法中目标识别网络算法基于目标检测领域中的头部算法yolov5目标检测算法进行改进，算法将图像划分为网格并检测的对象检测算法。网格中的每一个单元负责检测自身内部的目标。由于出色的效率和准确性，使得成为yolo最著名的物体检测算法之一。

20、(2)yolov5自发行以来，一直都在改进自身的算法以提升效率和准确性。本发明采用yolov5的v6.0版本代码实现。

21、(3)stereoyolo算法的主要结构分为主干网络(backbone)，加强特征提取网络(fpn)以及检测头(yolo head)。其中，resunit代表残差模块，conv代表卷积块，bn代表批量归一化，silu代表激活函数，concat代表合并数组，maxpool代表最大池化。channelattention代表通道注意力模块，spatial attention代表空间注意力模块，并由基础模块的组合建立复杂网络结构。本算法通过在主干网络中将csp1_x模块替换为添加注意力机制改进后的cspcbam及cspca模块，利用通道及空间注意力机制对海上目标识别工况的针对性加权，从而实现针对海上目标检测任务检测结果准确性的优化。

22、所述主干提取网络算法采用cspdarknet主干网络对输入图片进行特征提取并特征集合输出为特征层。这个过程会进行三次以获得三个特征层。称为有效特征层。

23、在输入端，主干网络使用了focus网络结构，从每一张图片中每隔一个像素拿到一个值生成四个独立的特征层，使得输入通道数量扩充了四倍，从而使得其拥有相比其它网络中的三层结构更好的深度。

24、主干网络中大量使用残差网络(resunit)，其中的残差边部分不做任何处理，直接将主干的输入与输出结合以避免梯度弥散与网络退化问题。应用残差网络使得主干网络深度增加导致的梯度消失问题得以缓解。同时，cspnet将残差块的堆叠进行了拆分，其主干部分继续进行原来残差块的堆叠，其余部分经过少量处理直接连接到最后。同时，主干网络中以silu作为激活函数，其具备无上界有下界、平滑、非单调的特性。通过对relu激活函数进行平滑改进，其在深层模型上的效果优于relu。

25、主干网络最后为空间金字塔池化(spp)结构，通过不同池化核大小的最大池化进行特征提取，增大了感受野。

26、所述特征提取网络中加强特征提取网络的主要作用是将主干网络输出的三个有效特征层进行特征融合，以结合不同尺度的特征信息来进行加强特征提取。在特征利用部分，算法通过提取多特征层进行目标检测，一共提取三个特征层。

27、三个特征层位于主干部分cspdarknet的不同位置，分别位于中间层，中下层，底层。这三个有效特征层将用作进行fpn层的构建，并使得fpn将不同尺寸的特征层进行特征融合，进而有利于特征的提取，并生成三个加强特征。

28、所述检测头的主要作用是将fpn生成的三个加强特征分别进行卷积，判断特征图中特征点使得否有物体与其对应。

29、通过将fpn特征金字塔获得的三个尺度分别为(20,20,1024)、(40,40,512)、(80,80,256)加强特征传入到检测头中，获得预测结果。

30、所述损失函数选用通过giou作为边界框回归的损失函数。giou损失函数由iou损失函数改进得出。

31、iou损失函数计算方式如式(4)：

32、

33、其中，a为预测框，b为真实框。iou可以通过计算预测框与真实框之间的重合度，从而反映检测结果，进行反向传播。但是其作为损失函数时，当真实框与预测框之间没有相交时，iou＝0，此时梯度归零。没有梯度回传导致反向传播无法继续进行。因此，需要应用改进型损失函数使得真实框与预测框无重叠区域时梯度不为0，从而进行反向传播。

34、giou的计算公式如式(5)：

35、

36、giouloss的计算公式如式(6)：

37、giouloss＝1-giou                                    (6)

38、其中，c为包含a与b的最小凸闭合框，此时对c作求差集，使得giou不为0且随c的增大而减小从而获得梯度，因此，梯度下降在真实框与预测框无重叠区域的情况下仍可以正常进行。

39、所述引入注意力机制的海上目标检测算法具体为在海上目标识别任务中，海上目标在摄像头图像中往往分布于靠近海天线位置。在海上目标识别的任务中，目标特征在张量中有空间相关性。因此，需要为张量空间中目标更可能出现的位置赋予更高的权值，在海上目标识别的任务中往往是对画面中的下半部分赋予更高的权值。通过添加空间注意力模块，可以实现对张量的不同空间位置赋予不同的权重系数，从而预期得到更高的检测准确度。

40、同时，在海上目标识别任务中，由于天空偏蓝色以及海面偏青色，摄像头采集到画面中的红、绿、蓝通道中蓝色及绿色通道数值往往较高，而存在海面目标的像素点的红、绿、蓝像素数值因目标特征的不同往往呈现与环境不同的通道数值，因此海上目标特征在图像张量中的红、绿、蓝通道中的占比不同，并且各通道数值的不同往往与目标存在的可能性相关。因此，通过引入通道注意力，将不同通道赋予目标可能性的相关度，可以预期得到更好的识别准确率。通过引入通道注意力，可以实现对不同通道进行权重调整。达到更好的检测准确度。

41、由于海上目标识别的任务的特殊性，利用注意力机制对海上目标检测算法进行改进，预期取得更好的目标检测准确率。将cbam注意力模块及ca注意力模块分别引入主干网络中以针对海上目标识别任务中待识别目标在空间及通道上的分布特点提升识别准确率。通过对csp特征提取模块后引入注意力模块以改变模型对不同区域特征的敏感度。

42、其中，channel attention代表通道注意力，spatial attention代表空间注意力，x-axis avg pool代表x轴平均池化，y-axis avg pool代表y轴平均池化，x-axisattention代表x轴注意力，y-axis attention代表y轴注意力。

43、cbam综合通道注意力及空间注意力机制开发。通过给定中间特征图，模块按顺序推断沿着通道和空间这两个独立维度的注意力图，然后将注意力图乘以输入特征图，以进行自适应特征细化。

44、在cbam注意力模块中，给定中间特征图作为输入，模块依次推断出1d通道注意力图和一张二维空间注意力图算法结构表示如式(7)：

45、

46、

47、其中，f代表csp模块的输出张量，f’代表经通道注意力处理后的权值张量，f”代表经通道-空间注意力机制处理后的权值张量。代表张量内积。

48、在卷积注意力模块中，张量先后与通道注意力和空间注意力模块做内积，并最终返回经过注意力机制处理后的结果。

49、cbam注意力模块的性质可以同时兼顾通道注意力与空间注意力，并影响相关特征值的权重，符合海上目标识别任务的需求，因此本文将其引入特征提取主干网络中进行针对海上目标识别任务的改进。

50、ca注意力利用检测目标在图像宽度和高度上的出现概率不同从而对目标检测任务进行优化。其对图像宽度和高度上的目标精确信息进行编码，输入特征图并在h方向和w方向分别进行全局平均池化操作以得到h方向和w方向的特征图，其公式如式(8)所示：

51、

52、

53、将h和w方向的特征图进行拼接，送入共享权重的1x1卷积块中，然后对特征图f1进行批量归一化处理并送入sigmoid激活函数得到特征图f，公式如式(9)所示：

54、f＝δ(f1[zh,zw])                                 (9)

55、将特征图f按照原来的高度和宽度进行1x1卷积，得到新的特征度fh和fw，经过sigmoid激活函数后分别得到特征图在h方向和w方向上的注意力全中gh和gw，公式如式(10)所示：

56、gh＝σ(fh(fh))

57、gw＝σ(fw(fw))                                   (10)

58、将gh和gw在原始特征图上进行乘法加权计算，即可得到h方向和w方向上带有注意力权重的特征图，公式如式(11)所示：

59、

60、ca注意力模块主要侧重于空间上的注意力，并将其细化为图像高度及宽度方向上的注意力权重并生成注意力权重特征图，对海上目标识别任务中针对海天线附近目标出现概率更大的特性进行针对性改进。

61、作为本发明进一步的方案：所述yolov5由模型的大小可以划分为yolov5n，yolov5s，yolov5m，yolov5l，yolov5x。五种模型权重依次叠加。算法基于yolov5s检测模型的基础上进行改进。

62、作为本发明进一步的方案：所述模型训练与评价指标根据海上目标识别的任务需要，利用公开数据集seaships7000数据集[23]进行数据增强后对模型进行训练，数据集将船舶目标分类为6种船只类型，分别为矿石船(ore carrier)、散货船(bulk cargo carrier)、杂货船(general cargo ship)、集装箱船(container ship)、渔船(fishing boat)、客船(passenger ship)，采用voc格式标注，通过voc annotations将voc格式数据集标注转换为coco格式数据集标注。数据集共计7000张，按1：9：0.9的比例划分测试数据集，训练数据集和验证数据集。

63、所述基于cbam改进的船舶目标检测仿真实验分析是为评估引入cbam注意力机制的船舶目标检测算法的检测效果，将模型不同位置的csp1_x层及conv层后引入cbam注意力模块的检测效果与yolov5s目标检测算法对海上目标的检测效果进行对比实验。

64、通过对在cspdarknet主干网络不同位置的csp1_x模块替换为加入cbam注意力机制模块后的cspcbam改进型主干特征提取网络进行消融实验，可以看到改进后的stereoyolo目标检测网络在训练过程中避免了模型过拟合。其中，在最后一层csp层后引入注意力机制收益最大，在无预训练的情况下，模型最终收敛模型的全类平均准确率(map)＝78.70％，相比yolov5s算法有明显提升，证明算法改进的有效性。

65、所述基于多注意力机制的改进型海上目标检测算法船舶目标检测仿真分析经过对ca注意力模块、cbam注意力模块对算法进行改进后得到模型准确率map，并与原版算法map准确率进行对比得出在yolov5算法中添加ca注意力模块及cbam注意力模块对海上目标识别任务准确率map的影响。

66、通过每种算法的5次数计算得出，在yolov5算法的主干网络csp_4后分别加入ca注意力机制或cbam注意力机制后目标识别准确率map分别为77.82％及76.52％，而原版yolov5算法目标识别准确率为75.62％，即添加ca注意力及cbam注意力改进后的yolov5算法相比原始算法准确率分别提升2.20％及0.90％。同时，模型计算代价仅从15.8gflop提升至15.9gflop，计算性能损失为0.6％。利用ca注意力机制，可以利用极少的算力代价提升水面目标识别任务的准确性，从而为融合双目视觉的水面目标识别算法提供精准参考。

67、所述融合双目视觉的船舶轨迹检测方法实验是为对实验平台效果进行验证，团队在封闭水域建立了实验环境，利用实验平台对目标船只进行测距，并与激光测距仪数据作为实际距离进行比对，从而验证试验数据的准确性。

68、本发明的有益效果：

69、本发明本发明提出stereoyolo算法，通过引入双目视觉和注意力机制对yolov5单目目标检测算法进行改进，从而实现海上目标进行识别与定位。双目视觉算法仅需要单帧图像即可获得目标相对位置，因此可避免检测目标在的多帧场景中位移所导致的检测偏差，更适宜海面目标检测领域。通过对大量的海上目标数据样本对海上船舶目标进行分析，研究出一套基于深度卷积神经网络的海面目标识别与定位方法，并根据海上目标在空间与通道上的特点对其所属类别进行准确分类。同时，为将算法应用于小型水面无人船艇，需要将算法对实验中的nvidia jetson嵌入式开发板进行适配。由于嵌入式平台相比桌面开发平台的性能极大降低，所以需要在保证算法准确率的前提下限制模型参数量。通过在主干特征提取网络中引入注意力机制，利用海上目标识别任务中目标特征在通道及空间上的典型分布规律，算法应用了坐标注意力模块及卷积注意力模块，以实现相似网络参数量的前提下，提高海上目标识别任务性能的目的。通过注意力机制模块对通道及空间特征的针对性特征提取，突出了有效特征，用较低的算力代价实现了较高的检测精度。同时，针对海上目标定位问题，stereoyolo算法利用海面目标距离优化算法提升了海面摇晃状态下目标测距结果的稳定性。