基于数据驱动的AUV海底目标识别与路径规划方法与流程

基于数据驱动的auv海底目标识别与路径规划方法
技术领域
1.本发明属于海底勘测技术领域，具体涉及一种基于数据驱动的auv海底目标识别与路径规划方法。


背景技术：

2.自主水下航行器(auv)作为海洋勘测的主要工程设备，具有活动范围大、机动性好、安全、智能化等优点，成为完成各种水下任务的重要工具。新一代auv的发展和革新对其自主性提出了更高的要求，主要体现在auv对环境感知能力和适应环境动态变化的路径规划能力。auv可以连续动态地获取海洋特征的水文要素，它已被海洋学家广泛应用于湖泊和海洋的环境观测和采样。侧扫声呐作为一种多用途、低成本的海洋调查设备，广泛应用于海洋、港口水域。将侧扫声呐装配到auv上，对侧扫声呐图像进行识别，针对识别结果进行路径规划，有利于提高勘测海洋的效率。
3.传统的侧扫声呐图像识别大多是一个人为主动型活动，主要通过拖曳装载侧扫声呐的拖鱼来执行任务，最后的目标是从收集的大量数据中线下人为推断目标是否存在于该区域，此方法受到人为设计的限制，且面对大量的声呐数据时，人为识别耗时且昂贵，并且识别率较低；另一方面，也有很多学者将水平集方法、模糊聚类方法等实现侧扫声呐图像识别，但是由于侧扫声呐图像本身具有单色性、对比度低和和色彩质量差等特性，传统的方法不能够充分的挖掘侧扫声呐图像中的信息，只能获取图像的低阶信息，往往使得识别准确率较低。因此，传统的侧扫声呐图像识别方法的实时性和自主性较差，并且代价较大，主要依靠人为操作，难以完成持续、自主、实时的任务。
4.目前利用auv执行海洋勘测任务，大部分采用几字法、螺旋线法等的路径规划算法，即在线下预先规划或设计好，算法方式单一，且属于离线算法，一旦任务开始则不能更改，只能让auv按照指定的轨迹进行运动。但是，当auv在执行任务过程中，面对未知海洋环境，由于其不具备自主决策的能力，当面临危险时，auv不能主动避开，会增加auv勘测的风险；同时，该路径算法耗时较长，效率较低，最终线下分析数据时会发现，耗时较久采集到的数据无效或不可用，或者出现数据质量低下，可信度不高等结果。


技术实现要素：

5.本发明针对在未知海域中作业的auv，由于收到海浪和涌流的干扰，导致声呐图像质量差等缺陷，提出了一种基于数据驱动的auv海底目标识别与路径规划方法。
6.本发明是采用以下的技术方案实现的：一种基于数据驱动的auv海底目标识别与路径规划方法，包括以下步骤：
7.步骤一、基于声呐数据收集模块采集并获取声呐原始数据流；
8.步骤二、基于高性能计算模块对步骤一所获得声呐原始数据流进行存储，高性能计算机模块包括声呐数据存/发模块和声呐数据处理模块；
9.所述数据存发模块搭载一单板计算机，用以融合auv主控系统发送的姿态角和经
纬度信息，将声呐原始数据流、姿态角和经纬度信息整合成声呐数据包；所述声呐数据处理模块用以对声呐数据包进行实时解析和识别，并在识别的过程中得到目标点的经纬度；
10.步骤三、将步骤二识别的结果和目标点的经纬度打包成数据包发送给auv主控系统，auv主控系统解析识别数据包后，根据识别的结果对auv进行实时的路径规划。
11.进一步的，所述步骤二中，所述声呐数据处理模块的解析和识别过程如下：
12.步骤21、解析声呐数据包：将解析后的声强信息转换成像素值信息，并对像素值信息进行归一化处理，并将处理好的数据转换成图像格式，得到侧扫声呐图像；
13.步骤22、基于限制对比度自适应直方图均衡化方法进行图像预处理，用以改善图像对比度；
14.步骤23、实时识别并计算目标点的经纬度：构建深度卷积神经网络模型，基于改进型的神经网络r-moblienetv2实现对侧扫声呐图像的识别；
15.(1)首先，将经步骤s22处理后的侧扫声呐图像作为输入，经过一层卷积层，对侧扫声呐图像进行特征提取；
16.(2)然后，将提取的特征输入到串行的七组线性瓶颈块中，每个线性瓶颈块包含了卷积核为1*1的卷积、卷积核为3*3的深度可分离卷积、卷积核为1*1的线性变换卷积；
17.(3)对七组线性瓶颈块的输出进行线性激活，并经过池化层后做残差，得到最终的侧扫声呐识别结果：
[0018][0019][0020]yl+1
＝x
l
+f(x
l
,w
l
)
[0021]
其中，x
l
为r-mobilenetv2的第l层的输入，也是上一时刻的输出；(i,j)代表了第k个特征在循环卷积神经网络上的映射；为第t时刻的输出；和分别是卷积神经模块和循环卷积神经模块的第k个特征映射的权重；bk为偏置，f(x
l
,w
l
)为循环卷积神经网络的输出；y
l+1
为最终r-mobilenetv2的输出。
[0022]
进一步的，所述步骤22中，具体采用以下方式实现图像预处理：
[0023]
(1)计算声呐图像的均值a
[0024][0025]
其中，p
ij
为声呐图像的像素点，i,j为像素点坐标，n为声呐图像的尺寸；
[0026]
(2)将a作为声呐图像的阈值，提取声呐图像中高于均值a的像素值，构成集合b：
[0027]
b∈{∑p
ij
} p
ij
＞a
[0028]
(3)将集合b中的每一个元素b都设为均值a，其中元素b高于均值a的部分进行求和得到参量c：
[0029]
b＝{a,
…
a}
[0030][0031]
其中，m为b中元素的个数；
[0032]
(4)参量c除以256得到d，将d加在每一个灰度等级下，得到像素值a：
[0033][0034]
其中，a为图像预处理后的像素值。
[0035]
进一步的，所述步骤23中，所述深度卷积神经网络模型的构建过程如下：
[0036]
(1)获取训练样本，并对训练样本集进行预处理，所采集的声呐数据包括沙波、礁石；
[0037]
(2)基于数据增强的方式对训练样本集图像进行数据扩充；
[0038]
(3)将经处理后获得的训练样本集图像打标签处理，作为训练样本，对r-moblienetv2进行训练，构建深度卷积神经网络模型。
[0039]
进一步的，所述步骤一中，声呐数据收集模块包括侧扫声呐传感器，其所依据的采集准则为：
[0040]
auv左右两侧各安装一条侧扫声呐的换能器，换能器首先发射一个短促的声脉冲，声波按球面波方式向外传播，碰到海底或水中物体产生散射，其中的反向散射波按原传播路线返回，被换能器接收，经换能器转换成一系列电脉冲；一次发射可获得换能器两侧一窄条海底的信息，在auv前进过程中发射和接收声波，随着水下声呐载体的不断移动，声呐阵在前进过程中不断发射、接收处理，记录逐行排列，将每一发射周期的接收数据一线接一线地纵向排列，得到声呐原始数据流，即构成二维海底地貌声图。
[0041]
与现有技术相比，本发明的优点和积极效果在于：
[0042]
本方案提出的海底目标识别与路径规划方法，目标识别时，在moblienetv2网络的基础上加入循环模块，设计改进的r-moblienetv2模型，通过引入循环的思想并训练得到深度卷积神经网络模型，实现对侧扫声呐图像的识别，并在识别过程中得到目标点的经纬度。针对识别结果进行在线的路径规划，即在auv感兴趣的区域上进行详细扫测。本方案通过高效的目标识别算法以及实时的路径规划，能够有效减少作业时间，实现高效率的海洋勘测。
附图说明
[0043]
图1为本发明实施例所述海底目标识别与路径规划原理框图；
[0044]
图2为本发明实施例各个模块协同工作的流程示意图；
[0045]
图3为本发明实施例残差块、倒置残差块和循环倒置残差块示意图；
[0046]
图4为本发明实施例可视化实时处理时间示意图。
具体实施方式
[0047]
为了能够更加清楚地理解本发明的上述目的、特征和优点，下面结合附图及实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
[0048]
本实施例提出一种基于数据驱动的auv海底目标识别与路径规划方法，如图1和图2所示，包括以下步骤：
[0049]
步骤一、基于声呐数据收集模块采集并获取声呐原始数据流；
[0050]
步骤二、基于高性能计算模块对步骤一中所获声呐原始数据流进行存储，同时融
合来自auv主控系统发送的姿态角和经纬度信息，并将声呐原始数据流、姿态角和经纬度信息整合成声呐数据包，以公开的xtf格式发送下一级进行声呐数据处理，对声呐数据包进行实时解析和识别，并在识别的过程中计算目标点的经纬度；
[0051]
步骤三、将步骤二识别的结果和目标点的经纬度打包成数据包指令，以以太网形式将数据包发送给auv主控系统，主控系统解析识别的数据包后，根据识别的结果对auv进行实时的路径规划。
[0052]
其基本原理为：
[0053]
首先由侧扫声呐的电子舱发射电信号，换能器将电信号转换成超声波，当声波打到海底之后将会返回，换能器再将超声波转换成电信号发送给电子舱，电子舱将得到的数据传送给声呐数据存发模块(单板计算机)；
[0054]
其次，声呐数据存发模块在接收声呐数据的同时也接收来自auv主控系统所发射的当前auv经纬度和姿态角信息，接收此数据的原因为原始的声呐数据不包含当前auv经纬度和姿态角，当缺少该信息时，最后的目标识别结果不能对应到海底的具体位置，进而不能进行下一步的路径规划，所以，本方案中单板计算机主要实现融合声呐数据、auv经纬度和姿态角，并且将这些数据以通用xtf数据包的形式，通过udp协议发送给下一级的声呐数据处理模块；
[0055]
然后，声呐数据处理模块主要实现对声呐数据包的解析，将声呐数据的声强信息处理成图片形式，由于声呐图像对比度差，直接识别会导致精度较低，所以先对其进行预处理，然后对预处理的图像输入到本发明提出的r-moblienetv2模型中对图像进行识别，同时并行的计算目标点的位置，并对其进行矫正，将识别结果以及计算的对应的识别目标经纬度发送给auv主控系统；
[0056]
最后，auv主控系统对识别结果进行在线路径规划，根据提出的实时路径规划算法实现对auv航行路径的实时优化。
[0057]
具体的，步骤一中，所述的声呐数据收集模块主要包括侧扫声呐传感器，用以实现超声波信号发射、超声波信号采集和超声波转换成电信号的功能，最终得到二维海底地形地貌的声学图。所述采集依据的准则是：在auv左右各安装一条侧扫声呐的换能器，换能器首先发射一个短促的声脉冲，声波按球面波方式向外传播，碰到海底或水中物体会产生散射，其中的反向散射波会按原传播路线返回，被换能器接收，经换能器转换成一系列电脉冲。一次发射可获得换能器两侧一窄条海底的信息，在auv前进过程中发射和接收声波，随着水下声呐载体的不断移动，声呐阵在前进过程中不断发射、接收处理，记录逐行排列，将每一发射周期的接收数据一线接一线地纵向排列，构成了二维海底地貌声图。
[0058]
步骤二中，所述的高性能计算模块包括声呐数据存发模块和声呐数据处理模块两个子模块：
[0059]
声呐数据存发模块搭载了一块单板计算机，主要实现数据存发功能，其依据的准则是：随着水下声呐载体的不断移动，声呐阵在前进过程中不断发射、接收处理，记录逐行排列，在显示器上每一行扫描线上逐行显示出每次发射返回的回波数据，各个回波到达时分别对应各点的位置，即像素坐标，回波的幅值对应各点的亮度，即像素灰度值。最终呈现二维海底地貌声图，声图平面和海底平面成逐点映射关系，声图的亮度包涵了海底的特征。该模块为一个单板电脑，其处理器包含i3-6100u cpu，主要将auv主控系统发送的auv当前
位置和姿态角整合到每一数据包的数据流中，同时该模块还可逐行显示出每次发射返回的回波数据，与此同时，实时记录声呐数据。在获取了海底地貌特征的声呐信息之后，该模块同时将这些数据以通用的xtf数据格式发送给下一级的声呐数据处理模块。
[0060]
声呐数据处理模块搭载了一块nvidia jetson agx xavier，主要实现侧扫声呐图像预处理和识别，该模块集成了8颗定制cpu核心以及512核心volta架构gpu，侧扫声呐图像预处理和识别过程如下：
[0061]
1、对数据进行实时处理：
[0062]
解析声呐数据包，将解析后的声强信息转换成像素值信息，并对像素值进行归一化处理。将处理好的数据转成图片格式，每3秒转换一次图像，将转换的图像进行进行双线性插值和裁剪，处理成深度卷积神经网络所需要的数据大小。
[0063]
2、图像预处理
[0064]
图像预处理采用了限制对比度自适应直方图均衡化方法，由于侧扫声呐图像对比度低，该方法能够真正估计图像的前景和背景，在图像的相对均匀的区域中抑制过度放大噪声的趋势，用于改善图像的对比度，该图像预处理的方法提高了图像识别的准确率。具体操作如下：
[0065]
(1)计算声呐图像的均值a
[0066][0067]
其中，p
ij
为声呐图像的像素点，n为声呐图像的尺寸。
[0068]
(2)将a作为图像的阈值，提取图像中高于a的像素值，构成集合b
[0069]
b∈{∑p
ij
} p
ij
＞a
[0070]
(3)b中的每一个元素b都变为a，其中b高于a的部分进行求和得到c
[0071]
b＝{a,
…
a}
[0072][0073]
其中，m为b中元素的个数。
[0074]
(4)c除以256(该256是指灰度等级，也就是0-255)得到d，将d加在每一个灰度等级下：
[0075][0076]
其中，a为图像预处理后的像素值。
[0077]
3、实时识别，并且在识别的过程中计算目标点的经纬度
[0078]
在嵌入式设备上运行本发明提出的r-moblienetv2能够提高访问的灵活性，以及在安全、隐私和能耗上获得额外的优势。r-moblienetv2模型是在moblienetv2网络的基础上进行了改进，在其中加入了循环的思想。虽然mobilenetv2是一个轻量级深度卷积网络，适用于嵌入式系统，但是需要在相对比较理想的工作条件下才能取得较好的识别效果。但是对于auv勘测工作来说，auv经常在恶劣环境下进行作业，由于海浪和涌流的干扰，往往导致侧扫声呐成像质量差，不利于识别。另外，声呐图像具有对比度低和色彩质量差等特性，
moblienetv2在不断的卷积过程中会丢失大量的信息，导致识别率低。
[0079]
为了满足auv对侧扫声呐的实时处理能力，本实施例专门针对移动和资源受限的环境量身定制了一种改进型的神经网络r-moblienetv2，即在moblienetv2中引入循环思想(recurrent)。此改进型网络属于轻量级网络，因此它能支持侧扫声呐图像在线识别。而在mobilenetv2网络结构中加入循环模块则可以更好的保留大量的有效信息，加强了网络中的上一时刻参数和当前时刻参数之间的联系，充分挖掘了低质量侧扫声呐图像的隐藏信息，比原始mobilenetv2识别的准确率更高。该方法对于弱观测条件下，尤其是恶劣环境下的auv采集到的低质量侧扫声呐声图具有很好的识别效果，增强了auv识别能力的泛化性和普适性。在嵌入式设备上运行r-moblienetv2能够提高访问的灵活性，以及在安全、隐私和能耗上获得额外的优势。不仅能够确保识别过程中有更好的特征表示，且有助于减少错误。以下(1)和(2)简单的介绍了mobilenetv2结构和循环思想的主要原理，(3)中具体介绍了本发明中提出的r-moblienetv2，(4)为识别结果和目标点对应的经纬度，具体为：
[0080]
(1)mobilenet的构建包括深度可分离卷积、线性瓶颈和倒置残差。
[0081]
深度可分离卷积：将标准卷积拆分为两个分卷积，第一层称为深度卷积，对每个输入通道应用单通道的轻量级滤波器；第二层称为逐点卷积，负责计算输入通道的线性组合构建新的特征。该卷积为深度分离卷积。标准卷积li为
[0082]
li＝hi×
wi×di
[0083]
应用标准卷积核
[0084]
k∈rk×k×di
×dj
[0085]
产生输出lj为
[0086]
lj＝hi×
wi×dj
[0087]
标准卷积的计算消耗为
[0088]hi
×
wi×di
(k2+dj)
[0089]
其中，h和w为数据尺寸，d为通道，k为核张量。
[0090]
线性瓶颈：深度神经网络是由n个li层构成，每层li经过激活输出的张量为hi×
wi×di
。这一连串的卷积和激活层形成一个兴趣流形。在低维空间中使用relu做激活变换会丢失很多信息，针对这个问题使用线性瓶颈，即不使用relu激活，而是做线性变换，来代替原本的非线性激活变换，通过在卷积模块中后插入线性瓶颈来捕获兴趣流行，可以防止非线性破坏太多信息。
[0091]
倒置残差：将shortcuts放在线性瓶颈之间，先升维再降维，可以提升梯度在乘积层之间的传播能力，显著减少所需的内存占用，有着更好的内存使用效率。传统的残差结构是先通过1
×
1的卷积核来降通道，用relu来进行激活，再用3
×
3的卷积核进行空间卷积，用relu来进行激活，最后用1
×
1的卷积核来恢复通道，用relu来进行激活，将此输出与输入相加。其中，1
×
1的卷积是为了降通道，减少计算量，否则中间的3
×
3空间卷积计算量太大。如图3(a)所示。moblienetv2将中间的3
×
3卷积变为了depthwise，计算量减少，同时通道数增多，但是效果更佳。先通过1
×
1卷积先提升通道数，再用depthwise的3x3空间卷积，最后用1
×
1卷积降低维度。该结构属于轻量级网络，具有较小的计算量，能够对auv采集的侧扫声呐图像进行实时的处理，并且能得到较好的性能，如图3(b)所示。
[0092]
(2)虽然mobilenetv2是一个轻量级深度卷积网络，适用于嵌入式系统，但是需要
在相对比较理想的工作条件下才能取得较好的识别效果。但是对于auv勘测工作来说，auv经常在恶劣环境下进行作业，由于海浪和涌流的干扰，往往导致侧扫声呐成像质量差，在深度卷积中，有效的信息会大量丢失，不利于识别。因此需要对模型进行改进，本发明在mobilenetv2中加入了循环的思想，循环结构充分利用了上一时刻和当前时刻的信息，减少浅层信息的丢失，挖掘隐藏的数据，提高识别准确率。
[0093]
对于循环网络，在前向传播中，对于t时刻的表示为：
[0094]h(t)
＝φ(ux
(t)
+wh
(t-1)
+b)
[0095]
其中φ()为激活函数，在这里选择tanh函数，b为偏置，x是输入，h是隐层单元，t为当前时刻的状态，w是权值。
[0096]
则t时刻的输出状态为：
[0097]o(t)
＝vh
(t)
+c
[0098]
其中，v是权值，c为上一时刻的上一时刻的状态
[0099]
其输出为：
[0100]y(t)
＝σ(o
(t)
)
[0101]
其中，σ()为分类激活函数，这里采用softmax。
[0102]
(3)改进的轻量级r-mobilenetv2用于侧扫声呐图像识别方法，在mobilenetv2的深度可分离卷积和倒置残差模块的基础上引入循环结构，如图3(c)，该改进网络包括卷积层、最大池化层、规范化层和激活层；
[0103]
卷积层用来进行特征提取，我们使用多层卷积层来得到更深层次的特征图。最大池化层对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度，另一方面进行特征压缩，提取主要特征；规范化层使用输入网络中的最小批量图像的均值和标准差对深度神经网络的隐藏层输入进行标准化操作，可以有效提高训练速度；激活层里包含了在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。这几个层之间为串行关系。
[0104]
首先，将侧扫声呐图像输入到该网络中，经过一层卷积层，对声呐图像进行特征提取，当前层的输出可以表示为：
[0105][0106]
其中，l代表当前层数，i代表特征序号，si为当前输入的特征图，在这里表示224像素*224像素的侧扫声呐图像，为当前层的卷积核，为偏置，f为relu激活函数；
[0107]
然后，上一层的输出会输入到串行的七组线性瓶颈块中，在这里，本发明对原始网络进行了改进，在这七组线性瓶颈块中的卷积层引入了循环的思想。每个线性瓶颈块包含了卷积核为1*1的卷积、卷积核为3*3的深度可分离卷积、卷积核为1*1的线性变换卷积。每一个线性瓶颈块的输出可以表示为：
[0108][0109]
其中，w为随机初始化参数，会随着网络的不断训练而进行优化，为上一时刻的记忆状态将参与这一次预测活动，即上述公式可以进一步表示为：
[0110][0111]
所以，七组线性瓶颈块的输出可以表示如下：
[0112][0113]
其中，x
l
为r-mobilenetv2的第l层的输入；(i,j)代表了第k个特征在循环卷积神经网络上的映射；为第t时刻的输出；和分别是卷积神经网络和循环卷积神经网络的第k个特征映射的权重；bk为偏置；这里的t设置为2；
[0114]
对其进行线性激活，公式如下：
[0115][0116]
循环卷积块的输出作为激活函数的输入，这里用公式f来表示；f(x
l
,w
l
)为循环卷积神经网络的输出。
[0117]
接下来的池化层表示为：
[0118][0119]
其中，表示上一个卷积层的输出，down表示池化函数。
[0120]
最后做一步残差，公式如下：
[0121][0122]yl+1
为残差结构的输出，也是最终r-mobilenetv2的输出，这里输出侧扫声呐识别结果。
[0123]
(4)实时计算目标点的位置
[0124]
auv主控系统需要识别结果，同时需要识别目标点的经纬度，才能进行实时的路径规划，因此实时解析声呐数据包的同时要解析数据包中auv的经纬度和姿态角，其中姿态角包括横滚(roll)、俯仰(pitch)、偏航(head)，r-mobilenetv2对声呐图像进行识别的同时，并行的对识别的目标点的位置进行矫正。
[0125]
对于横滚(roll)的影响，在非人为强行干扰情况下，只会影响到成像质量，不对造成声呐成像上位置的过多偏差。
[0126]
由于侧扫声呐扫测的数据在auv两侧，且扫测区域垂直于auv航迹方向，因此左右两侧的目标点关于auv呈对称，以下只对auv左侧目标点进行矫正，而右侧目标点的经纬度根据左侧目标点经纬度取镜像即可。
[0127]
本发明中，侧扫声呐的单侧扫宽range为200m，但实际中，由于存在水深的影响，实际单侧扫宽范围为：
[0128][0129]
其中，h为auv距离海底的高度，实际侧扫的扫宽范围不到200m，但是只要将高度设在range的1/10～1/5之间，则是合理的勘测方案。
[0130]
在本发明中，每接收3秒的数据会进行一次识别，将这3秒累积的“细长条”数据从左到右划分成n份，在本发明中，将n设为24，即识别成24个结果，在这里只对左侧数据进行矫正，即取左侧12个结果进行矫正。
[0131]
每个目标点所占实际海域的宽度为：
[0132][0133]
其中，12表示单侧(左侧)共划分为了12块，r
one
为每一块区域所占的实际宽度。
[0134]
每个目标点距auv的水平距离为：
[0135][0136]
其中表示取了每个目标点的中心位置，i的取值为i＝(0,1,2,
…
,11)，以上公式表示的是每个目标点的中心距离auv的水平距离。
[0137]
对偏航造成的偏差矫正如下：
[0138]
l
i_lat
＝l
lat-ri*cos(radians(head))
[0139]
l
i_lon
＝l
lon
+ri*sin(radians(head))
[0140]
其中，ri目标点与auv的水平距离，l
lat
和l
lon
为当前auv的经纬度(utm格式)，randis()为弧度计算，下同。
[0141]
俯仰(pitch)所造成的实际目标点距离auv水平距离如下：
[0142]
l
p
＝h*sin(randis(pitch))
[0143]
其中，p的取值为p＝(0，1,2,
…
,11)。
[0144]
在考虑偏航(head)的影响后，俯仰(pitch)造成的目标点偏差，矫正如下：
[0145][0146][0147]
其中，l
p_lat
和l
p_lon
为偏航经过矫正的真实目标点位置，h的取值为h＝(0,1,2,
…
,11)。
[0148]
对右侧目标点计算经纬度，公式如下：
[0149]
l
h_lat
′
＝2*l
lat-l
h_lat
[0150]
l
h_lon
′
＝2*l
lon-l
h_lon
[0151]
所以，最终auv左侧目标点的经纬度如下：
[0152]
l＝{l
h_lat
+l
h_lat
',l
h_lon
+l
h_lon
'}
[0153]
y＝(y,l)
[0154]
其中，y为上一步侧扫声呐的识别结果，l为最终识别结果对应的经纬度位置。
[0155]
所述的声呐数据处理模块需要加载线下训练好的r-moblienetv2模型才能实时对侧扫声呐采集到的数据进行识别；为了训练一个鲁棒性强且可靠稳定的深度卷积神经网络模型，线下需要对该模型进行训练，将训练好的模型载入到声呐数据处理模块中，其中，获得深度卷积神经网络模型的过程如下：
[0156]
(1)获取训练样本集：此数据集主要通过步骤一获得，本实施例主要采用了在中国
青岛团岛采集的礁石数据集、在中国青岛胶州湾采集的沙波数据集；
[0157]
(2)对训练样本集进行预处理：本实施例中采集的侧扫声呐数据主要包括沙波、礁石，为了减少计算量、提高运行效率，将原始图片插值、裁剪之后，将沙波和礁石的数据尺寸设置为224像素
×
224像素。
[0158]
(3)样本集图像数据扩充：侧扫声呐数据有限，导致已有的数据不足以训练复杂的深度学习网络。实际环境中的数据与数据集不同，其中充斥着大量纯背景的场景，而不可能把所有的场景都提供给模型训练。
[0159]
为了防止由于样本较少引起的过拟合问题，也为了满足侧扫声呐分割模型有较好的泛化能力，采用数据增强的方式对图像样本进行数据扩充，本实施例中主要采用旋转变换、缩放变换、水平和垂直翻转变换以及随机改变亮度、对比度和颜色等方式对样本集图像进行数据增强。在沙波数据集中，考虑了从扩增数据集中随机选择的7521张图像，其中5000张用于训练，1000张用于验证，2521张用于测试。每个原始图像的大小为224像素
×
224像素；礁石数据集中，经过处理，该数据集总共包含7265个样本，其中4465个训练样本，1300个验证样本和1500个测试样本，每个原始图像的尺寸为224像素
×
224像素。
[0160]
(4)将经处理后获得的训练数据集图像打标签处理，作为训练样本，运用以上步骤中的数据作为训练集、验证集和测试集，来对本发明中提到的r-moblienetv2进行训练，构建深度卷积神经网络模型，获得一个鲁棒性较强的模型，将该模型载入到声呐数据处理模块(xavier)中，用于海洋勘测中处理实时获取的侧扫声呐数据，将识别结果发送给下一级进行路径规划。
[0161]
步骤三中，所述的auv主控系统主要对上述的侧扫声呐识别结果进行在线的路径规划，实现对auv航行路径的实时优化。
[0162]
所述的实时路径规划算法，其构建如下：
[0163]
在传统的海洋勘测手段中，由于要对海底进行详尽了解，auv在扫测过程中，不能出现漏扫现象，并且如果搭载在auv上的侧扫声呐单侧扫宽过大，扫描范围广，则会导致牺牲声呐图像质量来实现短时间内大范围的海底勘测，这样导致侧扫声呐图像不具备勘测价值。所以，传统的常规路径规划则是采用细扫准则，单侧扫描范围小，成像质量优，但是这种方法则会花费大量的勘测时间。本发明对扫测范围和成像质量两者之间进行了权衡，提出了一种实时路径规划算法，以提高auv的工作效率，充分利用搭载在高性能计算模块上的轻量级网络对侧扫声呐的识别效果，使auv具有自主性和高效率特性。
[0164]
auv有两种模式：lowfreq(记为粗扫)和highfreq(记为细扫)，lowfreq一次可以扫描8个栅格并标记，highfreq一次可以扫描2个栅格并标记。
[0165]
auv运动规则如下：
[0166]
(1)auv默认按照基线运动，对该区域进行粗扫，扫描范围较大。
[0167]
(2)当识别网络识别到到疑似目标物后，进入细扫模式，对该区域的目标物进行详细精细扫描和遍历，扫描范围较小。
[0168]
(3)若当前细扫状态一直发现有目标物，则auv会一直处在细扫状态下，当细扫未发现目标物，则结束细扫，回到auv基线上，执行粗扫指令；若当前细扫状态认为上述(2)中识别的疑似目标为非目标时，即代表该区域没有目标物，则直接回到粗扫指令中。
[0169]
(4)重复以上的操作，直到任务结束。
[0170]
试验验证：
[0171]
为了更好地证明本发明提出的基于数据驱动的auv海底目标识别与路径规划方法，本发明分析了实时处理侧扫声呐数据的时间，在线目标识别能力，实时路径规划的能力。
[0172]
(1)实时处理侧扫声呐数据
[0173]
为了准确地获得所提出方法的计算时间，本实施例在xavier上对实时解析声呐数据的时间以及轻量级深度学习算法r-mobilenetv2对声呐图像识别的时间进行了测试，其中解析声呐数据的时间包括对原始数据流的解读、图像拼接、图像插值、图像裁剪，如表1所示：
[0174]
表1处理声呐数据时间
[0175][0176][0177]
auv实时记录试验数据。xavier每接收3秒声呐数据进行一次处理，且处理的总时间(解析和识别)在3秒时间内，xavier同时段并行接收声呐数据流，如图4。实验表明，r-mobilenetv2模型计算速度快，计算量小，能够满足水下机器人的实时性要求。
[0178]
(2)在线目标识别
[0179]
为了验证r-mobilenetv2识别算法的鲁棒性，本发明进行了海试验证。主要在两个区域进行了验证，即中国青岛团岛湾和中国青岛胶州湾，分别测试礁石和沙波。
[0180]
auv搭载的侧扫声呐在任务过程中实时探测环境信息，经由r-mobilenetv2算法在线进行识别，将最终算法识别结果与先验结果进行比较，验证算法鲁棒性。其中，识别结果是auv实时处理的结果(0或者1，其中0代表背景(非目标物)，1代表目标物)，包括每3秒处理的图片数据，识别结果以及这些结果对应的经纬度，本实施例将这些结果实时存储在xavier上，以便后续下载查看。先验结果是由试验过程中实时保存的声呐换能器采集的原始数据解析而来，该数据是由高性能计算模块中的计算机板卡所存储。线下解析该原始数据，以原始图像、去水体后的原始图像、金标准呈现，作为试验的标准。最后计算识别准确率、漏识率(将目标识别为背景)、误识率(将背景识别为目标)，公式如下。
[0181]
平均准确率：
[0182]
漏识率：
[0183]
误识率：
[0184]
其中，k为类别的总数，在本发明中，k＝1；p
10
为实际上是目标物，但是被漏识别成背景；p
01
为实际为背景，但是被误识别成目标物；p
ii
为真实像素类别为i的像素被预测为类别i的总数量。
[0185]
对礁石和沙波的识别结果总结如表1所示，根据海试试验结果来看，基于r-mobilenetv2的轻量级的侧扫声呐图像识别模型可以实现高精度的在线识别，识别的平均准确率为84.586％，平均漏识率为7.926％，平均误识率为7.489％，具有较强的鲁棒性，能够实现对水下场景的实时感知。
[0186]
表1在线目标识别性能汇总表
[0187] 识别准确率漏识率误识率礁石区块10.831330.0876060.081064礁石区块20.8371010.0794180.083481沙波区块10.93750.04750.015沙波区块20.77750.10250.12平均0.845860.0792560.074887
[0188]
(3)实时路径规划
[0189]
为了验证auv实时路径规划能力，本实施例进行了仿真和海试验证。通过工作时间的提升来验证本发明提出的算法的可靠性。其效率公式如下：
[0190][0191]
其中，tc为通用型有效工作时间，t
rc
为本发明中提出的实时路径规划时间。
[0192]
仿真实验
[0193]
本实施例对提出的实时路径规划算法进行了仿真实验，auv的运行速度设为1m/s。与常规方法对比的时间见表3。
[0194]
表3仿真路径规划方法对比
[0195]
方法时间(s)常规方法7100实时路径规划方法5200
[0196]
海试验证
[0197]
本实施例在中国青岛团岛湾使用模拟海图对实时路径规划进行了验证，即事先拟定好声呐识别结果，将该结果实时发送给auv主控系统，来验证路径规划能力。该海试时间为冬季，海况2级，速度1m/s，auv轨迹平稳。两种方法对比的时间见表4。
[0198]
表4海试路径规划方法对比
[0199][0200][0201]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。