一种基于双向跨跃反馈循环结构声纳图像识别方法及系统

1.本发明涉及声纳图像识别技术领域，具体是涉及一种基于双向跨跃反馈循环结构声纳图像识别方法及系统。


背景技术：

2.声纳探测技术是人类感知海洋并开发其资源的重要基础。声纳图像在海洋测绘与勘探、海底救援、海洋作战、探寻油气等方面具有非常广泛地应用。目前对声纳图像的识别分类仍以传统机器学习为主，因其不够自主，效率低，对于微小特征的提取不理想，不易区分，致使识别准确率低。现实中，由于声纳图像通常存在样本少，模糊不清，肉眼难辨，人眼都不易区分的情况，所以传统方法识别效果并不好。


技术实现要素：

3.发明目的：针对以上缺点，本发明提供一种基于双向跨跃反馈循环结构声纳图像识别方法，实现在声纳图像训练数据较少时，保证图像识别保持较高识别精度。同时，本发明还提供了一种基于双向跨跃反馈循环结构声纳图像识别系统，能够准确的识别声纳图像。
4.技术方案：为解决上述问题，本发明所述的一种基于双向跨跃反馈循环结构声纳图像识别方法，包括以下步骤：
5.(1)采集若干水下声纳图像数据，将部分图像数据进行分类标注获得训练集，剩余图像数据作为测试集；
6.(2)对图像数据进行预处理获得增强图像数据；
7.(3)选取effcientnet神经网络模型的前8个阶段作为主干特征提取网络；将预处理后的训练集的图像数据作为主干特征提取网络输入，提取后5个阶段的特征图输出ah,h＝4、5、6、7、8；
8.(4)将输出的特征图ah作为加强特征提取网络的输入，最终输出有效特征图n＝4、5、6、7、8；所述的加强特征提取网络为双向跨越反馈循环结构，具体计算过程为：
9.(4.1)令
[0010][0011][0012][0013]
其中，σ*σconv表示大小为σ*σ的卷积；所述的f对应主干特征提取网络中阶段，f取5、6或7，当f取5、6、7中任一数值，h取相同的值；γ1为ah的权重、γ2为的权重；所述为特征图通过shortcut跨越操作得到特征图；所述的为主干特征提取网络中同一阶段输出的值与叠加形成特征图，在第一次循环时取0；
具体公式为：
[0014][0015]
其中，τ1为的权重；τ2为的权重；为特征的进行上采样操作得到特征图；为下一阶段对应的
[0016]
(4.2)获取有效特征图具体公式为：
[0017][0018][0019][0020][0021][0022]
其中，β1为的权重、β2为的权重；α3为的权重、α1为的权重、α2为的权重；μ3为的权重、μ1为的权重、μ2为的权重、μ4为的权重；为的权重、为的权重、α2为的权重；θ1为的权重、θ2为的权重、为的权重；为进行上采样操作获得特征图；为通过shortcut跨越操作获得特征图；为进行下采样操作获得特征图；为通过shortcut跨越操作获得特征图；为进行下采样后特征图；为为通过shortcut跨越操作获得特征图；为通过shortcut跨越操作获得特征图；为进行下采样操作获得特征图；为进行下采样后特征图；为通过shortcut跨越操作获得特征图；
[0023]
(5)将提取到的有效特征图输入集成学习网络获取分类结果；所述的集成学习网络包括一级分类器、二级分类器，所述的一级分类器选取logistic回归算法，二级分类器选取softmax回归算法；具体的，将有效特征图输入m个一级分类器，将每个一级分类器获得的概率特征进行融合后输入二级分类器，获得分类结果及softmax回归算法的损失值；
[0024]
(6)循环步骤(4)和步骤(5)，每循环10次计算一次平均损失值，将该平均损失值与上一次获取的平均损失值进行比较，若两者之差小于0.01，则停止循环；将测试集的图像数
据依次输入主干特征提取网络、加强特征提取网络和集成学习网络获取分类结果。
[0025]
有益效果：本发明相对于现有技术，其显著优点是：本发明通过对经过主干特征提取网络提取的特征图进行多次上、下采样以及不同特征层的跨层反复按一定权重进行堆叠池化形成双向跨越反馈循环结构，通过该结构强化小样本声纳图来有效特征图的特征表述，可以提高预测识别精度。
[0026]
进一步的，步骤(2)中预处理包括：将图像裁剪为尺寸统一为224*224*3的目标区域图像并采用阈值分割方法，对图像进行二值化处理后；采用水平翻转、饱和度抖动、对比度抖动、锐度抖动、高斯噪声以及椒盐噪声对图像进行数据增强。
[0027]
进一步的，所述主干特征提取网络的8个阶段为：第一阶段：对输入的图像按顺序进行卷积、批量归一化后进行swish激活操作；第二阶段：对第一阶段输出的特征图进行一次移动翻转瓶颈卷积；第三阶段：对第二阶段输出的特征图进行两次移动翻转瓶颈卷积；第四阶段：对第三阶段输出的特征图进行两次移动翻转瓶颈卷积；第五阶段：对第四阶段输出的特征图进行三次移动翻转瓶颈卷积；第六阶段：对第五阶段输出的的特征图进行三次移动翻转瓶颈卷积；第七阶段：对第六阶段输出的特征图进行四次移动翻转瓶颈卷积；第八阶段：对第七阶段输出的特征图进行一次移动翻转瓶颈卷积。
[0028]
进一步的，步骤(5)中softmax回归算法的损失函数为：
[0029][0030]
其中，l表示损失值；n表示总样本个数；y
n，l
表示第n个样本预测为第l个标签；p
n，l
表示第n个样本预测为第l个标签；
[0031]
进一步的，步骤(5)中的第二分类器输出计算方法如下：
[0032][0033]
其中，f
yi
是多分类问题的某一分类的预测结果,c为所分类个数，且∑isoftmaxz(f
yi
)＝1。
[0034]
进一步的，步骤(5)中的第一分类器获得的概率特征的公式如下：
[0035][0036][0037]
f(x)＝w
t
x+c
[0038]
式中，y(x)为样本的概率特征；f(x)是输入样本x的线性模型；w
t
和c为线性模型f(x)的系数。
[0039]
此外，本发明还提供一种基于双向跨跃反馈循环结构声纳图像识别系统，包括：
[0040]
数据采集模块，用于采集若干水下声纳图像数据，将部分图像数据进行分类标注获得训练集，剩余图像数据作为测试集；
[0041]
图像预处理模块，用于对图像数据进行预处理获得增强图像数据；
[0042]
主干特征提取网络模块，用于选取effcientnet神经网络模型的前8个阶段作为主
干特征提取网络；将预处理后的训练集的图像数据作为主干特征提取网络输入，提取后5个阶段的特征图输出ah,h＝4、5、6、7、8；
[0043]
加强特征提取网络模块，用于将输出的特征图ah作为加强特征提取网络的输入，最终输出有效特征图n＝4、5、6、7、8；所述的加强特征提取网络为双向跨越反馈循环结构，具体计算过程为：具体计算过程为：令
[0044][0045][0046][0047]
其中，σ*σconv表示大小为σ*σ的卷积；所述的f对应主干特征提取网络中阶段，f取5、6或7，当f取5、6、7中任一数值，h取相同的值；γ1为ah的权重、γ2为的权重；所述为特征图通过shortcut跨越操作得到特征图；所述的为主干特征提取网络中同一阶段输出的值与叠加形成特征图，在第一次循环时取0；具体公式为：
[0048][0049]
其中，τ1为的权重；τ2为的权重；为特征的进行上采样操作得到特征图；为下一阶段对应的
[0050]
获取有效特征图具体公式为：
[0051][0052][0053][0054][0055][0056]
其中，β1为的权重、β2为的权重；α3为的权重、α1为的权重、α2为的权重；μ3为的权重、μ1为的权重、μ2为的权重、μ4为的权重；为的权重、为的权重、为的权重；θ1为的权重、θ2为的权重、θ3为的权重；为进行上采样操作获得特征图；为通过shortcut跨越操作获
得特征图；为进行下采样操作获得特征图；为通过shortcut跨越操作获得特征图；为进行下采样后特征图；为为通过shortcut跨越操作获得特征图；为通过shortcut跨越操作获得特征图；为进行下采样操作获得特征图；为进行下采样后特征图；为通过shortcut跨越操作获得特征图；
[0057]
集成学习网络：用于将提取到的有效特征图输入集成学习网络获取分类结果；所述的集成学习网络包括一级分类器、二级分类器，所述的一级分类器选取logistic回归算法，二级分类器选取softmax回归算法；具体的，将有效特征图输入m个一级分类器，将每个一级分类器获得的概率特征进行融合后输入二级分类器，获得分类结果及softmax回归算法的损失值；
[0058]
迭代循环模块，用于循环加强特征提取网络模块和集成学习网络，每循环10次计算一次平均损失值，将该平均损失值与上一次获取的平均损失值的值进行比较，若两者之差小于0.01，则停止循环；将测试集的图像数据依次输入主干特征提取网络、加强特征提取网络和集成学习网络获取分类结果。
[0059]
进一步的，集成学习网络中softmax回归算法的损失函数为：
[0060][0061]
其中，l表示损失值；n表示总样本个数；y
n，l
表示第n个样本预测为第l个标签；p
n，l
表示第n个样本预测为第l个标签。
[0062]
有益效果：本发明相对于现有技术，其显著优点是利用本发明所述的系统可以针对声纳图像数据进行准确的识别分类。
[0063]
一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的方法。
[0064]
一种调试设备，存储器、处理器及在所述存储器上存储并可运行的程序，所述程序被处理器执行时实现上述任一项所述方法的步骤。
附图说明
[0065]
图1所示为本发明所述的一种基于双向跨跃反馈循环结构声纳图像识别方法整体的流程图；
[0066]
图2所示为本发明所述方法中主干特征提取网络、加强特征提取网络和集成学习网络具体的流程图；
[0067]
图3所示为本发明所述方法中加强特征提取网络的双向跨越反馈循环结构；
[0068]
图4所示为本发明所述方法中主干特征提取网络具体的结构；
[0069]
图5所示为本发明所述方法中依据显著性原则并采用阈值分割二值化处理并裁剪
后的目标区域图像；
[0070]
图6所示为本发明所述方法中循环训练的损失及识别准确率结果。
具体实施方式
[0071]
下面结合附图对本发明作进一步的说明。
[0072]
如图1至图6所示，本发明所述的一种基于双向跨跃反馈循环结构声纳图像识别方法，包括以下步骤：
[0073]
一、数据采集；
[0074]
采集已有的真实环境下的1240张全方位水下声纳图像，对不同种类水下目标进行分类标注以获得训练集，共240张，标注类别包括单柱、双柱、三柱、四柱、t型，其标签分别为single，double，triple，quadruple，t-shape；剩余图像数据作为测试集，测试集a集200张，b集800张。
[0075]
二、对数据进行预处理；
[0076]
首先对于每幅声纳图像，如图5(a)、5(b)、5(c)所示，根据区域显著性原则，将图像裁剪为尺寸统一224*224*3的目标区域图像并采用阈值分割方法，对图像进行二值化处理以减少运算量及网络预测时间；对二值化处理后的图像数据作数据增强处理，数据增强是一种有效的数据扩充方式，适当扩展数据集可以提高模型识别的泛化能力。采用的数据增强方法包括水平翻转、饱和度抖动、对比度抖动、锐度抖动、高斯噪声以及椒盐噪声等。
[0077]
三、将预处理后的训练集的图像数据输入主干特征提取网络进行特征提取；
[0078]
选取effcientnet神经网络模型的前8个阶段作为主干特征提取网络；具体实施如图4所示：
[0079]
第1阶段：对输入的224*224*3的图像按顺序进行大小为1*1，步长为1*1的卷积操作后批量归一化处理，利用swish激活函数进行激活操作得到第1阶段的结果；
[0080]
第2阶段：对第1阶段输出的112*112*32的特征图进行一次移动翻转瓶颈卷积得到第2阶段的结果；
[0081]
第3阶段：对第2阶段输出的112*112*16的特征图进行两次移动翻转瓶颈卷积得到第3阶段的结果；
[0082]
第4阶段：对第3阶段输出的56*56*24的特征图进行两次移动翻转瓶颈卷积得到第4阶段的结果；
[0083]
第5阶段：对第4阶段输出的28*28*40的特征图进行三次移动翻转瓶颈卷积得到第5阶段的结果；
[0084]
第6阶段：对第5阶段输出的14*14*80的特征图进行三次移动翻转瓶颈卷积得到第6阶段的结果；
[0085]
第7阶段：对第6阶段输出的14*14*112的特征图进行四次移动翻转瓶颈卷积得到第7阶段的结果；
[0086]
第8阶段：对第7阶段输出的7*7*192的特征图进行一次移动翻转瓶颈卷积得到第8阶段的结果；
[0087]
从主干特征提取网络的8个阶段中提取获得后5个阶段输出的特征图ah，其中h＝4、5、6、7、8；
[0088]
四、将输出的特征图ah作为加强特征提取网络的输入，获得最终输出有效特征图n＝4、5、6、7、8；
[0089]
所述的加强特征提取网络为双向跨越反馈循环结构，具体计算过程如图3所示：
[0090]
(4.1)令
[0091][0092][0093][0094]
其中，3*3conv表示大小为3*3的卷积；所述的f对应主干特征提取网络中阶段，f为5、6、7，当f取5、6、7中任一数值，h对应取相同的值；γ1为ah的权重、γ2为的权重；所述为特征图通过shortcut跨越操作得到特征图；所述的为主干特征提取网络中同一阶段输出的值与叠加形成特征图，在第一次循环时取0；具体公式为：
[0095][0096]
其中，τ1为的权重；τ2为的权重；为特征的进行上采样操作得到特征图；为下一阶段对应的
[0097]
综上，根据上述公式可知是主干提取主干特征提取网络进行初步提取特征ah与堆叠池化形成的，为主干特征提取网络中同一阶段输出的值与叠加形成特征图，的获取与的获取构成了双向反馈循环。
[0098]
(4.2)获取有效特征图具体公式为：
[0099][0100][0101][0102][0103][0104]
其中，β1为的权重、β2为的权重；α3为的权重、α1为的权重、α2为的权重；μ3为的权重、μ1为的权重、μ2为的权重、μ4为的权重；为的权重、为的权重、为
的权重；θ1为的权重、θ2为的权重、θ3为的权重；为进行上采样操作获得特征图；为通过shortcut跨越操作获得特征图；为进行下采样操作获得特征图；为通过shortcut跨越操作获得特征图；为进行下采样后特征图；为为通过shortcut跨越操作获得特征图；为通过shortcut跨越操作获得特征图；为进行下采样操作获得特征图；为进行下采样后特征图；为通过shortcut跨越操作获得特征图。
[0105]
五、将提取到的有效特征图输入集成学习网络获取分类结果以softmax回归算法的损失值；
[0106]
所述的集成学习网络依次设置m个一级分类器、二级分类器，所述的一级分类器选取logistic回归算法，二级分类器选取softmax回归算法；
[0107]
具体的，将有效特征图输入m个一级分类器，将每个一级分类器获得的概率特征，公式如下：
[0108][0109][0110]
f(x)＝w
t
x+c
[0111]
式中，y(x)为样本的概率特征；f(x)是输入样本x的线性模型；w
t
和c为线性模型f(x)的系数。
[0112]
将输出的概率特征进行融合将融合后概率特征输入二级分类器得到分类结果第二分类器输出计算方法如下：
[0113][0114]
其中，f
yi
是多分类问题的某一分类的预测结果,c为所分类个数，且∑isoftmax(f
yi
)＝1。
[0115]
所述softmax回归算法的损失函数为：
[0116][0117]
其中，l表示损失值；n表示总样本个数；y
n，l
表示第n个样本预测为第l个标签；p
n，l
表示第n个样本预测为第l个标签。
[0118]
六、循环步骤(4)和步骤(5)，每循环10次计算一次平均损失值，将该平均损失值与上一次获取的平均损失值进行比较，若两者之差小于0.01，则停止循环。如图6所示，在循环到100次左右，平均损失函数和准确率趋于稳定，停止循环，模型训练完成。将测试集的图像数据依次输入主干特征提取网络、加强特征提取网络和集成学习网络获取分类结果。
[0119]
此外，本发明还提供一种基于双向跨跃反馈循环结构声纳图像识别系统，包括：
[0120]
数据采集模块，用于采集若干水下声纳图像数据，将部分图像数据进行分类标注获得训练集，剩余图像数据作为测试集；
[0121]
图像预处理模块，用于对图像数据进行预处理获得增强图像数据；
[0122]
主干特征提取网络模块，用于选取effcientnet神经网络模型的前8个阶段作为主干特征提取网络；将预处理后的训练集的图像数据作为主干特征提取网络输入，提取后5个阶段的特征图输出ah,h＝4、5、6、7、8；
[0123]
加强特征提取网络模块，用于将输出的特征图ah作为加强特征提取网络的输入，最终输出有效特征图n＝4、5、6、7、8；所述的加强特征提取网络为双向跨越反馈循环结构，具体计算过程为：具体计算过程为：令
[0124][0125][0126][0127]
其中，σ*σconv表示大小为σ*σ的卷积；所述的f对应主干特征提取网络中阶段，f取5、6或7，当f取5、6、7中任一数值，h取相同的值；γ1为ah的权重、γ2为的权重；所述为特征图通过shortcut跨越操作得到特征图；所述的为主干特征提取网络中同一阶段输出的值与叠加形成特征图，在第一次循环时取0；具体公式为：
[0128][0129]
其中，τ1为的权重；τ2为的权重；为特征的进行上采样操作得到特征图；为下一阶段对应的
[0130]
获取有效特征图具体公式为：
[0131][0132][0133][0134][0135][0136]
其中，β1为的权重、β2为的权重；α3为的权重、α1为的
权重、α2为的权重；μ3为的权重、μ1为的权重、μ2为的权重、μ4为的权重；为的权重、为的权重、为的权重；θ1为的权重、θ2为的权重、θ3为的权重；为进行上采样操作获得特征图；为通过shortcut跨越操作获得特征图；为进行下采样操作获得特征图；为通过shortcut跨越操作获得特征图；为进行下采样后特征图；为为通过shortcut跨越操作获得特征图；为通过shortcut跨越操作获得特征图；为进行下采样操作获得特征图；为进行下采样后特征图；为通过shortcut跨越操作获得特征图；
[0137]
集成学习网络：用于将提取到的有效特征图输入集成学习网络获取分类结果；所述的集成学习网络包括一级分类器、二级分类器，所述的一级分类器选取logistic回归算法，二级分类器选取softmax回归算法；具体的，将有效特征图输入m个一级分类器，将每个一级分类器获得的概率特征进行融合后输入二级分类器，获得分类结果及softmax回归算法的损失值；
[0138]
迭代循环模块，用于循环加强特征提取网络模块和集成学习网络，每循环10次计算平均损失值，将该平均损失值与上一次获取的平均损失值的值进行比较，若两者之差小于0.01，则停止循环；将测试集的图像数据依次输入主干特征提取网络、加强特征提取网络和集成学习网络获取分类结果。
[0139]
此外，集成学习网络中softmax回归算法的损失函数为：
[0140][0141]
其中，l表示损失值；n表示总样本个数；y
n，l
表示第n个样本预测为第l个标签；p
n，l
表示第n个样本预测为第l个标签。
[0142]
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的方法。
[0143]
此外，本发明还提供一种调试设备，存储器、处理器及在所述存储器上存储并可运行的程序，所述程序被处理器执行时实现上述任一项所述方法的步骤。