一种地形崎岖不平海底的侧扫声呐图像匹配拼接方法与流程

本发明涉及一种侧扫声呐图像匹配拼接方法，特别是一种地形崎岖不平海底的侧扫声呐图像匹配拼接方法，属于侧扫声呐图像处理领域。

背景技术：

侧扫声呐以其分辨率高、能得到连续、清晰的二维海底地貌图像等突出的特点被广泛应用于如海底地貌勘探、水下目标探测，如海底沉船、失事飞机探测、海底底质调查等相关海洋项目之中。

侧扫声呐获得的图像并不是整个海底的地貌图像，而是根据时间顺序扫描而成的条带图像，无法直观表达地理信息，此外受侧扫声呐的成像范围或目标大小影响，兴趣目标可能存在于不同的声呐条带图像中。为了达到制作完整的海底地貌图、识别与跟踪兴趣目标等目的，需要采用图像匹配技术将侧扫声呐条带图像拼接成完整地貌图。

现有方法中侧扫声呐图像匹配方法可以分为基于角点的匹配方法、基于sift、surf、非线性尺度空间为代表的特征点匹配方法以及基于块匹配方法进行匹配这三类方法。这些侧扫声呐图像匹配算法只适合处理图像中特征明显、特征稳定不变、特征较多的侧扫声呐图像。但是当海底地形不平坦(实际中的海底大多不平坦)，侧扫声呐扫描崎岖的海底，由于从不同扫测方向和不同航线扫测相同位置的海山、海沟、洋中脊等有区域特征的海底，所获得的声呐图像相应区域的形状特征也不相同，所以图像特征只能保证大体相似，这就导致直接利用模板匹配或者利用特征点匹配方法如sift、surf、kaze、orb等常用的图像匹配方法将无法对这类侧扫声呐图像完成匹配。

综上，侧扫声呐图像在海洋探测中得到广泛应用，实际海底地形大部分情况则是不平坦的地形，但是目前的匹配方法却无法对海底崎岖的侧扫声呐图像进行匹配。

技术实现要素：

针对上述现有技术，本发明要解决的技术问题是提供一种地形崎岖不平海底的侧扫声呐图像匹配拼接方法，该发明旨在完成因海底地形崎岖不平海底的侧扫声呐图像中特征发生明显变化的图像匹配。

为解决上述技术问题，本发明给出一种地形崎岖不平海底的侧扫声呐图像匹配拼接方法，包括以下步骤：

步骤1：将侧扫声呐数据进行解析获取原始侧扫声呐图像；

步骤2：对原始侧扫声呐图像进行预处理，包括：斜距校正、速度校正、灰度校正；

步骤3：构建侧扫声呐图像数据集：对侧扫声呐图像集进行数据标注，将侧扫声呐图像数据中具有明显区域特征图像标注为一类，包括：海山、海沟、洋中脊，其他平坦区域为另外一类，得到标注后的数据集；

步骤4：搭建语义分割神经网络，使用步骤3中标注后的数据集对网络进行训练，得到侧扫声呐图像的神经网络分割模型；

步骤5：用训练好的神经网络模型对待匹配拼接的两帧侧扫声呐图像进行分割，对分割后的图像进行模板匹配，从而获取两张侧扫声呐图像的相对位置；

步骤6：结合步骤5获取的待匹配侧扫声呐图像相对位置信息，对步骤5待匹配拼接的两帧侧扫声呐图像进行泊松融合，对泊松融合之后的图像再利用最大值融合方法进行融合获得最终的侧扫声呐图像。

本发明还包括：

1.步骤2所述斜距校正包括：

首先对侧扫声呐图像进行海底基线提取，考虑海底地形的侧扫声呐斜距模型的计算公式为：

其中o'b'为校正后的平距，ob为斜距，h-h为声呐距离海底各点的垂直高度。

2.步骤2所述速度校正包括：利用侧扫声呐数据中的经纬度信息，每次计算一段相同间隔声呐数据的平均速度，然后对图像进行速度补偿。

3.步骤2所述灰度校正采用时变增益方法、波束模型方法或retinex方法进行灰度校正。

4.步骤4所述语义分割神经网络采用u-net语义分割网络。

本发明的有益效果：本发明与现有技术相比，优点在于利用语义分割网络只对侧扫声呐图像中明显的区域特征进行分割，避免了侧扫声呐图像噪声、图像特征形变等因素对侧扫声呐图像匹配的影响；利用分割后的图像来间接地获取待匹配侧扫声呐图像的相对位置信息，然后再利用相对位置信息进一步对预处理后的侧扫声呐图像进行融合拼接；通过本发明的方法，可以解决目前侧扫声呐图像匹配方法无法对地形崎岖不平海底的侧扫声呐图像进行匹配的问题。

附图说明

图1为本发明方法流程图；

图2为本发明解析出来的原始侧扫声呐图像；

图3为本发明预处理之后的侧扫声呐图像；

图4为基于特征点的原始侧扫声呐图像匹配方法结果；

图5为基于特征点的预处理之后的侧扫声呐图像匹配方法结果；

图6为本发明训练完成的语义分割神经网络模型对侧扫声呐图像的预测分割图；

图7为本发明的侧扫声呐图像匹配结果；

图8为本发明侧扫声呐图像得到的融合拼接效果图；

图9为本发明其他实例图像得到的融合拼接效果图。

具体实施方式

下面结合附图，通过实际案例进一步描述本发明，但不以任何方式限制发明的范围。

本发明属于侧扫声呐图像处理领域，具体涉及一种地形崎岖不平海底的侧扫声呐图像匹配拼接方法；包括对侧扫声呐图像进行斜距校正、速度校正、灰度校正获得预处理之后的侧扫声呐图像，使其能够与实际的海底景象信息对应；将大量侧扫声呐图像进行标注获取侧扫声呐图像语义分割的数据集；搭建语义分割神经网络，并利用数据集对语义分割神经网络进行训练；训练完成的语义分割网络对需要进行匹配拼接的侧扫声呐图像进行分割，利用分割后的图像进行模板匹配获得两张侧扫声呐图像的相对位置信息；最后根据获得相对位置信息对预处理之后的侧扫声呐图像进行融合拼接。考虑到地形崎岖海底的侧扫声呐图像，由于不同扫测方向或不同航线扫测的两帧声呐图像，无法利用常用图像匹配方法进行侧扫声呐图像匹配，本发明提出的侧扫声呐图像匹配拼接方法可以很好地对侧扫声呐图像进行匹配并进一步拼接。

结合图1所示，本发明具体包括如下步骤：

步骤1、将侧扫声呐数据进行解析获取原始侧扫声呐图像。首先对声呐数据景象解析成图像数据，原始侧扫声呐图像如图2所示，然而原始侧扫声呐图像存在几何畸变和灰度畸变，不经处理不能如实的反映实际的海底景象。

步骤2、对侧扫声呐图像进行斜距校正、速度校正、灰度校正等侧扫声呐图像预处理过程，使预处理之后的侧扫声呐图像与海底实际景象信息对应，预处理之后的侧扫声呐图像为图3。具体的步骤如下：

(1)对原始侧扫声呐图像进行斜距校正。首先对侧扫声呐图像进行海底基线提取，考虑海底地形的侧扫声呐斜距模型的计算公式如下：

其中o'b'为校正后的平距，ob为斜距，h-h为声呐距离海底各点的垂直高度。

(2)对侧扫声呐图像进行速度校正。由于声呐载体的速度不稳定，所以需要对其进行速度校正。利用侧扫声呐数据中的经纬度信息，每次计算一段相同间隔声呐数据的平均速度，然后对图像进行速度补偿。

(3)对侧扫声呐图像进行灰度校正。原始侧扫声呐图像存在灰度畸变，所以需要对其进行灰度校正。可以利用tvg、波束模型、retinex等方法进行灰度校正。

步骤3、构建侧扫声呐图像数据集，进行数据标注，将侧扫声呐图像数据中的海山、海沟、洋中脊等明显特征标注为一类，其他平坦区域为另外一类。需要注意的是不要将地势产生的阴影进行标注，标注之后，获得数据集。

步骤4、对语义分割神经网络进行搭建，使用步骤3中的数据集进行网络训练，得到能够分割侧扫声呐图像的神经网络模型。选择u-net语义分割网络进行训练，利用训练后的语义分割神经网络模型对侧扫声呐图像进行预测，预测分割结果如图6所示。

步骤5、用训练好的神经网络模型对待匹配拼接的两帧侧扫声呐图像进行分割，对分割后的图像进行模板匹配从而获取上述两帧侧扫声呐图像的相对位置。另外，这里也给出了利用特征点匹配方法对侧扫声呐图像进行匹配的结果如图4和图5所示，实验结果说明该类方法无法完成正确的匹配。利用本发明进行匹配，匹配结果如图7,匹配之后获得两帧图像的相对位置信息。

步骤6、结合步骤5获取的待匹配侧扫声呐图像相对位置信息，利用泊松融合和最大值融合相结合的图像融合方法对预处理后的侧扫声呐图像进行融合拼接。本发明融合拼接的结果如图8所示，其它实例结果如图9所示，实验拼接结果较好，达到工程需要。

本发明具体实施方式还包括：

步骤1、将声呐数据进行解析获取原始侧扫声呐图像；

步骤2、对侧扫声呐图像进行斜距校正、速度校正、灰度校正等侧扫声呐图像预处理过程，使预处理之后的侧扫声呐图像与实际的海底景象信息对应；

步骤3、构建侧扫声呐图像数据集，进行数据标注，将侧扫声呐图像数据中的海山、海沟、洋中脊等明显区域特征标注为一类，其他平坦区域为另外一类；

步骤4、搭建语义分割神经网络，使用步骤3中的数据集对网络进行训练，得到侧扫声呐图像的神经网络分割模型；

步骤5、用训练好的神经网络模型对待匹配拼接的两帧侧扫声呐图像进行分割，对分割后的图像进行模板匹配，从而获取两张侧扫声呐图像的相对位置；

步骤6、结合步骤5获取的待匹配侧扫声呐图像相对位置信息，利用泊松融合和最大值融合相结合的图像融合方法对侧扫声呐图像进行融合拼接。

步骤3中对语义分割网络数据集制作时，应该对侧扫声呐图像中海山、海沟、洋中脊等有明显特征的区域进行标注，通过语义分割网络可以对这些区域进行分割。

步骤5中根据海山、海沟、洋中脊等区域特征进行模板匹配，完成侧扫声呐图像匹配，该发明的侧扫声呐图像匹配方法能够解决特征点匹配无法完成地形崎岖不平海底的侧扫声呐图像匹配的问题。

步骤6中首先对侧扫声呐图像进行泊松融合，对泊松融合之后的图像再利用最大值融合方法进行融合获得最终的侧扫声呐图像。该方法可以避免侧扫声呐图像融合导致图像二次畸变的情况。