专利名称：一种前扫声纳图像拼接方法
技术领域：
本发明涉及一种前扫声纳图像拼接方法，可将视角较小的前扫声纳图像拼接为一个高分辨率、大范围的图像。
背景技术：
目前世界各国正致力于利用水下无人探测器对海洋、湖泊、江河等水资源进行水声环境的研究及目标检测工作。这种水下运动目标检测技术不仅在海洋开发，港口航道建设等民用方面有着潜在的巨大经济利益，而且在水下环境监控等安全检测方面也有着重要的意义。
由于水下机器人在商业与军事上的重大价值和技术上面临的众多挑战，其技术研究受到越来越多科学家和技术人员的重视，并进行了大量的工作。对于水下机器人来说，视觉系统就是它的眼睛和耳目。毋庸置疑地，视觉系统具有极其重要的地位和作用。通过视觉系统，机器人才能够快速获取水下周围环境信息，为其运动和进行水下作业提供引导。显然，水下机器人的技术水平和作业能力在相当大程度上取决于视觉系统的性能好坏。在特殊的水下环境下，声波是迄今为止唯一可以进行远程信息传输的载体。声波在水中传播的衰减就小得多，在深海声道中爆炸一个几公斤的炸弹，在两万公里外还可以收到信号，低频的声波还可以穿透海底几千米的地层，并且得到地层中的信息。在水中进行测量和观察，至今还没有发现比声波更有效的手段。因此，利用水中声波对水下目标进行探测、定位和通信的声纳，是水声学中应用最广泛、最重要的一种装置。当水下观测对象比较大而又要保证分辨率时，发射信号不能覆盖全部探测区域， 只能进行局部探测，这就需要用到图像拼接技术。同时在声纳图像处理方面，一次声成像返回的声探测区域视野较小，工程实践中经常无法通过一幅图像进行目标识别，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以图像拼接技术在水下图像的后期处理中具有重要作用。现有的前扫声纳DIDS0N(Dual-Frequency Identification Sonar)。由于工作环境的复杂性，该高分辨率双频识别声纳在执行水下危险目标探测任务时，存在以下几个方面的难点问题1)声纳图像实时判读，目前还是依靠人眼来人工判读、识别水下可疑目标， 然而声学成像原理截然不同于光学成像原理，尤其是其分辨率远远小于光学成像，因而要探测、识别像水下可疑爆炸物这样的危险目标就很困难，而且判读人员很辛苦、极易疲劳； 2)高分辨率声纳自身视野很窄，需要进行图像拼接；3)声纳设备在水下工作时，会受到浪涌、水流的影响，产生纵摇、横摇，引起声纳图像的变形。在实际的应用中，DIDSON在同一时刻也只能观测到一个小视角范围内的图像。由于水下环境复杂，要判别一个物体的性质，需要有个连续的过程，最好能够显示大范围的水中的影像。实时将多幅分辨率低、视角小的声纳图像拼接为一个高分辨率、大范围的图像，可以同时监测较大范围的水下环境，在水下探测中具有重要的作用。发明内容
本发明的目的在于针对已有技术存在的问题，提供一种前扫声纳图像拼接方法， 能实时将多幅分辨率低、视角较小的声纳图像拼接为一个高分辨率、大范围的图像，从而可以监测较大范围的水下环境，提高了前扫声纳目标监测水平。为达到上述目的，本发明的构思是首先使用SURF算法检测并描述特征点；然后运用Hessian矩阵迹的正负性与最近邻比次近邻的方法相结合匹配特征点，寻找出相邻声纳图像之间的匹配点对；进而通过直接线性变换算法求取变换矩阵的最小二乘解；最后运用求解出的单应矩阵将待匹配图像的特征点一一映射到参考图像坐标系中，再进行图像插值处理，完成图像之间的配准。在实现配准的基础上，对声纳图像进行了图像融合处理，最终实现了声纳图像的拼接。根据上述发明构思，本发明采用下述技术方案
一种前扫声纳图像拼接方法，其基本实施步骤如下
(1)声纳图像输入
将前扫声纳DIDSON采集的数据信息以图像形式显示出来(DIDS0N软件自带)
(2)特征点检测和描述
SURF算法使用了近似的Hessian矩阵检测特征点，并使用积分图像大幅减少了运算量。SURF算法的特征点描述算子所描述依然是特征点某个小邻域内的灰度分布信息。SURF 使用一阶Haar小波在x、y两个方向的响应作为构建特征向量的分布信息。(3)特征点匹配
利用特征向量间的欧式距离的方法来匹配特征点，完成参考图像与待匹配图像之间的特征点匹配。(4)变换模型估计
在两幅图像相互对应的特征点之间完成匹配之后就可以通过变换模型估计对应关系估计它们之间的几何变换模型。在这里，几何变换模型指的就是单应矩阵。(5)坐标映射和图像插值
在完成几何变换模型的估计之后，就要利用得到的单应矩阵H把待匹配图像中的每一点映射到参考图像的坐标系中去。待匹配图像在完成坐标映射之后，其像素点有可能落在非网格位置，这就需要图像插值，本方案中采用双线性插值法。(6)图像配准
选择第一帧声纳图像作为参考图像，第二帧声纳图像作为待匹配图像，对第一帧和第二帧声纳图像进行步骤(2) (5)的配准处理。然后每次将前一次得到的配准图像作为参考图像，与下一帧声纳图像进行配准，直至完成整个声纳图像序列的配准工作，实现所有待匹配声纳图像之间的配准；
(7)图像融合
通过灰度拉伸调整配准后声纳图像的亮度，运用一种边界保持的加权平滑算法实现声纳图像的融合采用了图像灰度拉伸的方法来改善图像的对比度，将不同帧图像的亮度调整一致，增强图像的分辨率；然后运用一种边界保持的加权平滑算法来实现配准后图像的融合，通过上面一系列步骤，就完成了所有前扫声纳图像的拼接。所述步骤(2)中特征点检测和描述，具体步骤如下I.特征点检测 I)积分图像
积分图像可以大幅提高框状卷积滤波器的计算效率。对于积分图像中某点 X , x = (U) ’ 可得
Hk J^y
/,W=E SJ(U)(I)
1—0 j "0
其中，Iz(X)表示原始图像中，原点和点I形成的矩形区域里面所有像素值之和； Uj)表示点X的坐标值；I, j表示坐标系中点的位置；IU)表示点(j’j)的像素值。一旦将一幅图像转换成积分图像的形式，在积分图像中计算一个矩形区域内的灰度之和就可以用3个加减运算来解决。如图2所示，S=』-5-C + D,与矩形的面积无关。其中，E 表示积分图像中一个矩形区域内的灰度值和；2表示原点和矩形区域右下点形成的矩形区域里面所有像素值之和；S表示原点和矩形区域右上点形成的矩形区域里面所有像素值之和；C表示原点和矩形区域左下点形成的矩形区域里面所有像素值之和；Z)表示原点和矩形区域左上形成的矩形区域里面所有像素值之和。 2) Hessian矩阵的近似(丑_講)计算
SURF算法中，特征点检测是基于Hessian矩阵的,它依靠Hessian矩阵行列式的局部最大值定位特征点位置。对于图像I中某点Z = (U),在X点的Cr尺度上的Hessian矩阵定义为
H(X9O)=⑵
、』[^(Z.cr) ￡w(X cr)」
其中，JT表示点I = (U) ;Cr表示尺度空间，通常取CT= 1.2 ; Aw(Xcr)图像I在点if
处与二阶高斯偏导的卷积，具有相似的含义。为了提高计算
效率，增加计算的简便性。Bay等人直接用框状滤波器去近似高斯的二阶偏导，如图3所示。 用这种近似后的卷积模板处理积分图像的好处显而易见，因为这种模板均由简单的矩形构成，运算量独立于模板的尺寸，大大的提高了运算效率。将近似模板与图像卷积的结果用D游、、Dw表示，用他们代替、Lw、L7ty得到近似Hessian矩阵爾,其行列式为
械U =) 2(3)
其中，W是个权重系数，实际应用中取0. 9就可以了； 4、Lw、Lxy分别表示在xx、炒
、\v方向上离散化和裁切不正的高斯二阶偏导数；Oxx、D炒、Dxy表示在JfJf、yy、砂’方向上
高斯二阶偏导数的近似。按照上式中所示的近似Hessian矩阵行列式的计算方法，对图像中每一点求取响应并记录下来就得到了在尺度上的响应图。3)尺度空间的表示要在存在缩放关系的图像间找到相互匹配的特征点，检测算子就必须具备可以在不同尺度下找到表示同一个物理位置的特征点的能力。SURF算法中，直接用不同尺寸的框状滤波器对原始图像进行处理，因为使用了积分图像，不同尺寸的框状滤波器的计算速度是相同的。用S来表示近似模板的尺度，此时3=^=1.2。用初始尺度的近似模板对图像做卷积得到的是尺度空间的第一层，接下来的层依次通过尺寸逐渐增大的模板与原始图像做卷积来获得。为了保证模板尺寸的奇数性和其中心像素的存在，相邻模板的尺寸总是相差偶数个像素，如图4所示。每4个模板为一阶(Octave)。第I阶中，相邻的模板尺寸相差6个像素，第2阶中相差12个像素，第3阶中相差24个像素，以此类推。每一阶的第一个模板尺寸是上一阶的第二个模板的尺寸(见表I)。因为特征点的数量在尺度的方向上退化很快，所以一般情况下取4个Octave就足够了。
表I 前4阶中16个模$的尺寸
Octavel 9 15 21 27 0ctave2 15 27 39 51 0ctave3 27 51 75 99 0ctave4 51 99 147 195
若一个模板的尺寸是yxF，则该模板所对应的尺度为S= 1.2x9/1。我们依次用不同
尺度的模板对原始图像做卷积，在卷积过程中用公式(3)计算在每一点的响应，把这些响应记录下来，就得到了由不同尺度。对应的响应图，从而构成了 3维尺度空间。4)特征点定位
在3维幻尺度空间中，在每个3x3x3的局部区域里，进行非最大值抑制。只有比
临近的26个点的响应值都大的点才被选为特征点。然后利用3维2次函数拟合方法对特征点精确定位，使特征点具有亚像素和亚尺度级的精度。至此我们已经得到特征点的位置、
尺度信息(U，幻。2 特征点描述
I)确定特征点的方向特征
为使特征点描述算子具有旋转不变的性能，首先要赋予每一个特征点方向特征。我们在以某个特征点为圆心，以( E为该特征点对应的尺度)为半径的圆形邻域里，用尺寸为的Haar小波模板对图像进行处理,求x、y两个方向的Haar小波响应。Haar小波的模板如图5所示,其中左侧模板计算X方向的响应,右侧模板计算y方向的响应，黑色表示-1， 白色表不+1。用图5所示的Haar小波滤波器对圆形邻域进行处理后，就得到了该邻域内每个点基于SURF的图像匹配与拼接技术研究对应的x、y方向的响应，然后用以特征点为中心的高斯函数)对这些响应进行加权。用一个圆心角为ff/3扇形以特征点为中心环绕一周，计算该扇形处于每个角度
时，所包括的图像点的Haar小波响应之和。由于每一点都有x、y两个方向的响应，因此扇形区域中所有点的响应之和构成一个矢量。把扇形区域环绕一周所形成的矢量都记录来(如图6所示)，取长度最大的矢量，其方向即为该特征点所对应的方向。2)构建描述子向量
为了构建描述子向量，首先要确定一个以特征点为中心的正方形邻域。该邻域的边长为20S(S为该特征点对应的尺度)，把上一节中所确定的特征点方向作为该邻域的I轴方向，如图7所示。把该正方形区域分成4x4个子块区域，在每一个子块区域中用图5所示
的Haar小波滤波器进行处理(该处的Haar小波模板尺寸为)。我们用羞表示水
平方向的Haar小波响应，用七表示竖直方向的Haar小波响应。这里的水平和竖直是相对
特征点方向来说的。在构建描述子向量之前，对于所有的(、七都要用一个以特征点为中心的高斯函数加权，该高斯函数的a=3. 3S。图7中的每个子区域中只有2x2个网格，这是只是为了方便展示，在实际的计算中是5x5个网格。另外需要指出的是，在程序实现的过程中并不是通过旋转图像来实现图 7所展示的计算过程，因为旋转图像会降低计算效率。直接使用Haar小波滤
波器直接对原始图像进行处理，然后对所得响应进行插值处理，从而得到相对于特征
点方向的之為。在每个子块区域中对六、&、|(|、I求和，从而得到一个4维向量
7=(2^2^2|4|.4^|)。把4><4个子块区域的向量连接起来就得到了一个64维的向量，
此向量就是描述该特征点的描述子特征向量。所述步骤(3)中特征点匹配，具体步骤如下
当两幅图像的SURF特征向量生成后，在此采用特征向量间欧式距离(4)作为两幅图像中特征点的相似性判定度量。
权利要求
1.一种前扫声纳图像拼接方法，其特征在于操作步骤如下 (1)声纳图像输入； (2)特征点检测和描述通过SURF算法实现待匹配声纳图像与參考声纳图像之间的特征点检测和描述首先对图像进行积分处理，这样可以大幅減少运算量，然后运用近似的Hessian矩阵检测特征点，实现了特征点的检测；利用特征点某个小邻域内的灰度分布信息，使用ー阶Haar小波在x、y两个方向的响应作为构建特征向量的基础，实现特征点的描述； (3)特征点匹配利用计算特征向量间欧式距离的方法来实现參考图像与待匹配图像之间的特征点匹配当两幅图像的SURF特征向量生成后，采用特征向量间欧式距离作为两幅图像中特征点的相似性判定度量；首先取參考图像中的某个特征点并在待匹配中找出与该点欧式距离最近和次近的两个特征点，如果最近距离与次近距离的比例小于60%，则认为最近的这ー对特征点为对应的匹配点对；遍历參考图像中的特征点，找出所有潜在的匹配点对； (4)变换模型估计通过两幅图像之间的特征点匹配关系，估计两幅图像之间的几何变换模型采用628个分布均匀的匹配点对，通过直接线性变换算法求取变换矩阵的最小ニ乘解，实现对单应矩阵H的估计； (5)坐标映射和图像插值通过单应矩阵H把待匹配图像中的每一点映射到參考图像中，并对图像进行插值处理在完成几何变换模型的估计之后，利用得到的单应矩阵H把待匹配图像中的每一点映射到參考图像的坐标系中去；运用双线性插值方法处理图像，对那些映射后没有落到整数网格上的点进行取整处理； (6)图像配准选择第一帧声纳图像作为參考图像，第二帧声纳图像作为待匹配图像，对第一帧和第二帧声纳图像进行步骤(2) (5)的配准处理；然后每次将前一次得到的配准图像作为參考图像，与下一帧声纳图像进行配准，直至完成整个声纳图像序列的配准エ作，实现所有待匹配声纳图像之间的配准； (7)图像融合通过灰度拉伸调整配准后声纳图像的亮度，运用ー种边界保持的加权平滑算法实现声纳图像的融合采用了图像灰度拉伸的方法来改善图像的对比度，将不同帧图像的亮度调整一致，增强图像的分辨率；然后运用一种边界保持的加权平滑算法来实现配准后图像的融合；至此，就完成了所有前扫声纳图像的拼接。
2.根据权利要求I所述的前扫声纳图像拼接方法，其特征在于，所述步骤(2)中的特征点检测和描述具体步骤是 ①特征点检测首先对声纳图像进行积分处理，积分图像可以大幅提高框状卷积滤波器的计算效率，大幅減少了运算量；对于积分图像中某点X , X =(んァ)，可得:
3.根据权利要求I所述的前扫声纳图像拼接方法，其特征在于，所述步骤(3)中的特征点匹配具体步骤是当两幅图像的SURF特征向量生成后，在此采用特征向量间欧式距离(4)作为两幅图像中特征点的相似性判定度量； 其中，ci(足Γ)表示特征向量间的欧式距离；Z= (、χ2,ち，……表示图像中任意一点；F=......y N、表不图像f中任意一点；I表不描述子向量中第f个分量;xi^分别表示图像JT、7描述子向量的第I个分量；F为特征向量的维数，这里F=2 ;首先取參考图像的某个特征点并在待匹配图像中找出与该点欧式距离最近和次近的两个特征点，如果最近距离与次近距离的比例小于60%，则认为最近的这ー对特征点为对应的匹配对；遍历參考图像中的特征点，找出所有潜在的匹配点对。
4.根据权利要求I所述的前扫声纳图像拼接方法，其特征在于，所述步骤(4)中的变换模型估计具体步骤是在声纳DIDSON实际拍摄过程中，近似满足透视变换模型；两幅图像之间的对应关系可以由ー个3x3的平面透视变换矩阵来表示
5.根据权利要求I所述的前扫声纳图像拼接方法，其特征在于，所述步骤(5)中的坐标映射和图像插值具体步骤是在完成几何变换模型的估计之后，利用得到的单应矩阵H把待匹配图像中的每一点映射到參考图像的坐标系中去；假设给定待匹配图像中的某点_,的,使用公式⑶和(9)就可以将与映射到參考图像的坐标系中去得到新的坐标点m (a,b) ,BP
6.根据权利要求I所述的前扫声纳图像拼接方法，其特征在于，所述步骤(6)中的图像配准具体步骤是在这里我们需要的是实现多帧前扫声纳图像的拼接；首先选择第一帧声纳图像作为參考图像，第二帧声纳图像作为待匹配图像，对第一帧和第二帧声纳图像进行步骤(2) (5)的配准处理，然后每次将前一次得到的配准图像作为參考图像，与下ー帧声纳图像进行拼接，直至完成整个声纳图像序列的配准工作，实现所有待匹配声纳图像之间的配准。
7.根据权利要求I所述的前扫声纳图像拼接方法，其特征在于，所述步骤(7)中的图像融合具体步骤是视角范围较小的相邻两帧前扫声纳图像，一般情况下由于采样时间和采样角度的不同，重叠部分会出现亮度不均和变形程度的差异，为了使相邻两幅图像的重叠部分具有视觉一致性而且没有明显的接缝，本方案采用了图像灰度拉伸的方法来改善图像的对比度，将不同帧图像的亮度调整一致，增强了图像的分辨率；并且采用了一种边界保持的加权平滑算法来实现配准后图像的融合； 设ス，/a是相邻两帧待拼接的声纳图像，y和fへ在区间レ..1上重叠，假设ブ表示融合后的图像，平滑后的像素点的值为，算法具体步骤如下 1)利用Compass算子分别对J1和/2图像进行边缘检测，提取出图像边缘； 2)设J1和石在重叠部分对应的像素点的值Λ(んJ)和/2(U),取
全文摘要
本发明涉及一种前扫声纳图像拼接方法。本方法包括通过SURF算法实现参考声纳图像与其相邻帧的待匹配声纳图像之间的特征点匹配；通过变换模型估计计算出参考声纳图像与待匹配声纳图像之间的单应变换矩阵，将待匹配声纳图像的特征点一一映射到参考声纳图像的坐标系中，再经过图像插值实现参考图像与待匹配之间的配准；不断重复上述步骤实现声纳序列中所有声纳图像的配准，然后通过亮度调整、图像融合实现声纳图像的拼接。本发明的方法能够解决DIDSON在水下监测过程中，声纳图像分辨率低、探测范围视角小的问题；通过声纳图像拼接，将一系列声纳图像拼接成一个分辨率高、大范围的声纳图像，使DIDSON能够同时监测较大范围的水下环境。
文档编号G06T5/00GK102622732SQ201210066218
公开日2012年8月1日 申请日期2012年3月14日 优先权日2012年3月14日
发明者叶周浩, 张秋菊, 徐元玉, 段莉, 罗均, 谢少荣, 金文俊 申请人:上海大学