一种基于SURF特征提取结合CS‑LBP描述符的图像拼接方法与流程

本发明涉及图像处理技术领域，尤其涉及一种基于surf特征提取结合cs-lbp描述符的图像拼接方法。

背景技术：

图像拼接是数字图像处理中一个重要的内容，是一种将两张甚至多张图片拼接成一张视野更宽广的图片。图像拼接可以弥补摄像机广角不够的缺陷，而且可以通过设置多摄像头达到超广角视野拍摄的目的，以及拍摄全景照片。

图像拼接技术主要包括图像配准和图像融合两个关键环节。图像配准是图像拼接的核心部分,其目标是找出对齐的两幅或多幅重叠图像之间的运动情况,图像配准直接关系到图像拼接算法的成功率和运行速度。图像融合技术是用来消除由于几何校正、动态的场景或光照变化引起的相邻图像间的强度或颜色不连续问题,将两幅经过匹配确定出重叠区域的图像合并为一幅无缝图像。关于图像拼接的方法国内外已有不少的论文发表,其算法大致可分为基于模型的方法、基于变换域的方法、基于灰度相关的方法和基于特征的方法,而如何提高图像拼接的效率,减少处理时间和增强拼接系统的适应性一直是研究的重点。

图像拼接从方法上可以分为基于灰度相关法和基于特征的方法。

基于灰度相关的方法是以两幅图像重叠部分所对应在或颜色系统中灰度级的相似性为准则寻找图像的配准位置。常用的算法有比值匹配法、块匹配法和网格匹配法。基于特征的方法首先从待匹配图像中提取特征集,利用特征的对应关系进行匹配。

基于特征的方法利用了图像的显著特征,具有计算量小,速度快的特点,对与图像的畸变、噪声、遮挡等具有一定的鲁棒性,但是它的匹配性能在很大程度上取决于特征提取的质量。特征匹配其中又分为基于角点匹配和基于斑点匹配的方法。基于角点常见的方法有：harris，fast。基于斑点的方法有：sift，surf。

目前流行的基于特征的方法中，surf(speededuprobustfeatures)在特征点提取方面有着优秀的表现，但在旋转、光照不均等复杂场景下的图像拼接中，获得的正确匹配点对较少，直接影响拼接效果，方法的复杂度高，运行的速度慢。

技术实现要素：

鉴于上述的分析，本发明旨在提供一种基于surf特征提取结合cs-lbp描述符的图像拼接方法，用以解决现有surf方法在大面积旋转图像条件下匹配表现不佳或运算速度慢的问题。

本发明的目的主要是通过以下技术方案实现的：

提出了一种基于surf特征提取结合cs-lbp描述符的图像拼接方法，包括以下步骤：

使用surf提取待拼接图像的特征点信息；

求取上述每个特征点的harr描述符和cs-lbp描述符；

利用上述得到的harr描述符和cs-lbp描述符，确定待拼接图像的特征点匹配对；

根据上述特征点匹配对结果，利用平滑的渐入渐出法对图像进行融合，得到拼接图像。

本发明有益效果如下：

本发明采用surf的fast-hessian积分图像的思想，构建高斯尺度金字塔，非最大值抑制，harr小波识别方向等方法。具有精度高、尺度不变的优点，能准确提取出足够数量的特征点。使用cs-lbp(中心对称局部二进制模式)描述符，对旋转图像有着很好匹配效果，同时会加快算法运行速度，采用从每个由cs-lbp和harr小波描述的特征点为中心的图像计算方法。cs-lbp采用中心对称比较方法，相对于传统lbp更简化，运行效率更高，surf和cs-lbp结合的方法在保持surf速度快、可以实时处理的基础上，对大面积旋转、光照复杂图像的拼接效果良好。使用平滑的渐入渐出法融合图像，得到的拼接图像更加准确，效果更佳。

在上述方案的基础上，本发明还做了如下改进：

进一步，求取每个特征点的cs-lbp描述符包括：

选定特征点pi(x,y,s,θ)，其中(x,y)为特征点在原始图像上的位置坐标，s和θ分别为特征点的尺度和主方向；

以特征点pi为中心，取半径为r的圆上的n点像素值，将圆上采样的像素点灰度值与中心像素灰度值进行比较，通过cs-lbp中心对称的编码规则，生成16维特征向量；

对上述得到的特征向量进行归一化处理，得到cs-lbp描述符。

采用上述进一步方案的有益效果是：

cs-lbp最突出的优势是描述子的维数降低到了16维，使用圆形的处理区域替代3*3块状区域，描述纹理平坦区域也更具鲁棒性。cs-lbp的辨别力强大，同时计算过程简单，cs-lbp采用中心对称比较方法，相对于传统lbp更简化，运行效率更高。

进一步，所述cs-lbp中心对称的编码规则为：

式中，n为均匀分布在半径为r的圆上的像素点数，ni和ni+n/2为中心对称像素点对的灰度值，t'为取值范围为[0，1]的阈值，u、v为特征向量的坐标。

进一步，所述使用surf提取待拼接图像的特征点信息，包括提取尺度信息、提取位置信息、提取方向信息。

采用上述进一步方案的有益效果是：

surf是一种具有鲁棒性的局部特征检测方法，具有很强的鲁棒性以及较高的运算速度，保证了拼接过程的稳定性和实时性。

进一步，求取每个特征点的harr描述符，包括：在特征点周围选取一个正方形框，将所述正方形框分为16个子区域，在所述每个子区域中统计25个像素的水平方向和垂直方向的harr小波特征，得到每个特征点的16×4＝64维的向量作为特征点的harr描述符。

进一步，所述确定待拼接图像的特征点匹配对，包括：将得到harr描述符匹配对的最近邻nn和得到cs-lbp描述符匹配对的最近邻距离比nndr相乘，得到的值作为一组的特征值，当特征值小于设定的阈值t时，即nn×nndr≤t，则看成是一组特征点匹配对。

采用上述进一步方案的有益效果是：

通过使用基于匹配策略的最近邻(nn)最近邻距离比(nndr)来确定特征点之间的匹配对，提高了匹配精度。

进一步，harr描述符采用最近邻(nn)，使用欧式距离获得匹配对：

式中，dr(i)和dl(i)分别为待匹配的两幅图像中harr特征描述符向量的第i个分量；

cs-lbp描述符则采用最近邻距离比(nndr)，使用欧式距离获得匹配对：

式中，dr'(i)为待匹配的一幅图像中cs-lbp特征描述符向量的第i个分量，dl,1(i)和dl,2(i)分别为另一幅图像中最近邻和次近邻特征点距离的cs-lbp特征描述符的第i个分量。

进一步，还包括采用ransac方法对上述得到的特征点匹配对进行筛选，剔除误匹配，包括：

从上述得到的特征点匹配对中随机抽取l个匹配对，计算出变换矩阵h所有参数，得到匹配图像模型m的所有参数；

利用上述得到的已知参数的模型m去测试数据集中其他特征点匹配对，如果符合该模型，则认为是假设的内点；

设定一个阈值t”，如果内点的数目超过阈值，保存内点则执行下一步，否则重新进行匹配对的随机抽取，进行筛选；

上述过程被重复执行n次，统计每次内点数目，将数目最大的集合作为初步精确的匹配对集合。

采用上述进一步方案的有益效果是：

对于匹配的匹配对采用ransac剔除误匹配，大大提高了匹配精度，能获得更好的拼接效果。

进一步，所述利用平滑的渐入渐出法对匹配后的图像进行融合，融合公式如下：

i(x,y)＝di1(x,y)+(1-d)i2(x,y)

其中，i1(x,y)和i2(x,y)分别为待融合的两幅图像，d和1-d为两幅图像重叠区域对应的像素点权值，x1和x2是重叠区x轴的最小和最大值，d为一渐变系数，d由1慢慢变化到0时，图像从i1(x,y)慢慢过渡到了i2(x,y)，即得到拼接的图像。

进一步，还包括对待拼接图像进行预处理。

采用上述进一步方案的有益效果是：

预处理可以对图像进行滤波、锐化等增强处理，以便为图像配准做准备，提高图像配准的速度和精度。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1示出了本发明实施例中基于surf特征提取结合cs-lbp描述符的图像拼接方法流程图；

图2示出了利用积分图像求矩阵内灰度值之和的示意图；

图3示出了用盒状滤波器近似log的示意图；

图4示出了非最大值抑制所在的区域示意图；

图5示出了以特征点为中心的圆形邻域示意图；

图6示出了梯度坐标系内求取特征点的主方向示意图；

图7示出了8邻域像素的lbp和cs-lbp特征示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

本发明的一个具体实施例，公开了一种基于surf特征提取结合cs-lbp描述符的图像拼接方法。如图1所示，具体包括以下步骤：

步骤s1，对获取的待拼接图像进行预处理；

对获取的图像进行预处理，以便为图像配准做准备，图像的预处理可以提高之后图像配准的速度和精度。由于摄像传感器和拍摄环境的影响，待拼接图像会出现一些诸如：退化、灰度偏移以及图像模糊不清问题，预处理可以对图像进行滤波、锐化等增强处理。优选的，选取两幅图像作为待拼接图像，并进行预处理。

步骤s2，使用surf提取特征点信息；

surf是一种具有鲁棒性的局部特征检测方法，具有很强的鲁棒性以及较高的运算速度。surf的优异表现，原因一方面是在保证正确性的前提下进行了适当的简化和近似，另一方面是该方法中多次运用积分图像的概念。利用surf提取特征点的尺度信息、位置信息、主方向信息，

具体地：surf方法通过利用积分图像提高了运算的速率。积分图像iσ(x,y)的大小尺寸与原图像i(x,y)的大小尺寸相等，而积分图像在点(x,y)处的值等于原图像中横坐标小于等于x并且纵坐标也小于等于y的所有像素灰度值之和，也就是在原图像中，从其左上角到点(x,y)处所构成的矩形区域内所有像素灰度值之和。利用积分图像可以计算原图像中任意矩形内像素灰度值之和，如图2所示，图像i(x,y)中有任意四个点a，b，c，d，这四个点组成的区域w的像素灰度之和为：

∑i(w)＝iσ(d)+iσ(a)-iσ(b)-iσ(c)

log(laplacianofgaussian)是最好的能够保证尺度不变的方法，将hessian和log结合，就有了hessian-laplace方法，保证了检测到的特征点尺度不变性。

具体地，给定图像i中的一点x＝(x,y)，尺度为σ的hessian矩阵h(x,σ)定义为：

式中，lxx(x,σ)是高斯二阶微分在点x＝(x,y)处与图像i的卷积，g(σ)为因子为σ的高斯函数。

如图3所示，第一行图像就是经过离散化，并被裁减为9×9方格，σ＝1.2的沿x方向、y方向和xy方向的高斯二阶微分算子，即lxx模板、lyy模板、lxy模板。采用盒状滤波器近似log，可以用加权后的9×9盒状滤波器——dxx模板、dyy模板、dxy模板替代上述微分算子，即图3中的第二行图像。

盒状滤波器的灰色部分的权值为0，因此该部分不参与计算，仅仅起到填充模板大小的作用。而dxx模板和dyy模板都各有两个白色部分和一个黑色部分，因此它们的盒状滤波器共有三个突起部分，而dxy模板有两个白色部分和两个黑色部分，因此它的盒状滤波器共有四个突起部分。那么利用盒状滤波器对图像进行滤波处理所得到的响应值的一般公式为：

式中，n表示突起部分的总和，sn表示第n个突起部分的面积，wn表示第n个突起部分的权值。求模板的每个突起部分对应于图像中四个点a、b、c、d所组成的矩阵区域的灰度之和，用盒状滤波器(dxx、dyy、dxy)近似替代高斯二阶微分算子(lxx、lyy、lxy)得到hessian矩阵的行列式需要加上一定的权值，即：

det(happrox)＝dxxdyy-(wdxy)²

式中，w为权值，用以平衡因近似所带来的偏差，w的一般取值为0.9。由此可以得到，用盒装滤波器近似代替高斯二阶微分算子hessian矩阵的迹：

tr(happrox)＝dxx+dyy

为了实现尺度不变性，用高斯核对原始图像进行迭代的卷积，并重复进行降采样处理，以减小它的尺寸，也就是金字塔中的图像由底向顶尺度逐渐增加，而图像尺寸大小则逐渐缩小，建立尺度图像金字塔。在3维(x、y、s)尺度空间中，将经过hessian矩阵处理过的每个像素点在每个局部区域里，如图4所示，进行非最大值抑制，只有比临近的26个点的响应值都大的点才被选为特征点，即定位出特征点的位置坐标x＝(x,y,s)，式中，x,y为特征点的横纵坐标值，s为特征点所在的尺度。

在得到上述特征点的位置信息基础上，使用x和y方向上得harr小波响应来识别上述特征点的主方向。具体地，如图5所示，建立一个以特征点为中心，半径为6s(s为特征点所在的尺度)的圆形邻域，我们称为6s圆邻域，并对该圆以s为采样间隔进行采样，其中s为特征点所在的尺度图像的尺度，然后对该6s圆邻域内的所有采样像素计算它们的x方向和y方向上的haar小波响应值，haar小波响应的边长尺寸是4s。haar小波是一种最简单的滤波器，用它可以检测出x方向和y方向的梯度。

还需要对x方向和y方向的haar小波响应值进行加权处理。常用的加权函数为高斯函数，所述高斯函数的方差设为2s。最后分别以加权后的x方向和y方向的haar小波响应值为x轴和y轴建立一个梯度坐标系，所有的6s圆邻域内的采样点都分布在该坐标系内。如图6所示，在该梯度坐标系内设计一个以原点为中心，张角为60度的扇形滑动窗口，并对该滑动窗口内的所有点累计其x轴坐标和y轴坐标值，计算累计和的模和幅角。

这样旋转扇形滑动窗口，直至旋转一周为止，比较所有窗口下的模值，取模值最大的那个窗口所对应的幅角为该特征点的主方向角度，即

步骤s3，获得上述每个特征点的harr描述符和cs-lbp描述符；

获得每个特征点的harr描述符；

在基于sur的图像匹配过程，每个特征点的邻域由特征向量表示，并使用描述符进行描述，该描述符必须是独特的，并且同时对于缩放，旋转，模糊，亮度变化和仿射变换是稳健的。

在特征点周围选取一个正方形框，框的边长为20s(s是所检测到该特征点所在的尺度)将该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的harr小波特征即∑dx，∑d|x|，∑dy，∑d|y|，这样每个小区域就有4个值，这样就得到了每个特征点的16×4＝64维的向量，即为特征点的harr描述符。

获得每个特征点的cs-lbp描述符；

surf算法有一些限制。由于harr小波特征，当图像旋转发生时，计算的harrs-小波响应dx和dy将改变，导致特征点的不同方向和描述向量。因此，在图像旋转和光照变化大的情况下，surf算法的匹配性能较差。通过修改surf检测器和描述符，可以更有效地处理图像，特别是旋转和透视图像，同时不会减慢其计算速度。

局部二进制模式(lbp)是一种很强的对光照不变的纹理特征，表述灰度图像某像素点与周围像素点关系的二进制描述，最初被用于纹理图像的描述。lbp算子用周围邻域像素的相对灰度值来描述中心像素，它将周围邻域像素进行二值化。

对于每一个检测到的特征点，surf求得了位置、尺度和方向信息，以pi为中心，选择特征点周围大小为11*11的图像区域，提取其cs-lbp描述符，具体包括以下步骤：

步骤s301，设pi(x,y,s,θ)为检测到的特征点，其中(x,y)为特征点在原始图像上的位置坐标，s和θ为特征点的尺度和主方向。

步骤s302，以特征点pi中心，取半径为r圆上的n点像素值，将圆上采样的像素点灰度值与中心像素灰度值进行比较，通过cs-lbp中心对称的编码规则，生成16维描述向量ti。

cs-lbp特征点描述方法，通过比较中心对称的像素点对，以此取代所有像素点依次与中心点比较的方式。如图7所示，8邻域像素的lbp特征和cs-lbp特征，对于8邻域的像素，lbp产生256个不同的二进制值。为了简化算子获得的二进制值，lbp被扩展到基于中心对称的局部二进制模式。与传统的lbp相比，cs-lbp是对基于中心对称的2个像素点的灰度值相比较，如大于等于则为1，否则为0。

具体地，cs-lbp中心对称的编码规则如下：

式中，在均匀分布在半径为r的圆上的n个像素点中，ni和ni+n/2为中心对称像素点对的灰度值，t'为取值范围为[0，1]的阈值。cs-lbp通过中心对称思想，对图像的4个方向的变化进行编码，将特征维数降低到16维(优选的，取r＝2，n＝8，t＝0.01时，所得cs-lbp描述符的维数适中，匹配效果最佳)，且能保证较丰富的纹理信息。

步骤s303，对上述得到的特征向量进行归一化处理：

为了消除照明变化的影响，对上述得到的特征向量进行归一化处理。

总而言之，结果是一个称为ti的一维向量，是描述特征点pi的周围区域的一维向量。向量ti给出了描述符旋转不变性，使用描述向量归一化来获得对照明变化的鲁棒性。

步骤s4，利用上述得到的特征点的描述符，采用从每个由cs-lbp和harr小波描述的特征点为中心的图像计算方法，分别得到harr描述符和cs-lbp描述符的匹配对，通过使用基于匹配策略的最近邻(nn)最近邻距离比(nndr)来确定两组特征点之间的匹配对。包括以下步骤：

步骤s401，得到harr描述符的匹配对；

harr描述符采用最近邻(nn)，使用欧式距离获得匹配对：

式中，dr(i)和dl(i)分别为待匹配的两幅图像中harr特征描述符向量的第i个分量。

步骤s402，得到cs-lbp描述符的匹配对；

cs-lbp描述符则采用最近邻距离比(nndr)，使用欧式距离获得匹配对：

式中，dr'(i)为待匹配的一幅图像中cs-lbp特征描述符向量的第i个分量，dl,1(i)和dl,2(i)分别为另一幅图像中最近邻和次近邻特征点距离的cs-lbp特征描述符的第i个分量。

步骤s403，将上述得到的harr描述符和cs-lbp描述符的匹配对进行选取，确定特征点之间的匹配对。

将得到的nn和nndr相乘，得到的值作为一组的特征值，如果特征值小于设定的阈值t，即nn×nndr≤t，则看成是一对特征点匹配对。

步骤s5：采用ransac方法对上述得到的特征点匹配对进行筛选，剔除误匹配。

对于步骤s4中得到的两幅图像匹配对，采用ransac(randomsampleconsensus)方法进行剔除误匹配。ransac算法是匹配对提纯进行参数估计的典型方法。核心思想为：首先，在原始数据中随机抽取l组数据来分别估算目标函数的初始值，目标函数有所需解决的核心问题设计而得，其次，得出每组参数初始值对应的两类数据，一类为满足所属组参数初始值的数据点称为内点，另一类不满足的为外点。然后统计每组参数对应的内点数目，内点数目越多的参数模型越好，最后根据设定的评判标准找出目标函数对应的最佳参数初始值。具体包括以下步骤：

步骤s501，从匹配对中随机抽取l个特征点匹配对，计算出变换矩阵h所有参数，得到模型m的所有参数。

步骤s502，利用上述得到的已知参数的模型m去测试数据集中其他特征点匹配对，如果符合该模型，则认为是假设的内点。

步骤s503，设定一个阈值t”，如果内点的数目超过阈值，保存内点则执行下一步，否则重新进行步骤s501。

步骤s504，上述过程被重复执行n次，统计每次内点数目，将内点数目最大的集合作为初步精确的匹配对集合。

步骤s6，对剔除误匹配后的图像进行融合，得到拼接图像。

对上述剔除误匹配后的图像使用渐入渐出法进行图像融合处理。具体地，估计出变换矩阵h之后，设定待融合的2个图像分别为i1(x,y)和i2(x,y)，将i1变换到i2所在的坐标系下，并采用双线性插值。则加权平均融合方法重叠区域图像的像素值i(x,y)可表示为：

i(x,y)＝d1i1(x,y)+d2i2(x,y)

式中，i1(x,y)和i2(x,y)分为待融合的两幅图像，d1和d2为两幅图像重叠区域对应的像素权值，并且满足d1+d2＝1。

采用平滑的渐入渐出法对权值进行选择。渐入渐出法是以像素点到图像中心的欧式距离作为权值的选择依据，融合公式如下：

i(x,y)＝di1(x,y)+(1-d)i2(x,y)

其中，x1和x2是重叠区x轴最小和最大值，d为一渐变系数，d由1慢慢变化到0时，图像从i1(x,y)慢慢过渡到了i2(x,y)，即得到拼接的图像。

综上所述，本发明实施例提供了一种基于surf特征提取结合cs-lbp描述符的图像拼接方法，利用surf提取特征点信息，使用x和y方向上得harr小波响应来识别兴趣点的可重现方向，对于每个特征点使用cs-lbp特征描述方法来描述，采用平滑的渐入渐出法实现图像的拼接。cs-lbp采用中心对称比较方法，相对于传统lbp更简化，运行效率更高。surf和cs-lbp结合的方法在保持surf速度快、可以实时处理的基础上，对大面积旋转、光照复杂图像的拼接效果良好。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。