基于样本块的旋转及缩放图像修复算法的制作方法

本发明涉及计算机图像处理领域，更具体的说，是涉及一种基于样本块的旋转及缩放图像修复算法。

背景技术：

图像修复是图像处理和计算机视觉领域研究的重点之一。图像修复是对受损图像进行修复重建，或者去除图像中的多余物体，同时保证图像原有的视觉效果。目前该技术大体上可以分为两类，一类是针对小区域破损区域的修复方法，另一类是针对大区域破损区域的修复方法。

小区域破损区域的修复通常是基于偏微分方程的图像修复算法，主要是利用热扩散方程建立图像的偏微分方程，并按照一定的规则向待修复区域扩散。大区域破损区域的修复主要是基于纹理合成的修复方法，也是目前图像修复的重点，主要是利用图像破损区域附近完好的纹理信息，对待修复区域进行块匹配和复制，从而达到图像修复的目的。最常见的大区域破损区域的修复算法主要是基于样本块的方法。

传统基于样本块的修复算法在搜索最优匹配块时，大多是通过平移的方式来进行搜索，这种方式可用于处理平移图像，但是当图像存在旋转和尺度变换时，仅通过平移无法获得最优的匹配块。而在信息填充阶段，由于得到的匹配块与待修复块并不是平移关系，此时需要对获得的最优匹配块进行旋转或者尺度缩放的变换，之后才能进行信息的填充。鉴于此，需要找到一种针对旋转和尺度缩放图像最优匹配块搜索方法，以及对图像块进行空间变换的方法。

技术实现要素：

本发明的目的是为了克服现有技术中的不足，提供了一种基于样本块的旋转及缩放图像修复算法，利用局部特征向量的不变性来对破损块的最优匹配块进行搜索，利用改进后的空间能量函数对搜索到的最优匹配块进行变换，使其与破损块的像素信息相一致，从而使信息填充顺利进行，完成图像修复过程。

本发明的目的是通过以下技术方案实现的。

一种基于样本块的旋转及缩放图像修复算法，包括以下步骤：

1)利用局部特征向量的特性，对图像中未破损区域进行关键点的计算、检测和筛选；

2)计算破损区域中像素点的优先权，选出具有最高优先权的像素点，以此像素点为中心，根据确定的破损块的尺寸大小，定义出破损块；

3)对破损块进行关键点的计算、检测和筛选，然后对破损块和未破损区域进行关键点的匹配，搜寻最优匹配块；

4)利用匹配到的关键点的坐标值确定最优匹配块的边缘轮廓；

5)对最优匹配块的空间能量函数进行空间拓展变换；

6)利用拓展后的最优匹配块对破损块进行信息填充；

7)重复步骤2)至6)，直到所有的破损块都被修复，输出修复后的图像。

对步骤1)中的未破损区域和步骤3)中破损块均按以下公式进行关键点的计算、检测和筛选：

f(x,y,σ)＝(g(x,y,kσ)-g(x,y,σ))*i(x,y)

式中，f(x,y,σ)是经过尺度变换之后的图像空间，g(x,y,σ)是多尺度的高斯函数，i(x,y)代表了图像像素值，k是一个固定的乘数因子，m(x,y)是梯度的幅值，θ(x,y)是梯度的方向值。

步骤4)中确定最优匹配块的边缘轮廓的关系式为：

式中，xmin表示关键点横坐标的最小值，xmax表示关键点横坐标的最大值，ymin表示关键点纵坐标的最小值，ymax表示关键点纵坐标的最大值，yj表示横坐标最小值对应的另一半坐标值，yi表示横坐标最大值对应的另一半坐标值，xk表示纵坐标最小值对应的另一半坐标值，xl表示纵坐标最大值对应的另一半坐标值。

步骤5)中对最优匹配块的空间能量函数进行空间拓展变换的函数为：

式中，ip是像素的相对索引值，表示经过θn角度的旋转，αn是尺度变换系数，取值为αn＝0.5，rθnip表示顺时针经过θn角度旋转后的像素相对索引值，n是破损区域的像素点，xn是未破损区域的像素点，m(xn)是以xn为中心的经过拓展变换后的最优匹配块，t代表破损区域，mmse是最小均方差，b是破损块，▽代表水平和垂直方向的梯度信息，λ是权重因子，取值为λ＝0.2。

与现有技术相比，本发明的技术方案所带来的有益效果是：

(1)本发明针对的是旋转和尺度缩放图像的修复算法，传统的图像修复算法只能够在平移空间中进行最优匹配块的搜索，而当图像中存在旋转或者尺度缩放时，无法获取准确的匹配块，由此造成后面用此匹配块进行填充时无法得到很好的修复效果。针对这一不足，本发明利用了局部特征向量具有平移、缩放、旋转不变性的特性对最优匹配块进行搜索，提高了搜索的准确性，缩短了搜索时间，提高了最优匹配块的搜索效率。

(2)本发明对传统的空间能量函数进行改进，增加了旋转和尺度缩放因子，使其能够适应图像块的旋转和尺度缩放。利用改进后的空间函数对最优匹配块进行空间拓展变换，使其与破损块之间的像素信息相对应，从而保证了信息填充过程的顺利进行。

(3)本发明较好的解决了关于旋转和尺度缩放图像的修复问题，与已有的方法相比，鲁棒性更强，搜索过程的效率更高，有着广泛的应用前景。

附图说明

图1是本发明基于样本块的旋转及缩放图像修复算法的流程图；

图2是利用关键点的坐标值确定最优匹配块的边缘轮廓的过程图；

图3是利用本发明方法和一般的方法找到的匹配块的结果对比图；

图4是实施例中第一幅图像(旋转图像)实验效果图；

图5是实施例中第二幅图像(旋转图像)实验效果图；

图6是实施例中第三幅图像(尺度缩放图像)实验效果图；

图7是实施例中第四幅图像(尺度缩放图像)实验效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

本发明的基于样本块的旋转及缩放图像修复算法，如图1所示，具体步骤和原理如下：

1)利用局部特征向量的特性，对图像中未破损区域进行关键点的计算、检测和筛选。

局部特征向量是根据图像配准算法产生的。首先，带有方向信息的图像的局部极值点，即图像的关键点被检测，特征向量则由这些关键点产生。极值点通过高斯差分(dog)函数产生：

f(x,y,σ)＝(g(x,y,kσ)-g(x,y,σ))*i(x,y)(1)

式中，f(x,y,σ)是经过尺度变换之后的图像空间，g(x,y,σ)是多尺度的高斯函数，i(x,y)代表了图像像素值，k是一个固定的乘数因子，*代表了卷积运算。

然后，通过数据采样产生图像金字塔，在每一层图像层中计算像素的最大值和最小值点。由于高斯差分函数自身具有的良好属性，这些极值点具有尺度不变特性。为了提高准确性，在计算出极值点后，本发明根据高斯差分函数的泰勒展开式，对极值点进行筛选，去除对噪声敏感以及位于边缘的那些点，将最后得到的极值点设为关键点。

最后，为了让计算出的关键点具有旋转不变性，根据计算关键点的梯度信息来确定其方向特性。图像梯度的幅值和方向由以下的式子计算：

式中，m(x,y)是梯度的幅值，θ(x,y)是梯度的方向值。

根据具有旋转和尺度不变性的关键点产生的特征向量，可以被用来对两个图像块进行匹配。本发明中利用了k-d树算法来进行最优搜索(参考文献：beisjs,lowedg(1993)shapeindexingusingapproximatenearest-neighboursearchinhigh-dimensionalspaces.ieeecomputersocietyconferenceoncomputervisionandpatternrecognition.pp1000-1006.)。

2)计算破损区域中像素点的优先权，选出具有最高优先权的像素点，以此像素点为中心，根据确定的破损块的尺寸大小，定义出破损块。

3)利用公式(1)-(3)对破损块进行关键点的计算、检测和筛选，然后对破损块和未破损区域当中的关键点进行搜索匹配，从而找到破损块的最优匹配块。

4)利用匹配到的关键点的坐标值确定最优匹配块的边缘轮廓。

假设n个关键点的水平和垂直坐标集合分别是x＝{x1,x2,...,xn}和y＝{y1,y2,...,yn}。通过搜索坐标的最大和最小值，然后利用这4个坐标值来确定最优匹配块的边缘轮廓：

式中，xmin表示关键点横坐标的最小值，xmax表示关键点横坐标的最大值，ymin表示关键点纵坐标的最小值，ymax表示关键点纵坐标的最大值，yj表示横坐标最小值对应的另一半坐标值，yi表示横坐标最大值对应的另一半坐标值，xk表示纵坐标最小值对应的另一半坐标值，xl表示纵坐标最大值对应的另一半坐标值。

5)对搜索到的最优匹配块的空间能量函数进行空间拓展变换，加入梯度项、旋转和尺度缩放因子，使最优匹配块与破损块的像素相对应。

考虑到最优匹配块和破损块之间具有旋转或者尺度缩放的关系，所以首先要对最优匹配块进行变换来保证信息填充过程的顺利进行。能量函数能被用来表示空间的状态，然而传统的能量函数只能用于平移的图像空间，表达式如下：

式中，t表示破损区域，s表示未破损区域，n是破损区域的像素点，xn是未破损区域的像素点，tn表示以n为中心的破损块，是以xn为中心的信息块，d是最小均方值。

本发明对传统的能量函数进行改进，增加了旋转和尺度变换因子，以确保信息填充的顺利进行。最优匹配块的空间拓展函数定义为：

式中，ip是像素的相对索引值，表示经过θn角度的旋转，αn是尺度变换系数，取值为αn＝0.5，表示顺时针经过θn角度旋转后的像素相对索引值，m(xn)是以xn为中心的经过拓展(旋转和尺度变化)变换后的最优匹配块。

利用上述的空间拓展函数，本发明对传统能量函数进行改进，同时，为了减少匹配的误差，本发明将梯度项添加到能量函数中。改进后的空间能量函数如下所示：

式中，t代表破损区域，mmse是最小均方差，b是破损块，▽代表水平和垂直方向的梯度信息，λ是权重因子，来控制梯度项的影响程度，取值为λ＝0.2。

6)利用拓展后的最优匹配块对破损块进行信息填充。

7)重复步骤2)至6)，直到所有的破损块都被修复，输出修复后的图像。

实施例：

利用关键点坐标值确定最优匹配块的边缘轮廓的过程如图2所示。其中，s表示的是未破损区域区域，t表示的是破损区域，b表示的是破损块。图中的黑点表示的是关键点，矩形表示的是由关键点坐标确定的破损块的最优匹配块。公式(1)中取值为k＝10。

本发明选取了2幅图像进行验证匹配块搜索结果，其中第一幅图像是旋转图像，第二幅图像是尺度缩放图像，如图3所示。在图(a)中左侧矩形标记的图像块和图(b)中中间矩形标记的图像块均表示破损块，在图(a)中右侧矩形标记的图像块和图(b)中右侧矩形标记的图像块均表示用本发明所示的方法获得的匹配块，在图(a)中顶部矩形标记的图像块和图(b)中左侧矩形标记的图像块表示用一般的基于样本块的方法(参考文献：criminisia,pérezp,toyamak(2004)regionfillingandobjectremovalbyexemplar-basedimageinapinting.ieeetransactionsonimageprocessing13(9):1200-1212.)获得的匹配块。在图3(a)中，破损块和顶部矩形标记的图像块是完全不同的，但是和右侧矩形标记的图像块直接存在着旋转的关系。同理可见，在图3(b)中，破损块和右侧矩形标记的图像块之间存在着缩放的关系，但是和左侧矩形标记的图像块之间却是不同的。由此可见，由本发明所示的方法获得的匹配块是准确的。

本发明选取了4幅图像进行验证算法修复结果。图4是旋转图像，其中，图(a)代表原始图像；图(b)黑色区域代表破损区域；图(c)为nn修复算法的修复效果；图(d)为e-ple修复算法的修复效果；图(e)为non-local修复算法的修复效果；图(f)为本发明方法的修复效果。图5是旋转图像，其中，图(a)代表原始图像；图(b)黑色区域代表破损区域；图(c)为nn修复算法的修复效果；图(d)为e-ple修复算法的修复效果；图(e)为non-local修复算法的修复效果；图(f)为本发明方法的修复效果。图6是尺度缩放图像，其中，图(a)代表原始图像；图(b)黑色区域代表破损区域；图(c)为e-ple修复算法的修复效果；图(d)为nn修复算法的修复效果；图(e)为本发明方法的修复效果。图7是尺度缩放图像，其中，图(a)代表原始图像；图(b)黑色区域代表破损区域；图(c)为nn修复算法的修复效果；图(d)为e-ple修复算法的修复效果；图(e)为non-local修复算法的修复效果；图(f)为本发明方法的修复效果。

从图4和图5中可以看出，由于缺少旋转不变性，利用nn算法、e-ple算法和non-local算法的修复结果不能令人满意；而利用本发明方法得到的修复结果取得了令人满意的结果，在视觉上更加合理，并且修复部分与整体图像更加一致。

从图6和图7中可以看出，由于缺少尺度变换，利用e-ple算法和nn算法得到的修复结果不能令人满意；而本发明方法的搜索过程具有尺度不变性，因此得到的修复结果准确合理。

尽管上面结合附图对本发明的功能及工作过程进行了描述，但本发明并不局限于上述的具体功能和工作过程，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。