基于改进置信度更新函数及匹配准则的图像修复算法的制作方法

本发明属于计算机图像复原领域，涉及一种图像修复算法，可用于文物保护、影视特效制作等。

背景技术：

图像修复是对受损图像进行修复重建，或者去除图像中的多余物体，同时保证图像原有的视觉效果。作为计算机图形学和计算机视觉领域中的一个研究热点，图像修复技术在老照片的修复、划痕的移除、恢复传输过程中的图像数据丢失等方面，都具有重要的研究价值。

目前的图像修复算法主要可以分为两大类：一类是适用于小区域破损区域修复的基于偏微分方程的图像修复算法，主要是利用热扩散方程建立图像的偏微分方程，并按照一定的规则向待修复区域扩散，该技术现已较为成熟；另一类是基于纹理合成的大区域图像修复算法，也是目前图像修复的重点。其主要思想是利用图像破损区域附近完好的纹理信息，对待修复区域进行块匹配和复制，从而达到图像修复的目的。经典算法是Criminisi等提出的基于样本块的修复算法(Criminisi A,Perez P,Toyama K.Object removal by exemplar-based inpainting[C]//Proceedings of 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Wisconsin,USA,2003:721-728.)。该算法中的优先权计算方法同时兼顾了图像的纹理与结构，但传统基于样本块的图像修复算法在搜索最优匹配块时，容易产生误匹配进，且在优先权的计算上因置信度衰减过快产生错误的修复引导方向，修复效果不是很理想，各国学者在该算法基础上提出了许多改进算法加以改善。

技术实现要素：

本发明针对上述问题提出一种新的置信度更新函数，用来抑制置信度衰减过快的现象，以提高图像引导修复方向的准确性；此外，鉴于SSD匹配准则(在基于样本块纹理合成及改进算法中广泛采用)鲁棒性较低，本发明引入Census变换(简记CT)匹配准则，以提高寻找最优匹配块的准确度。本发明的技术方案如下：

一种基于改进置信度更新函数及匹配准则的图像修复算法，该方法针对Criminisi提出的基于样本块图像修复算法，对其置信度项、匹配准则进行改进，包括下列步骤：

1)以待修复图像I内破损区域Ω边缘上的各点为目标像素点p，得到各目标像素点p的置信度项C(p)与数据项D(p)；

2)计算优先权P(p)，其中e为自然底数；

3)选取优先权最大的目标像素点p^*，并将其对应的目标块标记为待修复块；

4)将基于样本块的匹配算法中的最小均方差之和SSD和CT匹配准则相结合并赋予不同的权重用以 构成新的相似性度量函数，然后利用该相似性度量函数在待修复块周围的源区域Φ内搜索与其匹配程度最高的最优匹配块使用最优匹配块对破损的待修复块进行对应破损像素点的填充，即完成待修复块的修复，并将其标记为已修复的样本块，其中，源区域Φ为待修复块周围的图像未破损区域；

5)更新破损区域Ω及源区域Φ，根据公式更新已修复样本块内相应像素点的置信度值，其中m为待修复块与破损区域Ω交集内的任意像素点；

6)重复上述步骤(1)～(5)直至破损区域为空集则图像修复完毕。

本发明针对传统的样本块修复算法中存在的不足,提出一种基于置信度更新函数及匹配代价的图像修复算法，在最优匹配块搜索阶段，利用Census变换匹配代价与传统SSD匹配代价相结合，提出了新的相似性度量函数，提高了匹配块搜索的准确度和鲁棒性。在置信度更新阶段，提出一种新的置信度更新函数用来抑制置信度衰减过快的现象，以获得更为准确的图像引导修复方向。相比于现有技术，本发明的有点有以下两点：

(1)本发明通过引入Census变换来提高样本块匹配的可靠性。Census变换是一种反应局部范围内灰度变化的非参数变换方法，它是一种基于灰度对比的非参数变换，对图像的光照和几何变化具有较高的鲁棒性。将其与SSD准则相结合，克服了传统方法中由于数据畸变所带来的误匹配。

(2)本发明提出一种改进的置信度更新函数，以使得置信度值在修复迭代过程中较为缓慢的趋于0，进而提高引导修复方向的准确度。

总之，本发明较好的解决了传统样本块修复算法中存在的误匹配问题，对于修复具有复杂结构纹理的图像方面得了较好的视觉效果，结构引导方向更为准确，同时对各种自然纹理具有较强的鲁棒性等特点，有着广泛的应用前景。

附图说明

图1本发明的基于置信度更新函数及匹配代价的图像修复算法流程图。

图2～4为本发明与传统图像修复算法对不同图像的修复效果对比，其中：

图(a)代表原始图像，

图(b)黑色区域代表破损区域；

图(c)为经典Criminisi算法的修复效果；

图(d)为Entropy算法修复效果；

图(e)为Parabola算法修复效果

图(f)为本发明方法修复效果

具体实施方式

本发明基于改进置信度更新函数及匹配准则的图像修复算法，主要由三部分组成：优先权计算、置信度更新、搜索最优匹配块。具体步骤和原理如下：

101：计算待修复图像破损区域内目标像素点的优先权；

待修复图像为I，待修复图像的破损区域为Ω，其边缘为目标像素点p为边界上的任意一点，Ψ_p为以p为中心尺寸为13×13的目标块。待修复图像的源区域为Φ，满足关系Φ+Ω＝I。

目标像素点p处优先权P(p)的计算公式如下：

其中，e为自然底数，C(p)为置信度项，用于衡量目标块内可靠信息的数量，其数值越大代表信息越可靠，初始化其中，q为源区域Φ内的像素点；D(p)为数据项，代表了p点等照度线的强度。表示p点梯度方向的垂直方向，即代表边界等照度线方向，I_x(p)、I_y(p)分别代表p在x、y方向上的梯度值，为归一化因子，通常取255。可见，优先权系数兼顾了图像的纹理和结构，能够在很大程度上引导修复过程有条理地进行。

102：选取优先权最大的目标像素点，并将其对应的目标块标记为待修复块；

根据如下公式计算目标像素点优先权最大的点p^*

其中为破损区域的边界。得到p^*后，其对应的目标块即为待修复块。

103：根据SSD(即最小均方差之和)和CT(Census变换)匹配准则构成的相似性度量函数计算待修复块对应的最优匹配块；

确定待修复块后，采用SSD+CT匹配准则在源区域Φ内寻找与其尺寸相同的的最优匹配块

SSD匹配准则计算待修复块与匹配块Ψ_q的SSD匹配代价的公式为:

其中，R(a)、G(a)、B(a)表示待修复块内的任意像素点a的R、G、B分量,R(b)、G(b)、B(b) 表示匹配块Ψ_q内的像素点b的R、G、B分量。

CT(即Census变换的简称)匹配准则计算待修复块与匹配块Ψ_q的CT匹配代价的公式为:

其中表示以p^*为中心，N(p^*)邻域内任意像素点s的编码结果，CT_q(t)表示以q为中心，N(q)邻域内任意像素点t的编码结果。为N(p^*)邻域内所有的像素点按照列坐标优先的原则依次进行编码而得到的编码流，code_CT_q为N(q)邻域内所有的像素点按照列坐标优先的原则依次进行CT_q(t)编码而得到的编码流。

为编码流与编码流code_CT_q之间的汉明距离，将其记为待修复块与匹配块Ψ_q的CT匹配代价

根据SSD+CT匹配准则构成的相似性度量函数计算待修复块与匹配块Ψ_q的总匹配代价 的公式为:

其中，λ为权重值，取为0.1。

在得到总匹配代价后，即可计算得到待修复块对应的最优匹配块

传统基于样本块图像修复算法在寻找最优匹配块时，通常采用SSD匹配准则作为相似性度量函数，仅考虑颜色信息之间的差异，缺乏鲁棒性，容易受到干扰，匹配可靠性不高。本发明通过引入Census变换(简称CT)来提高样本块匹配的可靠性。Census变换是一种反应局部范围内灰度变化的非参数变换方法，它是一种基于灰度对比的非参数变换，对图像的光照和几何变化具有较高的鲁棒性。

因此，将Census变换匹配准则引入到寻找最优匹配块阶段，可以克服传统方法中由于数据畸变所带来的误匹配现象。

104：使用最优匹配块对破损的待修复块进行填充修复，并将待修复块标记为已修复的样本块，更新 破损区域及源区域；

得到最优匹配块后，对破损的待修复块进行填充修复，即

其中表示内与相对应的区域。

然后更新破损区域及源区域，分别得到新的破损区域Ω_new及新的源区域Φ_new即

接着将新的破损区域再次标记为破损区域，将新的源区域再次标记为源区域，即

Ω＝Ω_new

Φ＝Φ_new

105：更新已修复样本块内相应像素点的置信度值；

按照以下公式对已修复样本块内相应像素点的置信度值，

其中m为内的任意像素点。

传统基于样本块的图像修复算法是直接利用优先权最高的点对应的置信度值来更新修复区域的置信度值，即令C(m)＝C(p^*)，这相当于使用函数f(x):y＝x,x∈[0,1]去更新置信度值(其中x,y分别为函数的自变量和因变量)，很容易导致置信度值在迭代的过程中迅速趋于0，进而产生错误的引导修复方向。

本发明提出的改进置信度更新公式

相当于使用函数h(x):y＝e^2-2x·x²,x∈[0,1]去更新置信度值(其中x,y分别为函数的自变量和因变量)。分析比较h(x)与f(x)的函数图像可知，h(x)函数曲线均在f(x)上方，即采用h(x)更新置信度值，其置信度值下降的速度应比f(x)慢。

本发明提出形如y＝e^2-2x·x²的置信度更新函数，以使得置信度值在修复迭代过程中较为缓慢的趋于0，进而提高引导修复方向的准确度。

106：重复步骤101-105，直至破损区域为空集，完成图像的最终修复。

下面以具体的试验来验证本方法的可行性，详见下文描述：

试验结果均为本方法在CPU为Inteli3-3110M，2.4GHz，内存为4G的笔记本电脑上运行所得，操作系统 为Windows 7，仿真软件为32位Matlab R2013a。

从图2中可以看出，对于Beach图像，利用Criminisi算法和Entropy算法，在海水区域均有明显错误的修复痕迹，即将海浪与沙滩边界的白色部分扩散到中间的海水区域，这说明传统SSD匹配不够准确，产生了误匹配；Parabola算法修复效果略好于上述两种算法，但也存在较为明显的扩散效果，而本发明算法采用了匹配性能更佳的SSD+CT匹配准则，并使用了新的置信度更新函数，海水区域的修复更加自然合理，没有明显的扩散现象，取得了比较理想的纹理合成修复。

从图3可以看出，对于Pyramid图像，利用前3种算法修复后，由于置信度快速下降，导致产生了错误的修复引导，修复后金字塔尖端有明显的凹陷，而本发明算法则很好的保持了金字塔的结构特征，修复效果更加自然合理。

从图4可以看出，Criminis、Entropy、Parabola算法修复后，中间黄色线明显凹陷，proposed算法虽然从整体看较流畅自然，但在直线处略不平整，而本发明算法不仅修复效果流畅自然，同时在结构处理方面也更为理想。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本发明的具体流程如下：

(1)以待修复图像I内破损区域Ω边缘上的各点为目标像素点p，得到各目标像素点p的置信度项C(p)与数据项D(p)后，计算它们的优先权P(p)，其中e为自然底数，选取优先权最大的目标像素点p^*，并将其对应的目标块标记为待修复块

(2)将SSD(即最小均方差之和)和CT(Census变换)匹配准则相结合并赋予不同的权重用以构成新的相似性度量函数，然后利用该相似性度量函数在待修复块周围的源区域内搜索与其匹配程度最高的最优匹配块使用最优匹配块对破损的待修复块进行对应破损像素点的填充，即完成待修复块的修复，并将其标记为已修复的样本块

(3)更新破损区域Ω及源区域Φ，并利用形如的置信度更新函数更新步骤(2)中已修复样本块内相应像素点的置信度值，其中m为待修复块与破损区域Ω交集内的任意像素点，依次重复上述步骤直至破损区域为空集则图像修复完毕。