一种基于结构张量的图像修复方法与流程

本发明涉及一种图像修复方法，特别是关于一种以样本例为基础，基于结构张量的图像修复方法。

背景技术：

图像修复就是利用图像中剩余的信息对目标区域进行修复的一种技术。数字图像已经成为我们生活中的一部分，人们对图像的要求也越来越多，比如去除图像中的某个多余的物体，恢复一些由于保存不当遭到损坏的图像。这种修复技术靠图像中存在的颜色和纹理结构信息修补未知区域的内容，一般要求修复后的图像要在视觉上让人合理。

在现有技术中，基于样本块的修复方法存在一个问题，通过计算边缘像素优先权来确定修复顺序，修复质量的好坏要同时受到填充优先权和匹配块搜索策略的影响，此外，这种算法也容易受目标区域形状的影响。

技术实现要素：

针对上述问题，本发明的目的是提供一种以样本例为基础，通过利用结构张量来降低图像修复中结构补全的错误率进而提升算法的修复正确率的行扫描图像修复方法。

为实现上述目的，本发明采取以下技术方案：一种基于结构张量的图像修复方法，包括以下步骤：

1）建立扫描块模板，使用该模板以行扫描的方式对图像进行扫描，寻找待填充块；

2）计算待填充块的边强度与匹配块的边强度，计算待填充块与匹配块的边缘强度，把边缘强度的最小值与待填充块的边强度的积作为初步筛选的边界值，将小于边界值的匹配块筛选出来，作为下一步的候选块；

3）选取待填充块内填充区域上边或者左边相邻的块作为优先填充块，计算优先填充块和各个候选块的差方和距离公式（sumofsquareddifferences，ssd），将所有距离相加求出平均距离，将距离小于平均距离值的候选块作为下一步的候选块；

4）选择相似度最大的块作为最佳候选块填充到待填充区域；

5）重复执行以上步骤，直到待修复区域全部填充完毕。

所述步骤1）中模板大小为n*n（n为奇数），分为基础填充区域和基础匹配区域。

所述基础填充区域和基础匹配区域不是实际填充区域和实际匹配区域。

所述基础填充区域大小为n*n（n为奇数，n<n），位于模板右下方，其余为基础匹配区域。

所述步骤1）中待填充块为模板遇到待修复区域时，模板所在位置的块。

所述步骤2）中匹配块为在图像已知区域内边长是n的像素块。

所述步骤2）中待填充块的边强度用其中心像素点的边强度表示，匹配块的边强度用其中心像素点的边强度表示。

所述像素的边强度用图像结构张量的两个特征值来计算。

所述步骤2）中边缘强度模型为待填充块的边强度和匹配块的边强度和的平方除以一个常数。

所述步骤3）中优先块的选取方法为：计算两个相邻块的平均梯度和图像修复程度的商作为平衡值，平衡值大的块作为优先填充块。

所述平均梯度是将块中所有像素点的梯度相加，除以像素点的个数。

所述像素点的梯度为图像每个颜色通道中的梯度值相加除以3。

所述步骤4）中ssd距离公式为：

其中r、g、b分别表示待填充块中实际匹配区域和匹配块中对应位置各个像素点中不同颜色通道的像素值。

所述步骤4)中的相似度通过ssd距离公式计算，距离值大的相似度小，距离值小的相似度大。

所述步骤2）、步骤3）、步骤4）分别为候选块的三次筛选。

本发明由于采取以上技术方案，其具有以下优点：本发明采用逐行扫描的修复方式避免边缘填充顺序受优先权公式的影响；利用边缘强度模型构建块相似度公式，确保准确识别图像的局部结构信息；同时利用平衡因子制约结构信息过度传播，保证结构信息的正确重建。使用结构张量后图像结构补全的正确率得到了提高，提高了图像修复的质量和应用性。

附图说明

图1为图像修复原理示意图。

图2为本发明待填充块和候选块说明书示意图。

图3为本发明的图像修复方法的流程示意图。

图4为本发明计算图像修复程度的示意图。

图5是本发明实施例的修复过程示意图。

图6为证明本发明结构传播能力的实施例修复效果图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

目标去除是数字图像修复技术领域的一个常见应用，其目标是将图像中选定的目标去除，并用图像中其它区域的图像信息覆盖在去除的区域，使去除目标后的图像看起来完整，自然，真实，符合人的视觉心理要求。

如图1所示，其中为整个图像，代表已知区域，代表未知区域，图像修复就是利用已知区域的信息修复未知区域的信息。

本实施例采用行扫描的方式搜索图像，如图1所示，扫描块模板为一个边长9个像素的正方形块，为基础匹配区域，为基础填充区域。

如图2所示，当扫描块和待修复区域尽可能多的重叠且基础匹配区域与待修复区域不重叠，即当时，称其为待填充块，位于已知区域的图像块为候选块，为候选块中和对应的位置。

所述修复过程示意图如图3，包括以下步骤：

1、建立扫描模板，以行扫描的方式，从上到下，从左到右依次对待修复图像进行扫描，寻找；

2、以为待填充块，对图像中所有候选块进行第一次筛选，筛选方法为：分别计算待填充块和候选块的差方和(ssd)距离和边强度，建立块的边缘强度模型，即（α是个常数），计算块的错误调节因子，即，其中，是常数，是待填充块中心像素点的边强度，将小于的最小值与的和的匹配块筛选出来，作为下一步的候选块，公式如下：；

所述ssd距离的计算公式为：

所述边强度的计算公式为：

3、第二次筛选，如图4所示，在待填充块的基础填充区域的左边和上边分别有两个块、，分别计算这两个块的平衡因子，取大的块作为标准块；计算标准块和候选块中部分的ssd距离，并平均距离，所有ssd距离小于的候选块被筛选出来作为下一步的候选块；

上述计算标准块的公式为：，其中为或，公式中为块的平均梯度的绝对值，为图像的修复程度,为块在竖直方向的修复程度,为块在水平方向的修复程度，如图4所示，，。

上述平均距离的计算公式为：，公式中n为候选块数量，r为a或者b，为标准块和候选块部分的ssd距离；

4、选择距离最小的块作为填充块填充到待填充区域；

5、重复执行以上步骤，直到待修复区域全部填充完毕（如图5）。

如图6所示，为本发明针对结构明显图像的修复，图中栏杆被修复完整，体现了本算法在结构传播方面的能力。