一种大面积图像修复方法与流程

本发明属于图像处理技术领域，提供了一种大面积图像修复方法。

背景技术：

图像修复是图像复原中的一个重要内容，其目的是利用图像现有的信息来恢复丢失的信息。可用于旧照片中丢失信息的恢复，视频文字去除以及视频错误隐藏等。简言之，图像修复就是对图像上信息缺损区域进行信息填充的过程，其目的就是为了对有信息缺损的图像进行复原，并且使得观察者无法察觉到图像曾经缺损或者已经修复，然而，传统criminisi算法在计算目标图像块优先权函数时，偏向于注重垂直于梯度方向的信息，有可能会导致像素点修复顺序的不合理。

技术实现要素：

本发明实施例提供一种大面积图像修复方法，解决现有criminisi算法存在的修复顺序不合理的问题。

为了解决上述目的，本发明提供一种大面积修复方法，该方法包括如下步骤：

s1、输入破损图像，提取破损区域的边界；

s2、判断边界是否为空，若判断结果为是，则输出修复图像，若判断结果为否，则获取边界处各像素点所在的破损块，将优先权值最大的破损块作为待修复块；

s3、在完好区域内查找与待修复块最为匹配的最优匹配块，利用最优匹配块对待修复块进行修复；

s4、更新修复后的待修复块内各像素点的置信度值，更新破损区域，返回s2。

进一步的，所述破损块的优先权值计算公式具体如下：

其中，p(p)为像素点p所在破损块的优先权值，h(i)为像素点p所在破损块的灰度变化因子，c(i)为像素点p所在破损块的颜色混乱度，d(p)像素点p所在破损块的数据项，c(p)为像素点p所在破损块的置信项，α、β、γ为三个参数为实验参数，且α+β+γ＝1，其中，数据项d(p)的表达式为：

其中，χ为归一化因子，取255，np为p点的法向量，为像素点p点的等照度矢量，θ为与np的夹角。

进一步的，所述最优匹配块的查找方法具体包括如下步骤：

s31、在完好区域内查找颜色混乱度与待修复块最为接近的目标区域；

s32、通过滑动窗的移动将目标区域划分为若干与破损块等大的目标匹配块；

s33、计算目标匹配块与待修复块间的颜色差异及灰度像素混乱度差异；

s34、基于颜色差异和灰度像素混乱度差异来确定与待修复块差异最小的目标匹配块，即为最优匹配块。

进一步的，所述置信度值的更新方法具体如下：

将修复后的待修复块与最优匹配块进行匹配；

若匹配的准确度达到0.8，令其置信项值为1，若匹配的准确度位于0.5-0.8间，令其置信项值设为0.65，若匹配的准确度为0.5以下，采取criminisi算法中的置信项计算公式更新置信项值。

本发明提供的大面积图像修复方法具有如下有益效果：

1.当破损块的置信项值偏大，即大于等于0.5时，置信项c(p)与数据项d(p)点乘，则提高数据项对优先权值的影响，破损块的置信项c(p)少于0.5时，均衡考虑置信项c(p)、数据项d(p)、灰度变化因子h(i)及颜色混乱度c(i)对优先权值的贡献，最大程度反应图像破损边缘的合理修复顺序。

2.基于颜色混乱度才确定与破损块最为接近的目标区域，基于颜色差异和灰度像素混乱度差异在目标区域内确定与破损块差异最小的最优匹配块，能快速找寻到算法认为最为相似的匹配块。

3.优化了置信项的更新策略，使得修复后像素在全局像素中信任度更加准确。

附图说明

图1为本发明实施例提供的大面积图像修复方法流程图；

图2为本发明实施例提供的去除垃圾袋后的街道路面纹理和结构的修复过程示意图；

图3为本发明实施例提供的去除人物后的蹦极场景修复过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为本发明实施例提供的大面积图像修复方法的流程图，该方法包括如下步骤：

s1、输入破损图像，提取破损区域的边界；

s2、判断边界是否为空，若判断结果为是，则输出修复图像；若判断结果为否，则获取边界处各像素点所在的破损块，找出优先权值最大的破损块，作为待修复块；

在本发明实施例中，破损块是指以边界像素点为中心，获取设定大小的矩阵块，如9*9的像素矩阵，在本发明实施例中，基于优先权函数来计算边界处各像素点对应破损块的优先权值，优先权函数表示如下：

其中，p(p)为像素点p所在破损块的优先权值，h(i)为像素点p所在破损块的灰度变化因子，是指像素点p所在破损块灰度处理后的像素范围；c(i)为像素点p所在破损块的颜色混乱度，d(p)像素点p所在破损块的数据项，c(p)为像素点p所在破损块的置信项，α、β、γ为三个参数为实验参数，且α+β+γ＝1其中数据项d(p)的表达式为：

其中，χ为归一化因子，取255，np为p点的法向量，为像素点p点的等照度矢量，θ为与np的夹角；灰度变化因子体现破损块中灰度变化的大小，变化很大则说明该破损块处的结构特性比较明显，颜色混乱度显示破损块的颜色错综复杂程度，即颜色种类数。当破损块的置信项值偏大，即大于等于0.5时，置信项c(p)与数据项d(p)点乘，则提高数据项对优先权值的影响，破损块的置信项c(p)少于0.5时，均衡考虑置信项c(p)、数据项d(p)、灰度变化因子h(i)及颜色混乱度c(i)对优先权值的贡献，最大程度反应图像破损边缘的修复顺序。

s3、在完好区域内查找与待修复块最为匹配的最优匹配块，利用最优匹配块对破损块进行修复，即利用最佳匹配块中与待修复块中未知像素对应的已知像素填充待修复块中未知像素处。

在本发明实施例中，最优匹配块的获取包括如下两个步骤：

s31、在完好区域内查找颜色混乱度与待修复块最为接近的目标区域；

s32、通过滑动窗的滑动，将目标区域划分为若干与破损块等大的目标匹配块，该滑动窗的尺寸与破损块的尺寸等大；

s33、计算目标匹配块与待修复块间的颜色差异及灰度像素混乱度差异；

目标匹配块与破损块间各像素点的颜色差值之和即为颜色差异，rgb图像存在三通道r通道(红色)、g通道(绿色)及b通道(蓝色)且每个像素都存在这r、g、b三通道，通过三个通道计算像素间的差异；

目标匹配块与破损块间各像素点的灰度像素混乱度差值之和即为灰度像素混乱度差异，将图像转化为灰度图像，此时图像为单通道，像素在0-255之间，向量像素点间的像素差值即为灰度像素混乱度差值；

s34、基于颜色差异和灰度像素混乱度差异来确定与待修复块差异最小的目标匹配块，即为最优匹配块；

本发明中，以颜色差异为主要评价因素，以灰度像素混乱度差异为次要评价因素，在目标区域内，基于滑动移动窗口来获取与破损块等大的目标匹配块，滑动窗在目标区域按照设定步长(一个像素点)移动，计算目标匹配快与破损块间的颜色差异及灰度像素混乱度差异，赋予颜色差异较大的权重，赋予灰度像素混乱度差异较小的权重，计算目标匹配块与破损块间的差异权值，例如赋予颜色差异权重为0.7，灰色像素混乱度差异0.3，即最小差异权值对应的目标匹配块作为最优匹配块，能快速找寻到算法认为最为相似的匹配块。

s4、更新修复后的破损块内各像素点的置信度值，更新破损区域，返回s2；在本发明实施例中，因为破损区域的像素修复其实质为对该区域的最佳像素的猜测，所以不能将修复的像素与原本未破损的像素完全等同，此处采取置信度来标识修复像素与实际像素的差异，置信度越大，说明两者时间的差异越小，将修复后的破损块与最优匹配块进行匹配，若匹配的准确度达到0.8时，令其置信项值为1，若当匹配的准确度位于0.5-0.8间时，令其置信项值设为0.65，若匹配的准确度为0.5以下时，采取criminisi算法中的置信项计算公式确定置信项值，改变criminisi算法中置信项的更新策略，使得置信项不至于降低过快，置信项降低过快将导致置信项对优先权影响过低。

本发明提供的大面积图像修复方法具有如下有益效果：

1.当破损块的置信项值偏大，即大于等于0.5时，置信项c(p)与数据项d(p)点乘，则提高数据项对优先权值的影响，破损块的置信项c(p)少于0.5时，均衡考虑置信项c(p)、数据项d(p)、灰度变化因子h(i)及颜色混乱度c(i)对优先权值的贡献，最大程度反应图像破损边缘的合理修复顺序。

2.基于颜色混乱度才确定与破损块最为接近的目标区域，基于颜色差异和灰度像素混乱度差异在目标区域内确定与破损块差异最小的最优匹配块，能快速找寻到算法认为最为相似的匹配块。

3.优化了置信项的更新策略，使得修复后像素在全局像素中信任度更加准确。

此外，经本发明提供的大面积图像修复方法对破损图像进行修复，其修复结果见附2及附图3，在图2中，a图为存在垃圾袋的街道图，b图为去除垃圾袋后的街道图，c图为采用大面积图像修复方法对街道路面纹理和结构进行修复后的修复图，在图3中，a图为存在人物的蹦极场景图，b图为去除人物后的蹦极场景图，c图为采用大面积图像修复方法对蹦极场景进行修复后的修复图，从图2和图3可以看出，对图像中的垃圾袋所在位置进行路面纹路和结构的修复，修复后的路面与场景中路面结构极为和谐，看不出明显的修复痕迹，对图像中人物所在位置进行场景修复，包括湖面、屋顶及丛林的修复，修复后的图像与实际场景融合，不存在明显的修复痕迹。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。