一种基于样本的快速图像修复方法
【专利摘要】本发明公开了一种基于样本的快速图像修复方法，该方法包括：采用标记确定待修复区域；选取待修复区域和已知区域交界的轮廓线；计算模板的数据值和置信度值；引入调节参数，确定具有最高优先级的待修复模块；在待修复模块邻近的已知区域内，按照与待修复模块中心点的距离远近，由近及远的搜索出最优匹配块；将最优匹配块对应的像素点填充到待修复模块的相应位置，同时更新新填充像素点的置信值；对待修复区域重复以上步骤，直到待修复区域全部填充完毕。本发明从优先级的运算、数据值计算、匹配区域及最优匹配块的搜索和置信值更新四个方面进行优化，修复效果更加自然，同时修复由于只是在局部进行匹配，大大减少了修复时间。
【专利说明】一种基于样本的快速图像修复方法
【技术领域】
[0001] 本发明涉及一种图像修复方法，具体是一种基于样本的快速图像修复方法，属于 图像处理【技术领域】。
【背景技术】
[0002] 作为图像处理的一个重要应用，图像修复的主要目的是在人眼可以接受的程度下 对破损的图像进行修复，它的应用领域包括艺术品的修复、计算机动画、影视特技、虚拟现 实等各个方面。
[0003] 目前的图像修复算法主要集中于两大类：一是图像润饰（inpainting)的方法，该 方法首先由Bertalmio等人引入到数字图像，使用基于偏微分方程（PDE)的修复模型，基于 此思想的方法还有Chan提出的整体变分（TV)模型以及基于曲率驱动扩散（CDD)模型等。 这些方法对有瑕疵的图像破损有较好的修复效果，但修复较大区域效果模糊，且对纹理较 强的破损区域修复效果差。二是基于纹理合成的图像修复方法，适用于修复大面积的破损。 其中最经典的算法由Criminisi等人提出，该算法在基于样本的纹理合成算法基础上再融 合图像润饰结构扩散的特点，修复效果较好。
[0004] 基于样本的纹理合成的优点是合成算法本身蕴含了样本中纹理和结构的信息，而 图像润饰算法中结构信息扩散的关键在于填充的顺序。CriminiSi等人提出的算法融合了 这两者优点。算法核心是基于样本的纹理合成，即从图像的源区域复制像素点填充进目标 区域中，包含了已有的纹理和结构信息，而区域之间的结构信息则通过改变像素点的填充 顺序可以得到。这样算法既解决了同时生成纹理和结构信息的问题也保持了原有纹理合成 算法高效的优点。综合来看，目前修复效果较好、适用面更广泛的是Criminisi算法。在此 基础上，出现了一些改进算法。利用小波变换进行图像修复，但需要依赖图像分解、结构修 复及纹理合成这三种技术，比较繁琐。利用邻域特性选择待修复样本块模板大小，该算法对 纹理部分修复较好，但容易产生纹理重叠。基于匹配块的图像修复算法，修复效果较好，但 计算代价过大。
[0005] Criminisi算法的缺陷主要表现在三个方面：第一优先级的计算，随着填充过程 的进行，模板数据值会迅速下降到零，这样使得计算出的优先级不可靠；因此，会出现错误 的填充顺序，最后影响修复效果。第二采用全局搜索算法来寻找最优匹配块，这样不但会产 生错误匹配，而且还会使填充速度变慢。第三置信值的计算，对破损区域内原有的像素点和 填充上去的像素点进行相同处理，意味着破损区域原有的像素点和填充上去的像素点一 样可靠，没有考虑到本次修复的效果，算法容易导致修复效果越来越差，从而形成它的贪婪 性。
【发明内容】
[0006] 针对上述现有技术存在的问题，本发明提供一种基于样本的快速图像修复方法， 能有效解决Criminisi算法低纹理区域修复滞后的问题，也可以保证不同颜色纹理区域的 边界线会随着填充过程被保留延续下去，保留图像的线性结构，有利于"断层"的消除，使修 复合成的顺序基本上是从外围向中间合成，最终修复效果更加真实自然；同时由于修复只 是在局部进行匹配，大大减少修复时间。
[0007] 为了实现上述目的，本发明采用的技术方案是：该基于样本的快速图像修复方法， 其具体步骤为：
[0008] (1)标记确定待修复图像中的待修复区域；是指事先根据需要，利用图像处理软 件简单的在图像上标出破损区域，可同时标记出一个或多个待修复区域，修复时依次对每 个待修复区域进行修复；
[0009] (2)选取待修复区域和已知区域交界的轮廓线；
[0010] (3)计算轮廓线上模板的数据值和置信度值，引入Sobel算子，优化数据值和置信 度值的计算；
[0011] (4)引入调节参数，根据模板的数据值和置信度值计算模板的优先级，确定具有最 高优先级的待修复模块；
[0012] (5)在待修复模块邻近的已知区域内，按照与待修复模块中心点的距离远近，由近 及远的搜索所有匹配块，寻找与待修复模块最相似的最优匹配块；
[0013] (6)将最优匹配块对应的像素点填充到待修复模块的相应位置，同时根据最优匹 配块对应的SSD值和设定的颜色阈值的大小关系的不同，更新新填充像素点的置信度值；
[0014] (7)对待修复区域重复步骤（2)?￠)，直到待修复区域全部填充完毕。
[0015] 进一步，所述步骤（1)?⑶中，设有图像I，待填充的待修复区域为Ω，轮廓线为 δΩ，已知区域为Φ(Φ=Ι-Ω)，待修复区域内沿轮廓线的方形模板Ψρ，中心点p在轮廓 线δΩ上，模板Ψρ应包含了一部分已合成的像素；
[0016] 所述步骤（3)中计算轮廓线上中心像素点为P的模板数据值为： 「 ^ VI1-H
[0017] Dip)=PP α
[0018] 式中，D(P)表示模板的数据值，是在点P的等照度线向量，ηρ是轮廓线在P 点的单位法向量，δ是一个标准化参数，对于一般的灰度图来说，3=255;
[0019] 引入SObel算子计算等照度线向量▽$，在使用SObel算子时采用3X3模板：
[0020] ▽C=(g., 'g.v)丄=(%·乜，^·h，）丄
[0021] 式中用h表不水平方向的Sobel算子，用h'表不垂直方向的Sobel算子；A表不 以轮廓线点为中心3X3的模板，与水平方向的Sobel算子h相乘得到水平方向的梯度gx， 与垂直方向的Sobel算子h'相乘得到垂直方向的梯度gy ;垂直正交向量即得等照度线向 量；
[0022] 所述步骤（3)中计算轮廓线上中心像素点为p的模板置信度值为：
[0023] (、，乙认广⑷
[0024] 式中，C(p)表示模板的置信度值，C(q)表示模板内像素点的置信值。初始化时，位 于待修复区域中的每个点的值设为〇,已知区域中的每个点的值设为1。IψρI是模板ψρ的面积。
[0025] 所述步骤⑷中计算轮廓线上中心像素点为ρ的模板优先级为：
[0026]
【权利要求】
1. 一种基于样本的快速图像修复方法，其特征在于，该方法的具体步骤为： (1) 标记确定待修复图像中的待修复区域； (2) 选取待修复区域和已知区域交界的轮廓线； (3) 计算轮廓线上模板的数据值和置信度值，引入Sobel算子，优化数据值和置信度值 的计算； (4) 引入调节参数，根据模板的数据值和置信度值计算模板的优先级，确定具有最高优 先级的待修复模块； (5) 在待修复模块邻近的已知区域内，按照与待修复模块中心点的距离远近，由近及远 的搜索所有匹配块，寻找与待修复模块最相似的最优匹配块； (6) 将最优匹配块对应的像素点填充到待修复模块的相应位置，同时根据最优匹配块 对应的SSD值和设定的颜色阈值的大小关系的不同，更新新填充像素点的置信度值； (7) 对待修复区域重复步骤（2)?（6)，直到待修复区域全部填充完毕。
2. 如权利要求1所述的一种基于样本的快速图像修复方法，其特征在于，所述步骤 (1)?（3)中，设有图像I，待填充的待修复区域为Ω，轮廓线为δ Ω，已知区域为Φ (Φ = Ι-Ω)，待修复区域内沿轮廓线的方形模板Ψρ，中心点ρ在轮廓线δ Ω上； 所述步骤（3)中计算轮廓线上中心像素点为ρ的模板数据值为： α
式中，D(p)表示模板的数据值，▽#.是在点ρ的等照度线向量，ηρ是轮廓线在ρ点的 单位法向量，5:是一个标准化参数； 引入sobel算子计算等照度线向量▽#，在使用sobel算子时采用3X3模板：
式中用h表不水平方向的Sobel算子，用h'表不垂直方向的Sobel算子；cIV表不以轮 廓线点为中心3X3的模板，与水平方向的Sobel算子h相乘得到水平方向的梯度gx，与垂 直方向的Sobel算子h'相乘得到垂直方向的梯度g y ;垂直正交向量即得等照度线向量； 所述步骤（3)中计算轮廓线上中心像素点为ρ的模板置信度值为：
式中，C(p)表示模板的置信度值，C(q)表示模板内像素点的置信值。初始化时，位于待 修复区域中的每个点的值设为〇,已知区域中的每个点的值设为1。I ψρI是模板ψρ的面 积。 所述步骤（4)中计算轮廓线上中心像素点为P的模板优先级为：
式中，P (P)表示模板的优先级，C (P)和D (P)分别表示模板的置信度值和数据值；α和 β为调节参数。
3. 如权利要求1所述的一种基于样本的快速图像修复方法，其特征在于，所述步骤（3) 中模板的大小设为9X9像素。
4. 如权利要求1所述的一种基于样本的快速图像修复方法，其特征在于，所述步骤（5) 具体包括以下步骤： I、 将匹配区域限定在以待修补像素点为中心的SX S正方形邻域内，匹配邻域SXS的 大小可根据破损区域的形状来确定；设待修复区域不超过mXn大小，max = min(m, η)，取S =2Xmax+l ； II、 对于根据优先权值确定的当前待修复点P，它在上述确定的匹配区域中搜索匹配点 的方式为：以点P为中心，顺序搜索与待修复点P的棋盘距离为n(l彡η彡max, n e N)的 各点作为匹配点，并依次以这些点为中心生成候选块与待修复块cPW故SSD值的计算，直至 搜索完匹配区域； III、 对于最优匹配块的选择优先考虑距离待修复点p点最近的SSD值最小的匹配块，搜 索中，直接对第1次搜索到的颜色差距值最小的候选块作记录，并将其作为最优匹配块。
5. 如权利要求1或2所述的一种基于样本的快速图像修复方法，其特征在于，所述步骤 (6)中待修复模块与待选模块的SSD值为： D = Σ [ (Rp-Rq)2+ (Gp-Gq)2+ (Bp-Bq)2] 式中，P，q分别表示待修复模块和待选模块内的对应像素，R、G、B分别表示各个像素点 的不同颜色通道值。模块间的欧式距离为对应像素点间欧式距离的总和。
6. 如权利要求1所述的一种基于样本的快速图像修复方法，其特征在于，所述步骤（6) 中新填充像素点的置信值为： \
式中，如果最优匹配块对应的SSD值小于阈值Th,则新填充像素点的置信值，用最优匹 配块对应像素点的置信值直接更新；如果SSD值大于阈值Th,则待修补像素点的置信值采 用匹配前优先级最大的模板的置信度值进行更新。
【文档编号】G06T5/00GK104376535SQ201410614189
【公开日】2015年2月25日 申请日期:2014年11月4日 优先权日:2014年11月4日
【发明者】戴磊, 姜代红, 孙天凯, 丁宾, 胡局新 申请人:徐州工程学院