一种基于块匹配的图像修复方法
【专利摘要】本发明涉及一种基于块匹配的图像修复方法，包括以下步骤:1）计算待修复区域边缘点的优先权，并引入点的梯度量和常数因子来改进优先权。2）根据优先权最高的点建立待填充块；3）以待填充块中已知信息为依据在图像已知区域中搜索最佳样本块。4）提取最佳样本块的像素值，并计算最佳样本块中心像素点的置信度值；5）将最佳样本块对应的像素值复制到待填充块的相应位置，并将点的置信度更新成最佳样本块中心像素点的置信度值，形成新的待修复区域；6）执行上述步骤1）～5），直到待修复区域全部填充完毕。以上发明取得了很好的修复效果，适用于各种图像修复工作。
【专利说明】
-种基于块匹配的图像修复方法
技术领域
[0001] 在本发明设及一种图像修复方法，特别是关于一种基于块匹配的图像修复方法。
【背景技术】
[0002] 随着计算机技术的发展和进步，基于计算机的数字图像修复技术受到人们越来越 多的关注。同时，数字图像修复技术在修复图片中丢失的信息、移除图片或视频中的文字及 多余的物体等方面得到广泛应用。图像修复技术中把图片分为已知区域和未知区域，未知 区域可W是图片受损后丢失的部分，也可W是我们需要移除的部分。通过将已知区域的像 素用过一定方法传递到未知区域来实现图像修复，对修复结果的要求是符合人的视觉屯、里 要求。目前图像修复方法主要分两类:一类W像素点为操作对象，W物理学和数学知识为基 础通过扩散的方式修复未知区域，此方法对小范围图像修复十分适用，但大范围的图像修 复结果无法令人满意；另一类W像素块为操作对象，通过对像素块进行全局或局部的匹配 将已知区域的像素信息传递到未知区域实现修复，该方法对大、小范围的图像修复都能取 得很好的效果，但基于该方法的修复成功率很低。
[0003] 现有技术中，基于块匹配的图像修复方法通过计算待填充区域所有点的优先级并 排序，选择优先级最高的点，W该点建立待填充块，然后将该填充块中已知像素的点和已知 区域内样本块内的像素点通过SSD算法进行匹配，匹配成功后将该样本块复制到待填充块 内，实现图像信息的传递，完成图像修复。该算法同时存在着匹配错误率高和算法易失去作 用等缺陷，运些缺陷使该算法并不总能得到令人满意的修复结果。
【发明内容】
[0004] 针对上述问题，本发明的目的是提供一种提高匹配成功率并保证算法在任何时候 都正常工作的块匹配图像修复方法。
[0005] 为实现上述目的，本发明采取W下技术方案:一种基于块匹配的图像修复方法，包 括W下步骤： 1) 计算待修复图像的待修复区域边界上任一像素点的优先权，包括W下步骤:①将 待修复图像分成已知区域审和待修复区域Q两部分，沈I为待修复区域Q的边界;②计算待 修复区域边界注 1上任一像素点的置信度值而的：
式中，J为固定常数，阁为安点梯度量的绝对值，平,为待修复块，g为'中,与审相交区域的 任一像素点;③计算像素点巧的数据项心(巧；④计算像素点的优先杖
2) 根据所述步骤1)计算像素点沪的优先权，确定最先修复的待填充块； 3) 捜索已知区域内的所有样本块，根据设定的匹配条件，寻找待填充块的最佳样本块； 4) 提取最佳样本块的像素值，并计算最佳样本块中屯、像素点的置信度值； 5) 将最佳样本块对应的像素值复制到待填充块的相应位置，并将巧点的置信度更新成 最佳样本块中屯、像素点的置信度值，形成新的待修复区域； 6)重复执行上述步骤1)~5)，直到待修复区域全部填充完毕。
[0006] 所述步骤1)②中J为0-1之间的固定常数，试验表明取值为0.35时可满足大部分修 复。该固定常数的存在使置信项值的范围扩大到负数，不会因置信项趋近于0导致算法公式 停止工作。
[0007] 所述步骤1)@中恰|为^^点的梯度量的绝对值，表示^该点为中屯、的待填充块具有 的特征，越大特征越明显，即特征越明显的待填充块具有更高的优先级，优先被填充。
[000引所述步骤1)③计算像素点巧的数据项。脚：
，式中，布表示像 素点巧处的等照度线向量，町表示点巧处的单位法向量，a表示归一化因子。
[0009] 所述步骤3)捜索已知区域内的所有样本块，根据设定的匹配条件，寻找待填充块 的最佳样本块，包括W下内容:计算待填充块与已知区域内每个样本块的均值SSD距离，将 计算得到的均值SSD距离最小的样本块作为最佳样本块，将该样本块的信息填充到待填充 块。
[0010] 所述待填充块与样本块的的均值SSD距离的计算公式为：
式中，云、百、玄分别表示待填充块和样本块中各个像素点中不同颜色通道亮度的均 值，此公式中的所描述的样本块是在已知区域内^某一像素点^^1为中屯、点的矩形块。
[0011] 本发明由于采取W上技术方案，其具有W下优点： 1、 由于本发明在计算像素点的置信度时引入固定常数项，通过周期性的减去固定常数 使置信度值突破0的界限，可W成为负值，而负值也是标量可W对所有边缘点的置信度进行 排序，从而可W使计算得到的优先权值能够代表正确的块填充次序，防止了 "dropping effect"效应的发生，与现有技术相比，不仅能够正确地生成破损区域所需信息，而且有效 地避免"dropping effect"效应，使得计算得到的像素点的优先权更符合实际修复顺序，保 证了图片修复的准确性； 2、 本发明引入了点的梯度值的绝对值项，该项表示所有边缘点的梯度的绝对值。梯度 值的绝对值大的点位于像素变化明显的区域，即W该点为中屯、的待填充块具有很明显的可 识别特征，W具备该特征的块作为待填充块可W使图像匹配过程中发生错误的概率更低， 使图像的修复工作成功率更高。本发明可W广泛应用于图像修复过程中。
【附图说明】
[0012] 图1是本发明的图像修复原理示意图。
[0013] 图2是本发明的优先级计算示意图。
[0014] 图3是本发明的图像修复方法的流程示意图。
[0015] 图4是本发明的最优待填充块的寻找机制示意图。
[0016] 图5是本发明的修复效果示意图，图5(a)是修复前的图形示意图，图5(b)是修复后 的效果示意图。
[0017] 图6(a)是现有技术的置信度曲线示意图，横坐标为迭代次数，纵坐标为置信度。
[0018] 图6(b)是本发明的方法计算的置信度曲线示意图，横坐标为迭代次数，纵坐标为 置信度。
[0019] 图7(a)是现有技术的块填充优先权示意图，横坐标为迭代次数，纵坐标为块填充 优先权。
[0020] 图7(b)是本发明的方法计算的填充优先权示意图，横坐标为迭代次数，纵坐标为 块填充优先权。
【具体实施方式】
[0021] 下面结合附图和实施例对本发明进行详细的描述。
[0022] 目标去除是图形修复技术领域的一个典型应用，其任务是尽量自然地修复图像中 指定区域的丢失图形信息，本发明W目标去除为实施例对图像修复方法的具体过程进行说 明，目标去除是针对图像中的信息缺损区域，利用图像中已知区域的信息进行填充，使修复 后的图像自然、真实，符合人的视觉屯、理要求。
[0023] 如图1所示，其中I为整个图像，。代表已知区域，Q代表未知区域，将已知区域 内的信息复制到未知区域，使整个图像真实自然，运就是图像修复的基本原理。
[0024] 如图2所示，船代表待填充区域的边界，吟为W巧点为中屯、的待填充块，V/丈是边 缘点巧处的梯度向量的正交向量，％是与边缘点巧相交的单位向量，吟n#代表设的已知区 域，^代表昭的未知区域，根据^上参数进行优先权的计算。
[0025] 所述修复过程示意图如图3,包括W下步骤： 1、计算待修复图像的待修复区域边界:^5〇;止所有像素点^'的优先权，包括^下步骤： 1) 将待修复图像分成已知区域电和待修复区域O两部分，沈:i表示待修复区域Q的边 界； 2) 计算待修复区域边界航上任一像素点其的置信度而:
(1) (2) 上述式（1)中，J为固定常数0.35,用来扩大置信项的取值范围到负数，避免因置信项 趋于0导致的修复错误； 上述式（1)中，悼I为点;^处梯度值的绝对值，用来表示跨的特征是否明显，具有明显特 征的待填充块优先被填充； 上述式（2)中，^伯..)为^^点周围区域内点的置信度，当3点位于馬〇^^恒域内时巧扣默 认为1，当g点位于吟区域内时巧:的默认为0,瞬巧块货两点的个数； 上述式(2)中，CTW为芦点的原始置信度，因巧如会逐渐渐变小趋近于0而导致Vff)项 变为0,导致修复错误； 3) 计算像素点?的数据项O(P): (3) 式（3)中，岛(M用于衡量像素点巧处的边缘强度，表示氏点处的等照度线方向和强度， 7?表示像素点巧处的等照度线向量，M碌点^处的单位法向量，a表示归一化因子； 4)根据像素点^?勺置信度^e(>)和数据项A巧的乘积计算像素点巧的优先权P(巧：
(4)。
[0026] 2、根据上述步骤1计算待修复区域边界m上像素点巧的优先权，确定最先修复的 待填充块。
[0027] 本发明使具有明显识别特征的待填充块拥有更高的优先级顺序，在被填充时能优 先于没有特征的待填充块。运里所说的具有明显识别特征是指明显结构或明显边缘点特 征，通过引入点梯度闷来说明结构的明显程度，梯度片I代表巧点周围点的像素值发生的变 化程度，而像素值变化程度越大说明该/^点周围颜色变化越明显，1驻|越大说明该点周围像 素值变化越大即可识别结构特征越明显。如图4所示，图中據3为所述具有明显识别特征的 待填充块，哈1为化C化M直进行选择的待填充块。图中黑色部分为图像中的结构部分，而结 构边缘部分出现了明显的像素值变化，即此处梯度|拓|较大，可识别特征较明显。
[0028] 3、捜索已知区域内的所有样本块，根据设定的匹配条件，寻找待填充块的最佳样 本块，包括：计算待填充块与已知区域内所有样本块（'^?片9^''1^^^??^的均值550距离（511111 of Squared Differences,差方和），W此均值SSD距离作为测量待填充块与每一样本块 之间的相似度，选择与待填充块的均值SSD距离最小的样本块作为与待填充块的最优匹 配快。
[0029] 其中，均值SSD距离是采用各颜色通道亮度的均值反映待填充块与样本块之间的 平均相似度，待填充块^,与任一样本块'^^(1=1-，^)的均值550距离为：
(5) 式中，京、豆、玄分别表示待填充块和样本块中各个像素点中不同颜色通道亮度的均 值，此公式中的所描述的样本块是在已知区域内W某一像素点结i为中屯、点，大小为9个像素 9个像素的矩形块，可W根据公式巧)分别计算待填充块与其它任一样本块的均值SSD距 离。
[0030] 4、提取最佳样本块的像素值，并计算最佳样本块中屯、像素点的置信度值。
[0031] 5、将最佳样本块对应的像素值复制到待填充块的相应位置，并将氏点处的置 信度更新成最佳样本块中屯、像素点的置信度值，此时形成新的待修复区域。
[0032] 6、执行上述步骤1~5,直到待修复区域全部填充完毕（如图5(a)和如图（b)所示 为修复图片的效果示意图）。
[0033] 如图6~7所示，综上所述，经过本发明的处理，可W看出，经过本发明处理使得 "dropping effect"效应得到了解决，因为边缘点的置信项的值不会再出现趋向于某一个 值的情况，尽管会出现负数但负数也是标量不影响所有边缘点置信度的排序，因此该效应 得到了很好的解决。而经过增加具有明显特征的待样本块的优先级也使得寻找最佳样本块 的效率和成功率更高，使算法具有了更好的修复结果。
[0034] 上述各实施例仅用于说明本发明，其中方法各个步骤等都是可W有所变化的，凡是 在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。
【主权项】
1. 一种基于块匹配的图像修复方法，包括以下步骤： 1) 计算待修复图像的待修复区域边界上任一像素点^的优先权，包括以下步骤： ① 将待修复图像分成已知区域φ和待修复区域Ω两部分为待修复区域Ω的边界； ② 计算待修复区域边界沿上任一像素点P的置信度值:矣⑵=+ ，式中，λ为固定常数，^为待修复块4为Sii与Φ相交区域的任一像素 点，当？点位于4ΠΦ区域内时CYgj默认为1，当#点位于6「I心区域内时9默认为〇; ③ 计算像素点P的数据项认^); ④ 计算像素点^的优先权八P) = ; 2) 根据所述步骤1)计算的像素点P的优先权，确定最先修复的待填充块； 3) 搜索已知区域内的所有样本块，根据设定的匹配条件，寻找待填充块的最佳样本块； 4) 提取最佳样本块的像素值，并计算最佳样本块中心像素点的置信度值； 5) 将最佳样本块对应的像素值复制到待填充块的相应位置，并将I点的置信度更新成 最佳样本块中心像素点的置信度值，形成新的待修复区域； 6) 执行上述步骤1)~5)，直到待修复区域全部填充完毕。2. 如权利要求1所述的一种基于块匹配的图像修复方法，其特征在于:所述步骤1)中λ 为固定常数(0.35)，用来扩大置信项的取值范围到负数，避免因置信项趋于0导致的修复失 败。3. 如权利要求1所述的一种基于块匹配的图像修复方法，其特征在于:所述步骤1)中昤丨 为巧的梯度量的绝对值，用来表示^的特征是否明显，具有明显特征的待填充块优先被填 充。4. 如权利要求1所述的一种基于块匹配的图像修复方法，其特征在于:所述步骤1)② 计算像素点於的置信项思力:=(C f(P)-』)+|/ρ|，用来表式待填充块的置信度。5. 如权利要求2所述的一种基于块匹配的图像修复方法，其特征在于:所述步骤1)③ 计算像素点P的数据项式中，表示像素点P处的等照度线向量， 、表示点A处的单位法向量，α_表示归一化因子。6. 如权利要求1或2或3或4所述的一种基于块匹配的图像修复方法，其特征在于:所述 步骤3)搜索已知区域内的所有样本块，根据SSD距离算法，寻找待填充块的最佳样本块并填 充。7. 如权利要求5所述的一种基于块匹配的图像修复方法，其特征在于:所述待填充块?^: #一择古+ii fth伙I /古? ? n B R亩fth智/入才4. 式中，宏、5、丟分别表示待填充块和样本块中各个像素点中不同颜色通道亮度的均值， 此公式中的所描述的样本块是在已知区域内以某一像素点绝为中心点的矩形块，$>表示 以边缘点^为中心的待匹配快，:1V表示以位与已知区域的所有点4为中心的样本块。
【文档编号】G06T5/50GK106023089SQ201610033146
【公开日】2016年10月12日
【申请日】2016年1月19日
【发明人】王静, 李旭峰, 刘红敏, 王志衡, 徐向阳
【申请人】河南理工大学