一种基于旋转及尺度空间拓展的图像修复方法
【专利摘要】一种基于旋转及尺度空间拓展的图像修复方法，包括：1)将破损图像分割为目标区域和信息区域；2)然后把破损图像下采样为5级高斯金字塔模型；3)对每一级金字塔图像采用指定次数的迭代，所述的每一级金字塔图像采用指定次数的迭代是，第5级进行15次迭代，以后每级迭代次数递减3次；4)对每个迭代进行最优匹配块搜索和信息填充，得到修复的图像。本发明引入旋转和尺度参数进行空间拓展和能量优化，不仅可以应用于图像修复问题，对于其他需要进行块匹配过程的算法，也可以利用本方法实现相应空间的拓展，优化搜索结果。
【专利说明】一种基于旋转及尺度空间拓展的图像修复方法
【技术领域】
[0001] 本发明涉及一种。特别是涉及一种基于旋转及尺度空间拓展的图像修复方法。
【背景技术】
[0002] 数字图像修复技术是计算机视觉领域的重要研宄课题，其主要研宄内容在于如何 利用图像中的已知信息对破损区域进行填充，最终保证修复图像的效果自然合理。该技术 在字幕、污点、划痕去除、老照片修复、影视特技、文物保护等领域都具有重要的意义和研宄 价值。
[0003] 数字图像修复的经典算法是Criminisi等提出的基于样本块的修复算法，该算法 利用置信度函数和结构性函数来确定修复的优先权函数，可实现大区域破损纹理图像的自 动修复。
[0004] 基于样本块的修复算法在修复图像结构时容易出现块效应和误匹配。国内外学者 通过结构优化、频域变换和使用马尔科夫随机场等方法来改善结构图像的修复效果，在保 持纹理信息修复效果的同时改善了结构信息的恢复，还有一些学者提出利用结构曲线来改 善结构修复效果。提出利用人机交互方案来解决图像结构的修复问题，通过人为干预，手动 添加匹配块的搜索范围，提高了结构图像修复质量和速度。
[0005] 现有方法局限于平移空间，当图像存在旋转和尺度变换的时候无法找到准确的最 优匹配块，修复效果不够理想。因此需要找到一种参数空间拓展和优化的方法，来完成尺度 和旋转图像的修复问题。
【发明内容】
[0006] 本发明所要解决的技术问题是，提供一种基于旋转及尺度空间拓展的图像修复方 法，其在修改能量函数的基础上利用基于patchmatch的快速匹配块搜索算法和LM优化参 数方法实现空间拓展，能够明显改善旋转和尺度信息的修复效果，弥补传统算法只能针对 平移空间搜索的局限性。
[0007] 本发明所采用的技术方案是：一种基于旋转及尺度空间拓展的图像修复方法，包 括如下步骤：
[0008] 1)将破损图像分割为目标区域和信息区域；
[0009] 2)然后把破损图像下采样为5级高斯金字塔模型；
[0010] 3)对每一级金字塔图像采用指定次数的迭代；
[0011] 4)对每个迭代进行最优匹配块搜索和信息填充，得到修复的图像。
[0012] 步骤3)中所述的每一级金字塔图像采用指定次数的迭代是，第5级进行15次迭 代，以后每级迭代次数递减3次。
[0013] 步骤4)中所述的最优匹配块搜索包括随机分配参数、LM优化传播和LM优化随机 搜索，所述的随机分配参数是对所有目标块随机分配一个匹配块，包含横纵坐标和尺度或 旋转参数；所述的LM优化传播和LM优化随机搜索，是在随机分配参数基础上进行100次迭 代搜索最优匹配块的过程。
[0014] 所述LM优化传播过程包括：
[0015] (1)奇数次迭代的时候传播过程首先考虑当前目标块上方和左方一个像素位置的 块的匹配块，将所述的匹配块的下方和右方的块作为当前目标块的待更新匹配块；偶数次 迭代时则选择目标块下方和右方一个像素位置的块匹配块，将所述的匹配块的上方和左方 的块作为当前目标块的待更新匹配块；
[0016] (2)对每个待更新匹配块进行LM优化；
[0017] (3)利用步骤（2)得到的最优的尺度或旋转参数更新最优匹配块。
[0018] 步骤⑵中所述的LM优化包括：
[0019] (a)设?= /(的为当前待更新匹配块\旋转Θ角度后对目标块&的估计，给定初 始角度Stl和目标块tn，误差函数定义为：
[0020]
【权利要求】
1. 一种基于旋转及尺度空间拓展的图像修复方法，其特征在于，包括如下步骤： 1) 将破损图像分割为目标区域和信息区域； 2) 然后把破损图像下采样为5级高斯金字塔模型； 3) 对每一级金字塔图像采用指定次数的迭代； 4) 对每个迭代进行最优匹配块搜索和信息填充，得到修复的图像。
2. 根据权利要求1所述的一种基于旋转及尺度空间拓展的图像修复方法，其特征在 于，步骤3)中所述的每一级金字塔图像采用指定次数的迭代是，第5级进行15次迭代，以 后每级迭代次数递减3次。
3. 根据权利要求1所述的一种基于旋转及尺度空间拓展的图像修复方法，其特征在 于，步骤4)中所述的最优匹配块搜索包括随机分配参数、LM优化传播和LM优化随机搜索， 所述的随机分配参数是对所有目标块随机分配一个匹配块，包含横纵坐标和尺度或旋转参 数；所述的LM优化传播和LM优化随机搜索，是在随机分配参数基础上进行100次迭代搜索 最优匹配块的过程。
4. 根据权利要求3所述的一种基于旋转及尺度空间拓展的图像修复方法，其特征在 于，所述LM优化传播过程包括： (1) 奇数次迭代的时候传播过程首先考虑当前目标块上方和左方一个像素位置的块的 匹配块，将所述的匹配块的下方和右方的块作为当前目标块的待更新匹配块；偶数次迭代 时则选择目标块下方和右方一个像素位置的块匹配块，将所述的匹配块的上方和左方的块 作为当前目标块的待更新匹配块； (2) 对每个待更新匹配块进行LM优化； (3) 利用步骤（2)得到的最优的尺度或旋转参数更新最优匹配块。
5. 根据权利要求4所述的一种基于旋转及尺度空间拓展的图像修复方法，其特征在 于，（2)中所述的LM优化包括： (a) 设丨=/(的为当前待更新匹配块\旋转0角度后对目标块、的估计，给定初始角 度9 〇和目标块〖"，误差函数定义为：
(b) 利用LM迭代算法寻找使得平方误差（e( 0))Te( 0 )达到最小时的最优旋转角度 Q，每次迭代都寻找新的S0，使S^满足：
则更新9 = 9 +S0，同时减小y为f_否则增加y为2y并重新求解公式（7)，直到 求得的S0满足公式（8)，更新0 = 0 +S0; 循环进行第（b)和（c)步，直到收敛到局部最优旋转参数。
6. 根据权利要求5所述的一种基于旋转及尺度空间拓展的图像修复方法，其特征在 于，当满足以下条件之一时停止迭代，并取当前0为最优旋转参数。 (1)公式（JTJ+uI)s0 =JT(tn-f(0)) =JTe右边项JTe低于阈值e丨=10_6; ⑵0的相对变化量S0低于阈值e2= 1(T6; ⑶误差项（e( 0))Te( 0 )低于某阈值e3= 1(T6; (4)迭代次数达到最大值kmax= 100。
7. 根据权利要求4所述的一种基于旋转及尺度空间拓展的图像修复方法，其特征在 于，步骤（3)具体是计算当前经过LM优化后的待更新匹配块和目标块中有效像素部分的最 小均方误差，如果所计算出的最小均方误差小于未经过LM优化的匹配块和目标块之间的 最小均方误差，则更新当前目标块的最优匹配块为待更新块，否则最优匹配块保持不变。
8. 根据权利要求3所述的一种基于旋转及尺度空间拓展的图像修复方法，其特征在 于，所述的LM优化随机搜索过程如下： (1)首先定义搜索半径： Ri+1 =wa1 (9) 式中，w是样本块的最大搜索半径，{a|〇〈a〈1}是搜索半径转换比率，i= 〇, 1，2,...，w取为不超过图像范围的最大值，a取0.5; ⑵以当前最优匹配块中心点为中心，{Ri+1|l〈Ri+1〈w}为半径的范围内随机选取候选块 作为待更新块，并对所述候选块使用LM优化传播过程中所述的LM优化方法更新尺度或旋 转参数，然后进行优化更新，具体是计算当前经过LM优化后的待更新匹配块和目标块中有 效像素部分的最小均方误差，如果所计算出的最小均方误差小于未经过LM优化的匹配块 和目标块之间的最小均方误差，则更新当前目标块的最优匹配块为待更新块，否则最优匹 配块保持不变。
9. 根据权利要求1所述的一种基于旋转及尺度空间拓展的图像修复方法，其特征在 于，步骤4)中所述的信息填充是采用均值填充方法，对所有破损区域中的像素确定所述像 素的值，所述像素值由该像素周围目标块的最优匹配块在该像素点处的像素值的均值决 定。
【文档编号】G06T5/20GK104484866SQ201410778875
【公开日】2015年4月1日 申请日期:2014年12月15日 优先权日:2014年12月15日
【发明者】何凯, 郑欢, 张丽莹, 吴春芳, 王新磊 申请人:天津大学