专利名称：图像修复方法和装置的制作方法
技术领域：
本发明涉及图像处理技术，特别是涉及一种图像修复方法和装置。
背景技术：
图像修复指的是对受到损坏的图像进行修复重建，使观察者看不出修复重建所得到的图像曾被修复过。传统的图像修复方法主要包括两类，一类是基于扩散的修复技术，利用传播机制将信息从未受损区域传播到待修复的区域；另一类是基于纹理合成的方法，在受损区域的周围寻找与受损区域边界像素较接近的像素块，然后将寻找得到的像素块在一定的结构约束下复制并抹去像素块之间的缝隙。传统的图像修复方法均是假设待修复的图像中各个图像块之间错位，即各个图像块之间存在着重叠区域。然而，在实际的图像修复过程中，图像块之间没有重叠区域的情况时有发生，因此，采用上述两种图像将无法适用于任意一个损坏的图像的修复。
基于此，又提出了一种图像修复方法，在该方法中，首先将没有重叠的图像块向外插值，使得这些图像块在外插区域重叠，然后对外插之后的图像块进行配准，实现没有重叠区域的图像修复。但是，对图像块向外插值是一种极其不精确的手段，通过外插区域进行配准将进一步地扩大了误差，并且，这一图像修复方法仅允许图像块的形状是方形的，因此，虽然能够实现没有重叠区域的图像修复，但是，也限制了该方法的应用，也不无保证图像修复的精确性。
发明内容
基于此，有必要针对传统的图像修复方法无法适用于任意一个损坏的图像的修复，且精确性不高的问题，提供一种能够适用于任意一个损坏的图像的修复，且提高精确性的图像修复方法。此外，还有必要提供一种能够适用于任意一个损坏的图像的修复，且提高精确性的图像修复系统。一种图像修复方法，包括如下步骤:处理初始配准的图像块得到图像块之间的连接曲线；通过所述连接曲线构造待修复图像的环绕场；通过极小化连接曲线在环绕场中的能量对图像块进行配准；对所述配准后的图像块进行图像填充得到修复后的图像。在其中一个实施例中，所述对所述初始配准的图像块进行处理得到图像块之间的连接曲线的步骤为:获取初始配准的图像块，所述图像块来自待修复的图像；沿所述初始配准的图像块边缘向里获取得到所述图像块中的突出曲线；根据所述突出曲线得到相互关联的突出曲线，并得到介于所述相互关联的突出曲线之间的连接曲线。在其中一个实施例中，所述通过所述连接曲线构造待修复图像的环绕场的步骤为:从待修复图像的曲线整体中提取第一最长曲线整体，为所述第一最长曲线整体赋予方向；以已有方向的曲线整体作为狄利克雷边界条件进行调和向量场的求解；逐一对无方向的曲线整体提取第二最长曲线整体，根据所述已有方向的曲线整体的调和向量场确定所述第二最长曲线整体的方向，直至无方向的曲线整体均被赋予方向；通过求解所有曲线整体的调和向量场得到环绕场的方向部分，并根据相互关联的突出曲线数量以及突出曲线的投影计算得到环绕场的大小部分。在其中一个实施例中，所述通过极小化连接曲线在环绕场中的能量对图像块进行配准的步骤为:通过极小化连接曲线在环绕场中的能量求解得到图像块所对应的变换，根据所述图像块对应的变换得到连接曲线的变换位置和角度，按照所述连接曲线的变换位置和角度配准图像块。在其中一个实施例中，所述对所述配准后的图像块进行图像填充得到修复后的图像的步骤为:通过连接曲线对配准后的图像块进行结构填充；
对结构填充之后的图像块进行纹理合成得到修复后的图像。在其中一个实施例中，所述通过连接曲线对配准后的图像块进行结构填充的步骤为:将连接曲线离散化得到有序点集；从所述有序点集中提取第一子集，所述第一子集包括所有位于图像块之间的间隙上的点；从所述有序点集中提取与所述第一子集的颜色差最小的第二子集，所述第二子集的长度与所述第一子集的长度相当；将所述第二子集的像素带变形并复制到第一子集中，并将第一子集的像素与周围像素融合。一种图像修复装置，包括:处理模块，用于处理初始配准的图像块得到图像块之间的连接曲线；环绕场构造模块，用于通过所述连接曲线构造待修复图像的环绕场；配准模块，用于通过极小化连接曲线在环绕场中的能量对图像块进行配准；填充模块，用于对所述配准后的图像块进行图像填充得到修复后的图像。在其中一个实施例中，所述处理模块包括:图像块获取单元，用于获取初始配准的图像块，所述图像块来自待修复的图像；突出曲线获取单元，用于沿所述初始配准的图像块边缘向里获取得到所述图像块的突出曲线；连接曲线获取单元，用于根据所述突出曲线得到相互关联的突出曲线，并得到介于所述相互关联的突出曲线之间的连接曲线。
在其中一个实施例中，所述环绕场构造模块包括:第一提取单元，用于从待修复图像的曲线整体中提取第一最长曲线整体，为所述第一最长曲线整体赋予方向；向量场求解单元，用于以已有方向的曲线整体作为狄利克雷边界条件进行调和向量场的求解；循环单元，用于逐一对无方向的曲线整体提取第二最长曲线整体，根据所述已有方向的曲线整体的调和向量场确定所述第二最长曲线整体的方向，直至无方向的曲线整体均被赋予方向；环绕场形成单元，用于通过求解所有曲线整体的调和向量场得到环绕场的方向部分，并根据相互关联的突出曲线数量以及突出曲线的投影计算得到环绕场的大小部分。在其中一个实施例中，所述配准模块还用于通过极小化连接曲线在环绕场中的能量求解得到图像块所对应的变换，根据所述图像块对应的变换得到连接曲线的变换位置和角度，按照所述连接曲线的变换位置和角度配准图像块。在其中一个实施例中，所述填充模块包括:结构填充单元，用于通过连接曲线对配准后的图像块进行结构填充；纹理合成单元，用于对结构填充之后的图像块进行纹理合成得到修复后的图像。在其中一个实施例中,所述结构填充单元包括:离散化单元，用于将连接曲线离散化得到有序点集；
第一子集提取单元，用于从所述有序点集中提取第一子集，所述第一子集包括所有位于图像块之间的间隙上的点；第二子集提取单元，用于从所述有序点集中提取与所述第一子集的颜色差最小的第二子集，所述第二子集的长度与第一子集的长度相当；融合单元，用于将所述第二子集的像素带变形并复制到第一子集中，并将第一子集的像素与周围像素融合。上述图像修复方法和装置，对初始配准的图像块进行处理得到图像块之间的连接线，通过连接线构造得到待修复图像的环绕场，通过极小化连接曲线在环绕场中的能量对图像块进行配准，进而对配准后的图像块进行图像填充得到修复后的图像，由于图像块的配准不需要图像块之间存在重叠区域，并且通过极小化连接曲线在环绕场的能量的方式在数值优化的基础上实现了精确配准，所以能够适用于任意一个损坏的图像的修复，且提高了修复的精确性。
图1为一个实施例中图像修复方法的流程图；图2为图1中处理初始配准的图像块得到图像块之间的连接曲线的方法流程图；图3a为一个实施例中初始配准的图像块的示意图；图3b为图3a中提取的突出曲线示意图；图3c为图3b中连接曲线的示意图；图3d为通过图3c构造的环绕场示意图；图3e为配准的图像块示意图3f为填充后的图像块示意图；图4为图2中沿初始配准的图像块边缘向里获取得到图像块中的突出曲线的方法流程图；图5a为一个实施例中相互关联的突出曲线示意图；图5b为图5a中进行的距离计算示意图；图5c为图5b中形成的关联集合示意图；图5d为通过图5c的关联集合进行筛选所得到的相互关联的突出曲线示意图；图6为一个实施例中通过鲁棒算法找出突出曲线中起始点的对应关系的方法流程图；图7为图1中通过连接曲线构造待修复图像的环绕场的方法流程图；图8a为一个实施例中配准之间的图像块示意图；图8b为与图8a对应的配准后的图像块示意图；图9为图1中对配准后的图像块进行图像填充得到修复后的图像的方法流程图；图10为图9中通过连接曲线对配准后的图像块进行结构填充的方法流程图；图11为图10中结构填充示意图；图12为一个实施例中图像修复装置的结构示意
图13为图12中处理模块的结构示意图；图14为图13中突出曲线获取单元的结构示意图；图15为图13中连接曲线获取模块的结构示意图；图16为图12中环绕场构造模块的结构示意图；图17为图12中填充模块的结构示意图；图18为图17中结构填充单元的结构示意图。
具体实施例方式如图1所示，在一个实施例中，一种图像修复方法，包括如下步骤:步骤SI 10，处理初始配准的图像块得到图像块之间的连接曲线。本实施例中，初始配准的图像块是来自于待修复图像的图像碎片，这些初始配准的图像块即形成了待修复的图像。具体的，初始配准的图像块是用户对图像块所进行的大致摆布。对初始配准的图像块进行处理所得到的连接曲线介于图像块之间所存在的间隙中，用于相联关系处于破碎状态的图像块。步骤S130,通过连接曲线构造待修复图像的环绕场。本实施例中，环绕场包括大小部分和方向部分，可用于标记待修复图像中曲线的能量大小及其方向。步骤S150，通过极小化连接曲线在环绕场中的能量对图像块进行配准。本实施例中，对一定的优化算法来极小化连接曲线在环绕场中的能量，进而在这一数值优化的基础上得以保证连接曲线在环绕场中的能量至少收敛到局部最优结果，通过极小化后的连接曲线实现图像块的配准，进而使得图像块的配准不会发生偏离，提高待修复图像中配准的精确性。配准图像块所应用的优化算法可以是最速下降法、牛顿法以及BFGS算法，在此，不进行列举。例如，最速下降法又称为梯度法，是在求解极小化连接曲线在环绕场中的能量这一无约束化问题时，简单沿着梯度的负方向来搜索最优值；牛顿法是利用目标函数的梯度和海塞矩阵所构成的二次函数来寻找极值，每一步之后还将再次计算新的二次函数来进行寻优。步骤S170，对配准后的图像块进行图像填充得到修复后的图像。本实施例中，对配准后的图像块之间存在的间隙进行填充，以使得若干个图像块形成完整的图像。上述图像修复方法，可对二维的破碎图像进行修复，也可对三维的破碎图像进行修复，在此不再赘述。如图2所示,在一个实施例中，上述步骤SllO包括:步骤S111，获取初始配准的图像块，该图像块来自待修复的图像。本实施例中，破·碎的图像中的若干个图像块通过用户触发的操作进行粗糙的初始配准，以得到初始配准的图像块，如图3a所示。步骤S113，沿初始配准的图像块边缘向里获取得到图像块中的突出曲线。本实施例中，通过一定的算法或交互的手段进行图像块中线段，即突出曲线的提取，例如，由用户交互输入的智能剪刀方法或者计算图像块中突出曲线的方法。其中，智能剪刀法是获取用户在图像上点集的一系列种子点，通过在相邻的种子点之间求取能量最小路径来自动连接种子点，以最终得到相应的曲线，该曲线即为突出曲线，如图3b所示。此外，在优选的实施例中，将通过保边滤波、求偏导、边界提取以及对边界的处理等算法计算得到突出曲线。如图4所示,在一个实施例中，上述步骤S113包括:步骤S1131，对初始配准的图像块进行保边滤波，并求偏导得到每一图像块对应的梯度图。本实施例中，用以实现保边滤波的算法可以是加权最小二乘滤波、各向异性扩散、鲁棒光滑和双边滤波等，在此不一一进行列举。通过上述任一算法对经过初始配准的每一个图像块进行保边滤波，并通过保边滤波后的图像块求偏异得到各个图像块所对应的梯度图。步骤S1133，标记图像块的边界，根据图像块对应的梯度图得到标记的边界上的梯度峰值点。本实施例中，对每一图像块进行边界提取，并标记所提取的边界。具体的，将假设经过初始配准的图像块是处于白色背景之下的，此时，通过应用一定的边界提取算法即可实现图像块边界的提取。例如，所应用的边界提取算法可以是较为简单的二值分割法或者动态轮廓法。步骤S1135，以边界上的梯度峰值点为起点进行曲线探测得到相应的曲线，该曲线形成待修复图像的曲线集合。本实施例中，沿着图像块的边界找出梯度的峰值点，进而以这些峰值点作为起点，沿着梯度值最大的方向向图像块内部探测若干步得到相应的曲线，此时，所得到的曲线为多个，以形成待修复图像所对应的曲线集合。
步骤S1137，从曲线集合中提取突出曲线。本实施例中，计算曲线集合中每一曲线所对应的评分，即score (s) =Ien (s)+grad(s)+orth(s)-curv(s),其中，Ien (s)表示曲线长度，grad(s)表示曲线上的所有像素点的梯度值之和，orth(s)表示曲线在其起始点出与边界切线的夹角的正弦值，curv(s)表示曲线上的平均曲率，并且上述四项都要除以相应的最大值以保证取值自己的取值范围为
通过计算得到的评分对曲线集合中的曲线进行过滤，以得到突出曲线。具体的，在计算得到曲线集合中每一曲线所对应的评分之后，将判断计算得到的评分是否大于阈值，若否，则舍弃相应的曲线，若是则保留相应的曲线，而最终保留的曲线即为突出曲线。一实施例中，该阈值可设置为1.0。步骤S115，根据突出曲线得到相互关联的突出曲线，并得到介于相互关联的突出曲线之间的连接曲线。本实施例中 ，相互关联的突出曲线是处于不同图像块上起始点之间存在着对应关系的突出曲线，用于连接两条相互关联的突出曲线的曲线即为连接曲线，并且，连接曲线也是连接两个图像块的曲线，处于图像块之间的间隙上，如图3c所示。此时，通过上述步骤S130所构造得到的待修复图像的环绕场如图3d所示，通过上述步骤S150极小化连接曲线在环绕场中的能量以配准得到的图像块如图3e所示，进而通过相应的填充即可得到如图3f所示的完整图像，实现了无重叠区域也能够真实地恢复破碎的图像，提高了图像修复的精确性。在一个实施例中，上述步骤SI 15包括:通过鲁棒算法找出突出曲线中起始点的对应关系，存在对应关系的起始点位于不同突出曲线上，存在对应关系的起始点所在的突出曲线分别位于不同的图像块上。本实施例中，上述存在对应关系的起始点所在的突出曲线即为相互关联的突出曲线，介于相互关联的突出曲线之间的曲线即为连接曲线。在优选的实施例中，连接曲线为埃米尔特曲线，如图5a所框选的突出曲线即为相互关联的突出曲线。对待修复图像的若干个突出曲线进行配对，以得到存在着对应关系的起始点，而存在着对应关系的起始点所在的突出曲线即为相互关联的突出曲线，进而通过光滑的埃米尔特曲线连接两条相互关联的突出曲线，该埃米尔特曲线即为连接曲线，连接曲线穿过图像块之间的间隙连接两个图像块。如图6所示,在一个实施例中，上述通过鲁棒算法找出突出曲线中起始点的对应关系的步骤包括:步骤S1151，根据突出曲线构建待修复图像的标量场。本实施例中，待修复图像的标量场可通过如下公式构建:
权利要求
1.一种图像修复方法，包括如下步骤: 处理初始配准的图像块得到图像块之间的连接曲线； 通过所述连接曲线构造待修复图像的环绕场； 通过极小化连接曲线在环绕场中的能量对图像块进行配准； 对所述配准后的图像块进行图像填充得到修复后的图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述初始配准的图像块进行处理得到图像块之间的连接曲线的步骤为: 获取初始配准的图像块，所述图像块来自待修复的图像； 沿所述初始配准的图像块边缘向里获取得到所述图像块中的突出曲线； 根据所述突出曲线得到相互关联的突出曲线，并得到介于所述相互关联的突出曲线之间的连接曲线。
3.根据权利要求1所述的方法，其特征在于，所述通过所述连接曲线构造待修复图像的环绕场的步骤为: 从待修复图像的曲线整体中提取第一最长曲线整体，为所述第一最长曲线整体赋予方向； 以已有方向的曲线整体作为狄利克雷边界条件进行调和向量场的求解； 逐一对无方向的曲线 整体提取第二最长曲线整体，根据所述已有方向的曲线整体的调和向量场确定所述第二最长曲线整体的方向，直至无方向的曲线整体均被赋予方向； 通过求解所有曲线整体的调和向量场得到环绕场的方向部分，并根据相互关联的突出曲线数量以及突出曲线的投影计算得到环绕场的大小部分。
4.根据权利要求1所述的方法，其特征在于，所述通过极小化连接曲线在环绕场中的能量对图像块进行配准的步骤为: 通过极小化连接曲线在环绕场中的能量求解得到图像块所对应的变换，根据所述图像块对应的变换得到连接曲线的变换位置和角度，按照所述连接曲线的变换位置和角度配准图像块。
5.根据权利要求1所述的方法，其特征在于，所述对所述配准后的图像块进行图像填充得到修复后的图像的步骤为: 通过连接曲线对配准后的图像块进行结构填充； 对结构填充之后的图像块进行纹理合成得到修复后的图像。
6.根据权利要求5所述的方法，其特征在于，所述通过连接曲线对配准后的图像块进行结构填充的步骤为: 将连接曲线离散化得到有序点集； 从所述有序点集中提取第一子集，所述第一子集包括所有位于图像块之间的间隙上的占.从所述有序点集中提取与所述第一子集的颜色差最小的第二子集，所述第二子集的长度与所述第一子集的长度相当； 将所述第二子集的像素带变形并复制到第一子集中，并将第一子集的像素与周围像素融合。
7.—种图像修复装置，其特征在于，包括:处理模块，用于处理初始配准的图像块得到图像块之间的连接曲线； 环绕场构造模块，用于通过所述连接曲线构造待修复图像的环绕场； 配准模块，用于通过极小化连接曲线在环绕场中的能量对图像块进行配准； 填充模块，用于对所述配准后的图像块进行图像填充得到修复后的图像。
8.根据权利要求7所述的装置，其特征在于，所述处理模块包括: 图像块获取单元，用于获取初始配准的图像块，所述图像块来自待修复的图像； 突出曲线获取单元，用于沿所述初始配准的图像块边缘向里获取得到所述图像块的突出曲线； 连接曲线获取单元，用于根据所述突出曲线得到相互关联的突出曲线，并得到介于所述相互关联的突出曲线之间的连接曲线。
9.根据权利要求7所述的装置，其特征在于，所述环绕场构造模块包括: 第一提取单元 ，用于从待修复图像的曲线整体中提取第一最长曲线整体，为所述第一最长曲线整体赋予方向； 向量场求解单元，用于以已有方向的曲线整体作为狄利克雷边界条件进行调和向量场的求解； 循环单元，用于逐一对无方向的曲线整体提取第二最长曲线整体，根据所述已有方向的曲线整体的调和向量场确定所述第二最长曲线整体的方向，直至无方向的曲线整体均被赋予方向； 环绕场形成单元，用于通过求解所有曲线整体的调和向量场得到环绕场的方向部分，并根据相互关联的突出曲线数量以及突出曲线的投影计算得到环绕场的大小部分。
10.根据权利要求7所述的装置，其特征在于，所述配准模块还用于通过极小化连接曲线在环绕场中的能量求解得到图像块所对应的变换，根据所述图像块对应的变换得到连接曲线的变换位置和角度，按照所述连接曲线的变换位置和角度配准图像块。
11.根据权利要求7所述的装置，其特征在于，所述填充模块包括: 结构填充单元，用于通过连接曲线对配准后的图像块进行结构填充； 纹理合成单元，用于对结构填充之后的图像块进行纹理合成得到修复后的图像。
12.根据权利要求11所述的装置，其特征在于，所述结构填充单元包括: 离散化单元，用于将连接曲线离散化得到有序点集； 第一子集提取单元，用于从所述有序点集中提取第一子集，所述第一子集包括所有位于图像块之间的间隙上的点； 第二子集提取单元，用于从所述有序点集中提取与所述第一子集的颜色差最小的第二子集，所述第二子集的长度与第一子集的长度相当； 融合单元，用于将所述第二子集的像素带变形并复制到第一子集中，并将第一子集的像素与周围像素融合。
全文摘要
本发明提供了一种图像修复方法和装置。所述方法包括处理初始配准的图像块得到图像块之间的连接曲线；通过所述连接曲线构造待修复图像的环绕场；通过极小化连接曲线在环绕场中的能量对图像块进行配准；对所述配准后的图像块进行图像填充得到修复后的图像。所述装置包括处理模块，用于处理初始配准的图像块得到图像块之间的连接曲线；环绕场构造模块，用于通过所述连接曲线构造待修复图像的环绕场；配准模块，用于通过极小化连接曲线在环绕场中的能量对图像块进行配准；填充模块，用于对所述配准后的图像块进行图像填充得到修复后的图像。采用本发明能够适用于任意一个损坏的图像的修复，且提高精确性。
文档编号G06T5/00GK103218785SQ20131013836
公开日2013年7月24日 申请日期2013年4月19日 优先权日2013年4月19日
发明者黄惠, 尹康学, 龚明伦, 陈宝权, 汪云海 申请人:中国科学院深圳先进技术研究院