专利名称：图像修复方法及装置的制作方法
技术领域：
本发明涉及图片处理领域，具体而言，涉及一种图像修复方法及装置。
背景技术：
基于纹理合成的图像修复方法由于可以对较大的损坏区域进行有效修复，是当前图像修复方法的主流。上述方法将图像未丢失信息作为推导图像丢失信息的训练集，在训练集中寻找最匹配的样本按照一定的顺序填入图像空白区，实现图像的有效修复。其中，图像块的填充顺序是根据待填补区域附近已知像素包含结构成分的多少来确定的，先填补包含结构的区域，再填补平坦区域。这种先填补结构再填补平坦区域的修复顺序加强了图像结构的修复效果。纹理合成图像修复方法对纹理填充的顺序和纹理匹配的结果具有很强的依赖性， 而且结构趋势的很好延伸，需要准确定位结构的位置，但当损坏区域轮廓附近的颜色发生突变时，轮廓附近的已知像素的结构不太容易准确定位。同时在图像块匹配时，由于损坏区域不包含任何有用信息，因此，不能作为匹配的依据，这时的匹配结果可能引入了不合理的颜色或结构，造成错误结果的繁殖，修复结果不自然。目前针对相关技术的图像修复过程，由于结构定位准确性差以及图像块匹配时引入的颜色和结构的准确差导致图像修复结果不准确的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术的图像修复过程，由于结构定位准确性差以及图像块匹配时引入的颜色和结构的准确差导致图像修复结果不准确的问题，目前尚未提出有效的问题而提出本发明，为此，本发明的主要目的在于提供一种图像修复方法及装置，以解决上述问题。为了实现上述目的，根据本发明的一个方面，提供了一种图像修复方法，该方法包括步骤A，由外向内获取图像损坏区域的第一层待修补区域，并读取与第一层待修补区域相邻的已知图像区域的结构信息和颜色；步骤B，根据已知图像区域的结构信息和颜色对第一层待修补区域进行梯度分析和颜色估计，得到第一层待修补区域的梯度信息和颜色； 步骤C，将第一层待修补区域的梯度信息和颜色作为初始值延伸至第一层待修补区域；步骤D，根据初始值对第一层带修补区域进行纹理合成修复，以获取第一修补结果；步骤EJf 第一修补结果作为已知图像区域循环执行步骤A至步骤D，直到修复图像损坏区域。进一步地，读取与第一层待修补区域相邻的已知图像区域的结构信息和颜色包括读取与第一修补区域中的待修补点j相邻的一个或多个已知点i的梯度信息，梯度信息包括梯度幅值和梯度方向。进一步地，步骤B包括步骤Bi，根据与待修补点j相邻的每一个已知点i的梯度幅值和梯度方向，来确定待修补点j的梯度信息；步骤B2，通过将待修补点j的梯度信息与每一个已知点i的梯度信息进行比较，来获取待修补点j与每一个已知点i之间的结构相似度；步骤B3，根据获取到的结构相似度为每一个已知点i确定对应的颜色权值，并使用颜色权值对每一个已知点加权，最后求加权平均值作为待修补点j的颜色，估计完颜色的点作为其他待修补点的已知点；步骤B4，按照待修补区域由外而内的顺序，遍历第一层带修补区域中的每一个待修补点，对每一个待修补点执行步骤B2至B3，直至获取第一层待修补区域的所有梯度信息和颜色。进一步地，步骤Bl包括获取待修补点j与其相邻的每一个已知点i之间的位置权值Wdis和梯度入射权值wgMd ；根据位置权值Wdis和梯度入射权值wgMd，来获取每一个已知点i的梯度权值w ；将梯度权值w加权至对应的已知点i的梯度幅值上，以获取每一个已知点i的梯度幅值加权结果；采用直方图统计算法来统计所有已知点i各个方向上累加的梯度幅值加权结果，并取直方图中强度最大的方向为待修补点j的梯度方向，并将直方图主方向上参与加权梯度幅值累加的最大已知点梯度幅值作为待修补点j的梯度幅值。进一步地，通过如下公式获取每一个已知点i的梯度权值w = wdis*wgMd，其中， Wdis为位置权值，Wgrad表征结构入射权值。进一步地，通过如下公式获取待修补点j与其相邻的每一个已知点i之间的梯度
Gradi norm · ij
入射权值W -^^其中，—滅梯度，严
梯度顺时针旋转90度的法向向量，该向量与点i处的结构趋势方向是一致的。WgMd即为 Gradi—norm与g的夹角余弦。进一步地，与第一层待修补区域相邻的已知图像区域包括梯度信息可靠点和梯度信息非可靠点，其中，在步骤Bl之前，方法还包括基于与上述实施例中的梯度估计处理步骤来估计得到非可靠点的梯度信息；将可靠点和已经估计得到梯度信息的非可靠点作为已知点，来构成已知图像区域。进一步地，步骤D包括以第一层待修补区域的初始值作为已知信息，进而获取第一层待修补区域轮廓中各个待修补点的修补顺序优先级；按照修补优先级，将初始值与第一层待修补区域相邻的已知图像区域进行图像块匹配，以获取与初始值匹配的图像块；将得到的图像块替换初始值，以获取第一修补结果。为了实现上述目的，根据本发明的另一方面，提供了一种图像修复显示装置，该装置包括读取模块，用于由外向内获取图像损坏区域的第一层待修补区域，并读取与第一层待修补区域相邻的已知图像区域的结构信息和颜色；估计模块，用于根据已知图像区域的结构信息和颜色对第一层待修补区域进行梯度分析和颜色估计，得到第一层待修补区域的梯度信息和颜色；延伸模块，用于将第一层待修补区域的梯度信息和颜色作为初始值延伸至第一层待修补区域；修复模块，用于根据初始值对第一层带修补区域进行纹理合成修复，以获取第一修补结果；循环模块，用于将第一修补结果作为已知图像区域循环执行读取模块至修复模块，直到修复图像损坏区域。进一步地，当读取模块用于读取与第一修补区域中的待修补点j相邻的一个或多个已知点i的梯度信息情况下，梯度信息包括梯度幅值和梯度方向，估计模块包括第一估计模块，用于根据与待修补点j相邻的每一个已知点i的梯度幅值和梯度方向，来确定待修补点j的梯度信息；第二估计模块，用于通过将待修补点j的梯度信息与每一个已知点i的梯度信息进行比较，来获取待修补点j与每一个已知点i之间的结构相似度，并根据获取到的结构相似度为每一个已知点i确定对应的颜色权值，并使用颜色权值对每一个已知点加权，最后求加权平均值作为所述待修补点j的颜色，估计完颜色的点作为其他待修补点的已知点；遍历模块，用于按照待修补区域由外而内的顺序，遍历第一层带修补区域中的每一个待修补点，对每一个待修补点执行第一估计模块和第二估计模块，直至获取第一层待修补区域的所有梯度信息和颜色。进一步地，第一估计模块包括第一获取模块，用于获取待修补点j与其相邻的每一个已知点i之间的位置权值Wdis和梯度入射权值Wgrad ；第二获取模块，用于根据位置权值 Wdis和梯度入射权值Wgrad，来获取每一个已知点i的梯度权值W ；加权模块，用于将梯度权值 W加权至对应的已知点i的梯度幅值上，以获取每一个已知点i的梯度幅值加权结果；统计模块，用于采用直方图统计算法来统计所有已知点i各个方向上累加的梯度幅值加权结果，并取直方图中强度最大的方向为所述待修补点j的梯度方向，并将直方图主方向上参与加权梯度幅值累加的最大已知点梯度幅值作为所述待修补点j的梯度幅值。进一步地，修复模块包括第三获取模块，用于以第一层待修补区域的初始值作为已知信息，进而获取第一层待修补区域轮廓中各个待修补点的修补顺序优先级；匹配模块， 用于按照修补优先级，将初始值与第一层待修补区域相邻的已知图像区域进行图像块匹配，以获取与初始值匹配的图像块；替换模块，用于将得到的图像块替换初始值，以获取第一修补结果。通过本发明，采用步骤A，由外向内获取图像损坏区域的第一层待修补区域，并读取与第一层待修补区域相邻的已知图像区域的结构信息和颜色；步骤B，根据已知图像区域的结构信息和颜色对第一层待修补区域进行梯度分析和颜色估计，得到第一层待修补区域的梯度信息和颜色；步骤C，将第一层待修补区域的梯度信息和颜色作为初始值延伸至第一层待修补区域；步骤D，根据初始值对第一层带修补区域进行纹理合成修复，以获取第一修补结果；步骤E，将第一修补结果作为已知图像区域循环执行步骤A至步骤D，直到修复图像损坏区域，解决了相关现有技术的图像修复过程，由于结构定位准确性差以及图像块匹配时引入的颜色和结构的准确差导致图像修复结果不准确的问题，进而实现更准确的定位重要的结构区域，同时提高块匹配的准确性，减少错误信息的引入和繁殖的效果。
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中图1是根据本发明实施例的图像修复装置的结构示意图；图2是根据图1所示实施例的待修补点的梯度入射权值的结构分析示意图；图3是根据本发明实施例的图像修复方法的流程图；图4是根据图1所示实施例的图像修复方法的详细流程图；图5是根据图1所示实施例的初始值更新的流程示意6是根据图1所示实施例的基于合成图像修复的流程示意图；以及图7a _7d是根据本发明所示实施例的具体修复实例的示意图。
具体实施例方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。图1是根据本发明实施例的图像修复装置的结构示意图；图2是根据图1所示实施例的待修补点的梯度入射权值的结构分析示意图。如图1所示，该图像修复装置包括读取模块10，用于由外向内获取图像损坏区域的第一层待修补区域，并读取与第一层待修补区域相邻的已知图像区域的结构信息和颜色；估计模块30，用于根据已知图像区域的结构信息和颜色对第一层待修补区域进行梯度分析和颜色估计，得到第一层待修补区域的梯度信息和颜色；延伸模块50，用于将第一层待修补区域的梯度信息和颜色作为初始值延伸至第一层待修补区域；修复模块70，用于根据初始值对第一层带修补区域进行纹理合成修复，以获取第一修补结果；循环模块90，用于将第一修补结果作为已知图像区域循环执行读取模块至修复模块，直到修复图像损坏区域。本申请上述实施例通过由外向内的顺序对图像损坏区域一层层进行修复。在对图像损坏区域的每一个图像层的待修补区域进行填补之前，首先对该层的待修补区域轮廓附近的已知颜色和结构信息进行分析，将图像结构的大概趋势和颜色尽可能延伸到待填补区域内，以此结果作为一个初始值。然后在该初始值的基础上进行纹理合成图像修复，并将其作为最终的修复结果。修复后的层作为已知内容，按照上述过程继续完成内部各层的修复， 可以更准确定位重要的结构区域，同时提高块匹配的准确性，减少错误信息的引入和繁殖。具体的修复过程中的结构信息分析，是采用分析未损坏图像梯度，按照逐点迭代的方式得到损坏区域的一个可以保持结构趋势，并且颜色合理的初始值。然后以此为基础进行纹理合成修复的思路。本申请上述实施例中，当读取模块10用于读取与第一修补区域中的待修补点j相邻的一个或多个已知点i的梯度信息情况下，梯度信息可以包括梯度幅值和梯度方向，其中，估计模块30可以包括第一估计模块301，用于根据与待修补点j相邻的每一个已知点 i的梯度幅值和梯度方向，来确定待修补点j的梯度信息；第二估计模块302，用于通过将待修补点j的梯度信息与每一个已知点i的梯度信息进行比较，来获取待修补点j与每一个已知点i之间的结构相似度，并根据获取到的结构相似度为每一个已知点i确定对应的颜色权值，并使用颜色权值对每一个已知点加权，最后求加权平均值作为所述待修补点j的颜色，估计完颜色的点作为其他待修补点的已知点；遍历模块303，用于按照待修补区域由外而内的顺序，遍历第一层带修补区域中的每一个待修补点，对每一个待修补点执行第一估计模块301和第二估计模块302，直至获取第一层待修补区域的所有梯度信息和颜色。该实施例中的估计模块用于计算初始值，对该层待修补区域轮廓附近的已知颜色和结构信息进行分析，将图像结构的大概趋势和颜色尽可能延伸到待填补区域内，以此结果作为一个初始值。优选地，上述实施例中的第一估计模块301可以包括第一获取模块，用于获取待修补点j与其相邻的每一个已知点i之间的位置权值Wdis和结构入射权值wgMd ；第二获取模块，用于根据位置权值Wdis和梯度入射权值wgMd，来获取每一个已知点i的梯度权值w ；加权模块，用于将梯度权值w加权至对应的已知点i的梯度幅值上，以获取每一个已知点i的梯度幅值加权结果；统计模块，用于采用直方图统计算法来统计所有已知点i各个方向上累加的梯度幅值加权结果，并取直方图中强度最大的方向为所述待修补点j的梯度方向，并将直方图主方向上参与加权梯度幅值累加的最大已知点梯度幅值作为所述待修补点j的梯度幅值。本申请上述实施例中计算初始值的过程引入了梯度分析，主要目的是保留原始图像的趋势信息，即根据已知图像区域中的像素点的梯度幅值及梯度方向信息，来依据一定规则，设计该像素点的颜色加权模板内的权值系数。具体的，如图2所示，通过已知图像区域中已知点i的梯度信息和颜色来估计得到与其相邻的待修补区域中的待修补点j的梯度信息，即待修补点j的梯度需要根据其附近的多个已知点i的梯度进行估计。首先，计算图像损坏区域轮廓外代表趋势结构信息的一个或多个已知点的梯度幅值及方向，并根据每一个已知点与待修补点的距离和梯度方向 (梯度法向与图像结构平行)上指向当前待修补点的已知点的数目，为每一已知点设置一个梯度权值W = wdis*WgMd，其中，Wdis为位置权值，即表示当前已知点与待修补点之间坐标位置的距离，当已知点i距离待修补点j越近则权值W越大，Wgrad表征结构入射权值。
Gvcxdi τιοτ η · ij上述实施例中wS = ρ ‘ ,Y，其中，为i点梯度信息，
Lrraai norm η———-
—Gram
Gradjporn为i点梯度顺时针旋转90度的法向向量，该向量与点i处的结构趋势方向是一致的。wgMd即为Gradjjiorn与g的夹角余弦。利用上述梯度分析得到的权值w对领域内各已知点的梯度幅值进行加权，采用直方图统计统计梯度的主要方向，以该方向为梯度待估计的待修补点的梯度方向，并取主方向中参与累加的最大梯度幅值为梯度待估计点的梯度幅值。按照上述方法，估计梯度不可靠的已知点和待修补点的梯度。梯度分析与估计结束以后，然后根据待估计的待修补点的梯度与其邻域内其他已知点的梯度的夹角余弦来度量点点之间结构的相似性，并以此作为颜色权值，得到待修补点的颜色权值。优选地，由于靠近图像待填补区域轮廓附近的已知像素的梯度是在一个范围内计算的，可能包含损坏信息，即已知图像区域中的已知点部分是可靠点，也包括了包含损坏信息的不可靠点，不可靠点的存在会导致梯度的计算不准确。本申请中不可靠点的梯度信息可以根据附近的可靠点的梯度信息进行估计，具体过程与上述根据已知点估计待修补点的流程相同，具体的，首先计算图像损坏区域轮廓外代表趋势结构信息的可靠点的梯度幅值及方向，并根据各个可靠点与梯度待估计的非可靠点的距离的远近，和梯度法向(梯度法向与图像结构平行)指向当前非可靠点的数目，为可靠点设置一个梯度权值模板对领域的梯度幅值加权，并用同样的方式估计得到每一个待修补点的梯度幅值和梯度方向，以及颜色的估计值，并将他们延伸到待修补区域中。在完成上述待修补点的估计之后，执行颜色估计和迭代计算过程，具体的，对当前层上的每个点采用梯度分析得到的颜色权值，并以此估计该点的颜色，估计的结果作为已知像素成为靠近他的损坏点得修复依据。如此反复迭代的对当前层每个损坏点执行梯度分析和颜色估计过程，直到完成当前层所有损坏点得估计。本申请上述实施例中的修复模块70可以包括第三获取模块701，用于以第一层
9待修补区域的初始值作为已知信息，进而获取第一层待修补区域轮廓中各个待修补点的修补顺序优先级；匹配模块702，用于按照修补优先级，将初始值与第一层待修补区域相邻的已知图像区域进行图像块匹配，以获取与初始值匹配的图像块；替换模块703，用于将得到的图像块替换初始值，以获取第一修补结果。图3是根据本发明实施例的图像修复方法的流程图；图4是根据图1所示实施例的图像修复方法的详细流程图；图5是根据图1所示实施例的初始值更新的流程示意图； 图6是根据图1所示实施例的基于合成图像修复的流程示意图。如图3所示该方法包括如下步骤步骤A，通过图1中的读取模块10来由外向内获取图像损坏区域的第一层待修补区域，并读取与第一层待修补区域相邻的已知图像区域的结构信息和颜色；步骤B，通过图1中的估计模块30来实现根据已知图像区域的结构信息和颜色对第一层待修补区域进行梯度分析和颜色估计，得到第一层待修补区域的梯度信息和颜色；步骤C，通过图1中的延伸模块50来执行将第一层待修补区域的梯度信息和颜色作为初始值延伸至第一层待修补区域；步骤D，通过图1中的修复模块70来实现根据初始值对第一层带修补区域进行纹理合成修复，以获取第一修补结果；步骤E，通过图1中的循环模块90来执行将第一修补结果作为已知图像区域循环执行步骤A至步骤D，直到修复图像损坏区域。本申请上述实施例通过由外向内的顺序对图像损坏区域一层层进行修复。在对图像损坏区域的每一个图像层的待修补区域进行填补之前，首先对该层的待修补区域轮廓附近的已知颜色和结构信息进行分析，将图像结构的大概趋势和颜色尽可能延伸到待填补区域内，以此结果作为一个初始值。然后在该初始值的基础上进行纹理合成图像修复，并将其作为最终的修复结果。修复后的层作为已知内容，按照上述过程继续完成内部各层的修复， 可以更准确定位重要的结构区域，同时提高块匹配的准确性，减少错误信息的引入和繁殖。具体的，将如3和图4结合所示，本申请上述实施例步骤A C完成了计算初始值的过程，实现对该层待修补区域轮廓附近的已知点的颜色和结构信息进行分析，得到待修补区域的梯度信息和颜色信息，将图像结构的得到的趋势和颜色尽可能延伸到待填补区域内，以此结果作为一个初始值；然后通过步骤D完成纹理合成图像的修复，具体采用在该初始值的基础上进行纹理合成图像修复，并将其作为最终的修复结果，修复后的层作为已知内容；最后通过步骤E来重复上述两个步骤，直到修复损坏区域的内部各层。且本申请中对图像的修补过程实际是颗粒化至每个像素点来进行处理。优选地，上述实施例中的读取与第一层待修补区域相邻的已知图像区域的结构信息和颜色包括读取与第一修补区域中的待修补点j相邻的一个或多个已知点i的梯度信息，梯度信息包括梯度幅值和梯度方向。本申请上述实施例中的步骤B可以包括步骤Bi，根据与待修补点j相邻的每一个已知点i的梯度幅值和梯度方向，来确定待修补点j的梯度信息；步骤B2，通过将待修补点j的梯度信息与每一个已知点i的梯度信息进行比较，来获取待修补点j与每一个已知点i之间的结构相似度；步骤B3，根据获取到的结构相似度为每一个已知点i确定对应的颜色权值，并使用颜色权值对每一个已知点加权，最后求加权平均值作为所述待修补点j的颜色，估计完颜色的点作为其他待修补点的已知点；步骤B4，按照待修补区域由外而内的顺序，遍历第一层带修补区域中的每一个待修补点，对每一个待修补点执行步骤B2至 B3，直至获取第一层待修补区域的所有梯度信息和颜色。本申请上述实施例中的步骤Bl可以包括获取待修补点j与其相邻的每一个已知点i之间的位置权值Wdis和梯度入射权值Wgrad ；根据位置权值Wdis和梯度入射权值Wgrad， 来获取每一个已知点i的梯度权值W ；将梯度权值W加权至对应的已知点i的梯度幅值上， 以获取每一个已知点i的梯度幅值加权结果；采用直方图统计算法来统计所有已知点i各个方向上累加的梯度幅值加权结果，并取直方图中强度最大的方向为待修补点j的梯度方向，并将直方图主方向上参与加权梯度幅值累加的最大已知点梯度幅值作为待修补点j的梯度幅值。优选地，可以通过如下公式获取每一个已知点i的梯度权值w = Wdi，grad，其中，Wdis为位置权值，Wgrad表征结构入射权值。优选地，可以通过如下公式获取待修补点j与其相邻的每一个已知点i之间的结
Gradi norm · ij
构入射权值Wgrad: w-= Cjm^fwnnJf其中，__为1点梯度，__为土点
—，GradiGradi norm
梯度顺时针旋转90度的法向向量，该向量与点i处的结构趋势方向是一致的。WgMd即为
权利要求
1.一种图像修复方法，其特征在于，包括步骤A，由外向内获取图像损坏区域的第一层待修补区域，并读取与所述第一层待修补区域相邻的已知图像区域的结构信息和颜色；步骤B，根据所述已知图像区域的结构信息和颜色对所述第一层待修补区域进行梯度分析和颜色估计，得到所述第一层待修补区域的梯度信息和颜色；步骤C，将所述第一层待修补区域的梯度信息和颜色作为初始值延伸至所述第一层待修补区域；步骤D，根据所述初始值对所述第一层带修补区域进行纹理合成修复，以获取第一修补结果；步骤E，将所述第一修补结果作为已知图像区域循环执行步骤A至步骤D，直到修复所述图像损坏区域。
2.根据权利要求1所述的方法，其特征在于，读取与所述第一层待修补区域相邻的已知图像区域的结构信息和颜色包括读取与所述第一修补区域中的待修补点j相邻的一个或多个已知点i的梯度信息，所述梯度信息包括梯度幅值和梯度方向。
3.根据权利要求2所述的方法，其特征在于，步骤B包括步骤Bi，根据与所述待修补点j相邻的每一个已知点i的梯度幅值和梯度方向，来确定所述待修补点j的梯度信息；步骤B2，通过将所述待修补点j的梯度信息与所述每一个已知点i的梯度信息进行比较，来获取所述待修补点j与所述每一个已知点i之间的结构相似度；步骤B3，根据获取到的结构相似度为每一个已知点i确定对应的颜色权值，并使用颜色权值对每一个已知点加权，最后求加权平均值作为所述待修补点j的颜色，估计完颜色的点作为其他待修补点的已知点；步骤B4，按照待修补区域由外而内的顺序，遍历所述第一层带修补区域中的每一个待修补点，对每一个待修补点执行步骤B2至B3，直至获取所述第一层待修补区域的所有梯度信息和颜色。
4.根据权利要求3所述的方法，其特征在于，步骤Bl包括获取所述待修补点j与其相邻的每一个已知点i之间的位置权值Wdis和梯度入射权值Wgrad >根据所述位置权值Wdis和所述结构入射权值WgMd，来获取每一个已知点i的梯度权值W ；将所述梯度权值W加权至对应的已知点i的梯度幅值上，以获取每一个已知点i的梯度幅值加权结果；采用直方图统计算法来统计所有已知点i各个方向上累加的梯度幅值加权结果，并取直方图中强度最大的方向为所述待修补点j的梯度方向，并将直方图主方向上参与加权梯度幅值累加的最大已知点梯度幅值作为所述待修补点j的梯度幅值。
5.根据权利要求4所述的方法，其特征在于，通过如下公式获取每一个已知点i的梯度权值w W = Wdis*Wgrad，其中，Wdis为位置权值，Wgrad表征结构入射权值。
6.根据权利要求5所述的方法，其特征在于，通过如下公式获取所述待修补点j与其相邻的每一个已知点i之间的结构入射权值wgMd
7.根据权利要求6所述的方法，其特征在于，与所述第一层待修补区域相邻的已知图像区域包括梯度信息可靠点和梯度信息非可靠点，其中，在步骤Bl之前，所述方法还包括基于与所述权利要求25的梯度估计处理步骤来估计得到所述非可靠点的梯度信息； 将所述可靠点和已经估计得到梯度信息的非可靠点作为已知点，来构成所述已知图像区域。
8.根据权利要求1-7中任意一项所述的方法，其特征在于，步骤D包括以所述第一层待修补区域的初始值作为已知信息，进而获取所述第一层待修补区域轮廓中各个待修补点的修补顺序优先级；按照所述修补优先级，将所述初始值与所述第一层待修补区域相邻的已知图像区域进行图像块匹配，以获取与所述初始值匹配的图像块；将得到的所述图像块替换所述初始值，以获取所述第一修补结果。
9.一种图像修复装置，其特征在于，包括读取模块，用于由外向内获取图像损坏区域的第一层待修补区域，并读取与所述第一层待修补区域相邻的已知图像区域的结构信息和颜色；估计模块，用于根据所述已知图像区域的结构信息和颜色对所述第一层待修补区域进行梯度分析和颜色估计，得到所述第一层待修补区域的梯度信息和颜色；延伸模块，用于将所述第一层待修补区域的梯度信息和颜色作为初始值延伸至所述第一层待修补区域；修复模块，用于根据所述初始值对所述第一层带修补区域进行纹理合成修复，以获取第一修补结果；循环模块，用于将所述第一修补结果作为已知图像区域循环执行所述读取模块至所述修复模块，直到修复所述图像损坏区域。
10.根据权利要求9所述的装置，其特征在于，当所述读取模块用于读取与所述第一修补区域中的待修补点j相邻的一个或多个已知点i的梯度信息情况下，所述梯度信息包括 梯度幅值和梯度方向，所述估计模块包括第一估计模块，用于根据与所述待修补点j相邻的每一个已知点i的梯度幅值和梯度方向，来确定所述待修补点j的梯度信息；第二估计模块，用于通过将所述待修补点j的梯度信息与所述每一个已知点i的梯度信息进行比较，来获取所述待修补点j与所述每一个已知点i之间的结构相似度，并根据获取到的结构相似度为每一个已知点i确定对应的颜色权值，并使用颜色权值对每一个已知点加权，最后求加权平均值作为所述待修补点j的颜色，估计完颜色的点作为其他待修补点的已知点；遍历模块，用于按照待修补区域由外而内的顺序，遍历所述第一层带修补区域中的每一个待修补点，对每一个待修补点执行所述第一估计模块和所述第二估计模块，直至获取所述第一层待修补区域的所有梯度信息和颜色。
11.根据权利要求10所述的装置，其特征在于，所述第一估计模块包括第一获取模块，用于获取所述待修补点j与其相邻的每一个已知点i之间的位置权值Wdis和结构入射权值Wgrad ；第二获取模块，用于根据所述位置权值Wdis和所述梯度入射权值WgMd，来获取每一个已知点i的梯度权值W ；加权模块，用于将所述梯度权值w加权至对应的已知点i的梯度幅值上，以获取每一个已知点i的梯度幅值加权结果；统计模块，用于采用直方图统计算法来统计所有已知点i各个方向上累加的梯度幅值加权结果，并取直方图中强度最大的方向为所述待修补点j的梯度方向，并将直方图主方向上参与加权梯度幅值累加的最大已知点梯度幅值作为所述待修补点j的梯度幅值。
12.根据权利要求911中任意一项所述的装置，其特征在于，所述修复模块包括第三获取模块，用于以所述第一层待修补区域的初始值作为已知信息，进而获取所述第一层待修补区域轮廓中各个待修补点的修补顺序优先级；匹配模块，用于按照所述修补优先级，将所述初始值与所述第一层待修补区域相邻的已知图像区域进行图像块匹配，以获取与所述初始值匹配的图像块；替换模块，用于将得到的所述图像块替换所述初始值，以获取所述第一修补结果。
全文摘要
本发明公开了一种图像修复方法及装置。其中，该方法包括步骤A，由外向内获取图像损坏区域的第一层待修补区域，并读取与第一层待修补区域相邻的已知图像区域的结构信息和颜色；步骤B，根据已知图像区域的结构信息和颜色对第一层待修补区域进行梯度分析和颜色估计，得到第一层待修补区域的梯度信息和颜色；步骤C，将第一层待修补区域的梯度信息和颜色作为初始值延伸至第一层待修补区域；步骤D，根据初始值对第一层带修补区域进行纹理合成修复，以获取第一修补结果；步骤E，将第一修补结果作为已知图像区域循环执行步骤A至步骤D，直到修复图像损坏区域。通过本发明，能够准确定位结构区域，提高块匹配的准确性，减少错误信息的引入和繁殖。
文档编号G06T5/00GK102567970SQ201110450039
公开日2012年7月11日 申请日期2011年12月29日 优先权日2011年12月29日
发明者刘 文, 张宏志, 郎咸朋 申请人:方正国际软件(北京)有限公司, 方正国际软件有限公司