一种图像修复方法及装置与流程

本申请属于图像信息处理技术领域，尤其涉及一种图像修复方法及装置。

背景技术：

图像修复技术通常用于对图像中有信息缺损区域的部位进行填充，使观察者难以察觉图像曾经缺损或是被修复处理过。

目前，数字图像修复技术主要包括基于偏微分方程算法的图像修复技术和基于变分算法的图像修复技术。基于偏微分方程算法的图像修复技术通常是利用物理学中的热扩散方程将图像中待修补区域周围的信息传播至待修补区域中，其中典型的技术包括CDD(曲率驱动)修复模型。基于变分算法的图像修复技术可以通过模仿修补师的手工修复图像过程，即可以通过建立图像的先验模型和数据模型将修补问题转化为泛函求极值的变分问题，其中主要的方法包括利用全变分修复模型进行图像修复。

现有技术中的基于偏微分方程算法和基于变分算法的图像修复技术的模型建立于有界变差空间，通常把图像中待修复的区域视为平滑的函数，再将待修复区域周边的信息扩充填补至待修复区域，达到修复的效果。但对于破损区域较宽或者周边纹理丰富的待修复图像，若采用上述方法将修复区域周边的信息扩充填补到破损区或纹理丰富区域，往往会造成填充信息不合理，使修补后的区域产生较为严重的模糊现象或者明显修复痕迹，大大降低图像修复效果。

技术实现要素：

本申请目的在于提供一种图像修复方法及装置，可以提高修复后的图像的清晰度，减少修复痕迹，提升图像修复效果。

本申请提供一种图像修复方法及装置是这样实现的：

一种图像修复方法，所述方法包括：

获取图像中待修复区域的边界像素，判断所述边界像素是否属于所述待修复区域的纹理区域；

当判断所述边界像素属于所述纹理区域时，从所述边界像素中选取待处理边界像素，确 定出以所述待处理边界像素为中心的目标区域以及范围包括所述目标区域的搜索区域；

在所述搜索区域的非修复区域内划分与所述目标区域相匹配的预设比对区域，从所述预设比对区域中选出与所述目标区域的颜色信息的差值达到预设要求的计算比对区域；

将所述待处理边界像素的颜色信息设置为所述计算比对区域的中心像素的颜色信息，生成修复后边界像素。

一种图像修复装置，所述装置包括：

边界像素处理模块，用于获取图像中待修复区域的边界像素，以及用于判断所述边界像素是否属于所述待修复区域的纹理区域；

区域划分模块，用于在边界像素处理模块判断所述边界像素属于所述纹理区域时，从所述边界像素中选取待处理边界像素，以及用于确定出以所述待处理边界像素为中心的目标区域及范围包括所述目标区域的搜索区域；

区域比对模块，用于在所述搜索区域的非修复区域内划分与所述目标区域相匹配的预设比对区域，以及用于从所述预设比对区域中选出与所述目标区域的颜色信息的差值达到预设要求的计算比对区域；

边界像素修复模块，用于将所述待处理边界像素的颜色信息设置为所述计算比对区域的中心像素的颜色信息，生成修复后边界像素。

本申请提供一种图像修复方法及装置对判断属于色彩丰富的纹理区域，可以从边界像素周边的非修复区域获取边界像素的修复信息，从边界像素开始进行修复。在本申请的图像修复过程中，可以以边界像素为目标区域，并确定出目标区域的搜索区域，在所述搜索区域中找到与目标区域颜色最为匹配的比对区域。这样可以从边界像素周围获取与所述目标区域最为相似的比对区域，然后以所述比对区域的中心像素的颜色信息作为所述像素的颜色，可以更加准确、合理对图像进行修复。本申请提供的方法或装置可以从非修复区域的已知信息中获取更为准确的已知颜色信息对图像进行修复，可以增强图像修复的准确性和修复后的图像的清晰度，减少图像修复痕迹，提升图像修复效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的图像修复方法的一种实施例的方法流程图；

图2是本申请实施例中待修复图像的边界像素示意图；

图3是本申请判断所述边界像素是否属于纹理区域的一种实施例的方法流程示意图；

图4是本申请中边界像素的预设统计区域的示意图；

图5是本申请本申请提供的划分预设对比区域方法的一种实施例的示意图；

图6是本申请提供的计算对比区域一种实施例的方法流程示意图；

图7是本申请本申请选取计算预设比对区域的另一种实施例的方法流程图；

图8是本申请本申请计算所述第一预设比对区域颜色值误差值的一种实施例的示意图；

图9是本申请提供的图像修复装置一种实施例的模块结构示意图；

图10是本申请提供的区域划分模块一种实施例的模块结构示意图；

图11是本申请本申请提供的区域比对模块一种实施例的模块结构示意图；

图12是本申请本申请提供的区域比对模块另一种实施例的模块结构示意图；

图13是本申请本申请提供的边界像素处理模块另一种实施例的模块结构示意图；

图14是本申请本申请提供的边界像素处理模块另一种实施例的模块结构示意图；

图15是本申请本申请提供的区域比对模块另一种实施例的模块结构示意图；

图16是本申请本申请所述图像修复装置另一种实施例的模块结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

图像的纹理是图像的一种重要的视觉特征，纹理可以反映图像亮度的空间变化情况，具有局部与整体的自相似性。纹理可以由纹理单元按某种确定性的规律或某种统计规律排列组成，在纹理区域内各组成部分可以具有相似的结构。因此，对图像待修复区域中的纹理区域修复时，可以从所述待修复区域附近的非修复区域中提取颜色信息填充所述修复区域。本申请提供的图像修复方法或装置提供的技术方案在判断待修复图像为纹理区域时可以更加准确、合理的进行修复处理，提高图像修复效果。

下面结合附图对本申请所述的图像处理方法及装置进行详细的说明。图1是本申请提出的图像修复方法的一种实施例的方法流程图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括 更多或者更少的操作步骤或模块结构。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本申请实施例提供的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

具体的如图1所示，本申请提供的图像修复方法的一种实施例可以包括：

S1：获取图像中待修复区域的边界像素，判断所述边界像素是否属于所述待修复区域的纹理区域。

一般的，在数字图像修复领域中像素可以表示为所述的图像的最小组成单元，可以将待修复图像视为像素的集合。所示图像的待修复区域可以包括自动识别出的待修复图像中的信息缺损或信息丢失的像素区域，或者由作业人员自行选取的待修复区域等。

确定待修复图像的待修复区域后，可以从待修复区域的边界像素开始修复。本申请中所述的边界像素可以包括位于待修复区域与非修复区域临界位置的像素。本申请提供一种所述边界像素的判定方法，具体的所述边界像素的判定方法可以包括：

当判断所述待修复区域中像素的相邻像素中至少有一个像素属于非修复区域时，可以将所述像素划分至边界像素。

一般的，所述相邻像素可以包括与所述像素的上、下、左、右四个方向相邻的像素。举例说明，图2是本申请实施例中待修复图像的边界像素示意图，如图2所示，该区域可以包括16×9个像素，一种实施方式中可以通过计算机自动识别出待修复区域。为了清楚的表示出所述自动识别出的待修复区域，可以在图2中分别用1-30对所述待修复区域的像素进行编号。其他未编号的像素可以视为图像A的非修复区域的像素。如图2所示，当上述有数字编号的像素的相邻像素中至少有一个属于非修复区域时，可以将该像素划分至边界像素，由此可以确定所述待修复区域中的边界像素。因此，图2中边界像素的像素编码分别为：1、2、3、7、8、9、14、15、16、18、19、21、22、23、25、27、28、29、30。

当然，在其他的实施例中，所述的相邻像素也可以包括像素的左上、右上、左下、右下中的至少一个方向上的像素。具体的所述相邻像素的选取可以在判断边界像素时根据数据处理或设计需求进行选取、设置。

然后可以判断所述边界像素是否属于所述待修复区域的纹理区域。本申请可以提供一种判断所述边界像素是否属于纹理区域的方法，图3是所述判断所述边界像素是否属于纹理区域的一种实施例的方法流程示意图，如图3所示，可以包括：

S101：计算以所述边界像素为中心的判定区域中单个像素沿水平方向以及竖直方向的梯 度和。

在本实施例中，可以采用计算像素梯度和的方式判断所述边界像素是否属于纹理区域。图像的梯度特征可以反映相邻像素间颜色信息的连接紧密程度和相对变化程度，并且梯度的计算可以包括一阶微分算子，处理方法相对比较简单，因此本实施例采用像素梯度进行计算可以提高数据处理速度。在待修复图像中，一种实施方式可以包括计算所述边界像素0度到360度各个方向的梯度值。在本申请实施例中，可以采用仅选取边界像素的水平方向和竖直方向梯度和作为判断参考值，可以保障计算结果可靠性的同时减少计算量，进一步提高数据处理速度。

具体的实施过程中，可以以所述边界像素为中心划定一个判定区域。所述判定区域的形状一般的可以设置为矩形区域或圆形区域。例如可以设置成以所述边界像素为中心边长为k的正方形区域，或者设置成以所述边界像素为中心，长为a、宽为b的长方形区域。在其他的实施例中，所述判定区域也可以设置成以所述边界像素为中心，半径为r的圆形区域。然后可以采用下述公式(1)计算所述判定区域中每个单个像素沿水平方向以及竖直方向的梯度和：

上述公式(1)中，G(i)可以为表示边界像素i的梯度和，可以分别表示所述边界像素i沿水平方向和竖直方向的梯度值。

S102：计算所述判定区域中像素的梯度和的平均值，得到所述判定区域的平均梯度和。

本实施例中可以采用以所述边界像素周边所述判断区域内所有像素的梯度和来评价所述边界像素的纹理特性。具体的，可以以所述判定区域中所有像素梯度和的平均值作为以所述边界像素为中的判定区域的平均梯度和。例如划分的判定区域可以为以边界像素A为中心的矩形区域m，可以计算所述判定区域m中所有像素梯度和的平均值，得到判定区域m的平均梯度和。所述判定区域m的平均梯度和计算公式可以如式(2)所示：

上式(2)中，G(m)可以为表示判定区域m的梯度和的平均值，N可以为表示所述判定区域m中包含的边界像素的个数，可以分别表示为所述判定区域m中第i个边界像素沿水平方向和竖直方向的梯度值。

S103：比较所述平均梯度和是否大于预先设置的第一阈值，若是，则判断所述边界像素 属于所述待修复区域的纹理区域。

如上所述，本实施例中可以采用以所述边界像素周边所述判断区域内所有像素的梯度和来评价所述边界像素的纹理特性。图像的梯度值可以反映相邻像素间颜色信息的连接紧密程度和相对变化程度，从某种意义上可以理解为梯度值可以反映某个像素周围的边缘信息和结构信息。一般地，图像的梯度值越高，反映所述图像的边缘信息越丰富，结构越有层次。因此，本实施例中可以预先设置一个判断所述边界像素是否属于纹理区域的第一阈值，可以通过比较所述判定区域的平均梯度和是否大于所述第一阈值来判断所述边界像素是否属于纹理区域。所述第一阈值可以根据经验值选取、设置。

本申请中可以获取图像中待修复区域的边界像素，判断所述边界像素是否属于所述待修复区域的纹理区域。在待修复图像的待修复区域中，所述边界像素与非修复区域最为接近，所述非修复区域中像素的颜色信息是已知、准确的，因此可以更准确的判断出所述边界像素是否属于纹理区域。

S2：在所述判断的结果为是时，从所述边界像素中选取待处理边界像素，确定出以所述待处理边界像素为中心的目标区域以及范围包括所述目标区域的搜索区域。

本申请中判断出属于所述待修复区域的纹理区域的边界像素后，可以从所述边界像素中选取待处理边界像素进行修复。一种实施方式中可以以所述待处理边界像素为中心设置一个目标区域，所述目标区域可以表示为以待处理边界像素为中心的周围与之颜色信息关联性较强的比较区域，可以用于在所述目标区域周围对比查找与所述目标区域颜色信息最为相近的计算比对区域。所述目标区域的设置方式与上述判定区域相同或类似，例如可以设置为矩形区域、圆形区域等。

本申请的一种实施例中，可以划分确定出以所述待处理边界像素为中心且范围包括所述目标区域的搜索区域。当然，在其他一些实施例中，所述搜索区域的范围可以包括所述目标区域但可以不以所述待处理边界像素为中心，例如在同为矩形的所述目标区域与搜索区域的一个直角重合的应用场景。

在本申请另一种实施例中，可以从边界像素中从优先权最高的边界像素开始修复。所述边界像素的优先权可以表示为所述边界像素可以被修复到最佳状态的程度。例如边界像素周围完整的非修复区域的像素越多，可以表示修复该边界像素的可用、准确信息越多，所述边界像素被修复到最佳状态的程度越高，则修复该边界像素的优先权相应的越高。因此，本申请的另一种实施例中，所述从所述边界像素中选取待处理边界像素可以包括：

S201：获取以所述边界像素为中心的预设统计区域中属于非修复区域的像素的个数；

S202：计算所述属于非修复区域的像素的个数与所述预设统计区域中像素总个数的比值，以及计算所述预设统计区域的像素灰度值的方差；

S203：以所述比值与所述方差的乘积作为所述边界像素的优先权；

S204：选取所述优先权最高的边界像素作为待处理边界像素。

图4是本申请实施例中边界像素的预设统计区域的示意图。具体如图4所示，可以以设置一个3*3的预设统计区域。从图4中可以得出，以边界像素14为中心获取的所述预设统计区域中位于非修复区域的像素个数为2，计算得到该像素个数与所述预设比对区域中像素总个数的比例为2/9。采用同样的计算方法，可以计算得到边界像素15在所述预设统计区域中位于非修复区域的像素个数为6，得到所述比例为6/9。当然，所述预设统计区域可以根据计算需求设置为5*5或者4*5的矩形块，甚至可以包括其他形状的预设统计区域，

同时可以计算所述预设统计区域的像素灰度值的方差。所述像素灰度值的方差可以反映图像中像素的对比度，当灰度值的方差越大时，可以表示所述图像中像素灰度值变化越剧烈，相应的，对于灰度值的方差越大的所述图像中的高频部分也越多。因此，本实施例中可以采用灰度值对预设区域中的像素进行处理。所述预设统计区域内像素灰度值的方差可以用下式(3)计算得出：

上式(3)中，可以为表示所述预设统计区域中像素灰度值的方差，N可以为表示所述预设统计区域中包含的像素的个数，g_i可以表示所述预设统计区域中单个像素的灰度值，g_ave可以表示所述预设统计区域中灰度值的平均值。

然后可以将所述比例与所述灰度值的方差的乘积作为所述边界像素的优先权，从所述边界像素中选取优先权最高的边界像素作为所述待处理边界像素。

本申请实施例中，可以从优先权最高的边界像素开始修复所述待修复区域，可以优先修复周围信息最完整的边界像素。在后续处理其他边界像素时，先修复完成的边界像素又可以作为非修复区域中像素点参与其他边界像素的修复计算，这样可以使修复效果达到最佳，有效提高待修复图像修复后的效果。

S3：在所述搜索区域的非修复区域内划分与所述目标区域相匹配的预设比对区域，从所述预设比对区域中选出与所述目标区域的颜色信息的差值达到预设要求的计算比对区域。

如上所述，所述搜索区域可以包括以所述待处理边界像素为中心且范围包括所述目标区域的搜索区域。所述搜索区域可以作为获取与所述目标区域颜色信息相同或相近的已知信息的源图像块。本实施例中可以在所述搜索区域的非修复区域内划分出一个或多个预设比对区域。参照其他实施例所述，所述预设比对区域可以包括矩形区域、圆形区域等。一般的，所述划分出的比对区域通常可以与所述目标区域大小和形状相匹配，这样，可以在计算所述比对区域与所述目标区域的颜色信息差值时可以更加便利、准确、可靠的进行处理，得到更为准确的处理结果，提高图像修复效果。因此，本申请的一种实施例中，所述与所述目标区域相匹配的预设比对区域可以包括：

与所述目标区域形状和大小相同的预设比对区域；

或者，

与所述目标区域为形状相同，且大小为所述目标区域等比例缩放的预设比对区域。

图5是本申请提供的划分预设对比区域方法的一种实施例的示意图。如图5所示，所述搜索区域可以包括15×9个像素，其中有数字标号的像素可以表示为待修复区域中的像素，其余的像素可以表示为非修复区域中的像素。图5中的加粗实线矩形区域P4为待处理边界像素4的目标区域，所述目标区域包含3×3个像素，虚线矩形区域T1和T2为所述目标区域P4划分的其中两个预设比对区域。

在对所述搜索区域划分好所述预设比对区域之后，可以从所述预设比对区域中选取与所述目标区域颜色信息相同或相近的计算比对区域。在本申请一种实施例中，可以直接从所述预设比对区域中选取与所述目标区域的颜色信息差值最小的预设比对区域作为计算比对区域。本实施例中可以采用像素灰度值作为所述的颜色信息进行对比计算颜色差值。图6是本申请提供的计算对比区域一种实施例的方法流程示意图。具体的，如图6所示，本申请的另一种实施例，所述从所述预设比对区域中选出与所述目标区域的颜色信息的差值达到预设要求的计算比对区域，可以包括：

S301：计算所述预设比对区域和所述目标区域中像素的灰度平均值，得到所述预设比对区域与所述目标区域的灰度值误差。

一种实施例中，所述预设比对区域中像素的灰度平均值可以包括所述预设比对区域中所有像素的灰度平均值，具体的可以采用下式(4)计算得出：

上式(4)中，G_i可以表示为第i个预设比对区域的灰度平均值，N可以表示所述为第i 个预设比对区域中包括的像素的个数，g_j可以表示所述第i个预设比对区域中第j个像素的灰度值。

所述目标区域的灰度平均值可以包括所述目标区域中位于非修复区域的像素的灰度平均值。在图5所示的搜索区域中，以待处理边界像素4为中心的目标区域包括5个非修复区域像素，本实施例中可以通过计算所述5个非修复区域像素的灰度平均值确定所述以待处理边界像素4为中心的目标区域的灰度平均值。

S302：选取所述灰度值误差最小的所述设比对区域作为计算比对区域。

进一步的，可以从所述预设比对区域中选取灰度值误差最小的预设比对区域作为所述计算比对区域。

本申请的另一种实施例中，可以结合灰度值误差以及红、绿、蓝三通道的颜色值来判断所述目标区域和预设比对区域的颜色信息的差值。图7是本申请选取计算预设比对区域的另一种实施例的方法流程图，如图7所示，所述从所述预设比对区域中选出与所述目标区域的颜色信息的差值达到预设要求的计算比对区域，可以包括：

S311：计算所述预设比对区域和所述目标区域的灰度平均值，得到所述预设比对区域与所述目标区域的灰度值误差；

S312：从所述预设比对区域中选取所述灰度值误差小于第二阈值的第一预设比对区域；

S313：分别计算所述第一预设比对区域中与所述目标区域相对位置相同的像素的红、绿、蓝三通道颜色值的误差值，以所述第一比对区域的误差值的和值作为所述第一预设比对区域的颜色值误差；

S314：选取所述颜色值误差最小的第一预设比对区域作为计算比对区域。

步骤S311具体的实施过程可以参考步骤S81的实施步骤，在此不再赘述。

本实施例中可以从所述预设比对区域中选取灰度值误差小于预先设置的第二阈值的第二预设比对区域。所述第二阈值可以用于筛选出灰度值误差达到一定预设要求的第一预设比对区域，具体的可以根据实际计算需求进行设置。一般的，可以从所述预设比对区域中选取一个或者多个灰度值误差小于所述第二阈值的第一预设比对区域。当然，本申请也不排除在所述搜索区域中没有符合所述第二阈值的第一预设对比区域，此时可以根据预先设置的处理方案进行处理。

然后可以计算所述第一预设比对区域和所述目标区域中相对位置相同的像素的红、绿、蓝三通道的颜色值的绝对值差，计算所述红、绿、蓝三通道的颜色值的绝对值差的和值，得到所述第一预设比对区域中像素的颜色值误差。所述相对位置相同的像素可以包括所述第一 预设比对区域和所述目标区域形状相同，大小相同或为等比例缩放时，在所述第一预设比对区域和所述目标区域的范围内相对位置相同的像素。例如所述第一预设比对区域和所述目标区域形状和大小均相同时，同样位于所述第一比对预设区域和所述目标区域中第一行第一列的像素。或者在形状相同、大小为等比例缩放时，例如3*3的目标区域中第二行第二列的像素与9*9的第一预设比对区域中第五行第五列的像素为所述相对位置相同的像素。在一些应用层场景中，若所述第一预设比对区域与所述目标区域不是整数倍的比例缩放，则可以按照预先设置的处理方法进行处理。例如3*3的目标区域中第二行第二列的像素，在5*5的第一预设比对区域中可以根据5/3的缩放比例得到第一预设比对区域中第3.3行第3.3列的像素。此时可以以所述第一预设比对区域中第三行第三列的像素以及前后和/或上下各K个像素的三通道颜色值的平均值作为与所述3*3的目标区域中第二行第二列的像素相对位置相同的像素。

一般地红、绿、蓝(RGB)作为颜色的三原色可以用RGB三通道的颜色值(以下简称RGB值)表示，比如，紫色的RGB值可以表示为(128，0，28)，蓝色的RGB值可以表示为(0，0，255)。在本实施例中，可以计算得出所述第一预设比对区域中和所述目标区域在所述相对位置相同的像素的RGB值的绝对值的差值，将所述第一对比区域中所有像素RGB值的绝对值的差值的和，得到所述第一预设比对区域的颜色值误差。例如，图8是本申请计算所述第一预设比对区域颜色值误差值的一种实施例的示意图。如图8所示，所述目标区域中位于非修复区域的包括像素P₁～P₆，所述目标区域的第一预设对比区域包括像素T₁～T₆。其中，像素P₁与像素T₁相对位置相同，所述像素P₁的RGB值为(-37，156，220)，所述像素T₁的RGB包括(-45，170，204).所述像素P₁与像素T₁的RGB值的绝对值的差值分别为(8，14，6)，则可以计算得到像素P₁的误差值为8+14+16＝38。根据上述计算方法可以计算得到像素P₂～P₆像素的误差值分别为67、220、79、80、103。将所述误差值相加求和，由此可以计算得出以待处理像素4为中心的目标区域的第一预设比对区域的颜色值误差为：38+67+220+79+80+103＝587。

同样，可以按照上述方法分别计算得到所述目标区域的其他所述第一预设比对区域的颜色值误差。然后可以从所述第一预设比对区域中选取区域颜色值误差最小的第一预设比对区域作为计算比对区域。需要说明的是，在一些应用场景中如果出现所述颜色值误差相同的多个所述第一预设比对区域，则可以根据预先设置的处理规则进行处理，例如取多个值的中值或平均值等。

本申请实施例所述的方法步骤中，通过从所述搜索区域的非修复区域内划分一个或多个预设比对区域，分别将所述预设比对区域与目标区域进行比较，通过一定的算法找出与所述 目标区域颜色信息最为相近的计算比对区域，可以基于目前区域周围已知的、准确的颜色信息来获取得到计所述算比对区域，可以提高数据处理精度，提高图像修复效果。

S4：将所述待处理边界像素的颜色信息设置为所述计算比对区域的中心像素的颜色信息，生成修复后边界像素。

在本申请所述中心像素可以包括位于所述计算比对区域的中心位置的像素。从所述预设比对区域中选出达到预设要求的计算比对区域后，可以将所述待处理边界像素的颜色信息设置为所述计算比对区域的中心像素的颜色信息，生成所述待处理边界像素的修复后边界像素。

相应的，处理完所述当前边界像素后可以将所述当前边界像素可以被划分至所述非修复区域。然后依次处理完所有的边界像素，完成图像的修复，得到修复后的图像。

由以上实施例提供的技术方案可见，在本申请的图像修复过程中，可以以边界像素为目标区域，并确定出目标区域的搜索区域，在所述搜索区域中找到与目标区域颜色最为匹配的比对区域。这样可以从边界像素周围获取与所述目标区域最为相似的比对区域，然后以所述比对区域的中心像素的颜色信息作为所述像素的颜色，可以更加准确、合理对图像进行修复。本申请提供的方法可以从非修复区域的已知信息中获取更为准确的已知颜色信息对图像进行修复，可以增强图像修复的准确性和修复后的图像的清晰度，减少图像修复痕迹，提升图像修复效果。

在本申请的可选实施例中，可以对属于不同纹理特征的区域采用不同的处理方法。在获取待修复图像中待修复区域的边界像素后，可以判断所述边界像素是否属于所述待修复区域的纹理区域。一般地，按照图像的纹理特征可以将像素划分到纹理区域或者平滑区域。对于判断不属于所述纹理区域的边界像素，可以采用预先设置的其他处理方法进行图像修复。例如对于平滑区域的边界像素，可以采用快速多极化(FMM)算法修复所述边界像素。所述FMM算法对于修复颜色值比较均衡的平滑区域，速度较快，精度较高，可以实现较好的修复效果。因此，本申请的另一种实施例中，所述方法还可以包括：

当判断所述边界像素不属于所述纹理区域时，采用预先设置的包括但不限于利用快速多极化算法进行图像修复的方式对所述边界像素进行修复处理。

本实施例提供的图像修复方法可以基于修复区域不同纹理丰富程度采用不同的修复方案，可以提高图像修复的灵活性，提高图像修复效果。

基于本申请实施例所述的图像修复方法，本申请提供一种图像修复装置。图9是本申请提供的图像修复装置一种实施例的模块结构示意图，如图9所示，所述装置可以包括：

边界像素处理模块101，可以用于获取图像中待修复区域的边界像素，以及用于判断所述边界像素是否属于所述待修复区域的纹理区域；

区域划分模块102，可以用于在边界像素处理模块101判断所述边界像素属于所述纹理区域时，从所述边界像素中选取待处理边界像素，以及用于确定出以所述待处理边界像素为中心的目标区域及范围包括所述目标区域的搜索区域；

区域比对模块103，可以用于在所述搜索区域的非修复区域内划分与所述目标区域相匹配的预设比对区域，以及用于从所述预设比对区域中选出与所述目标区域的颜色信息的差值达到预设要求的计算比对区域；

边界像素修复模块104，可以用于将所述待处理边界像素的颜色信息设置为所述计算比对区域的中心像素的颜色信息，生成修复后边界像素。

图10是本申请提供的区域划分模块102一种实施例的模块结构示意图，如图10所示，所述区域划分模块102可以包括：

比值计算模块1021，可以用于获取以所述边界像素为中心的预设统计区域中属于非修复区域的像素的个数，计算所述属于非修复区域的像素的个数与所述预设统计区域中像素总个数的比值；

灰度值方差计算模块1022，可以用于计算所述预设统计区域的像素灰度值的方差；

优先权计算模块1023，可以用于计算所述比值与所述方差的乘积，将所述乘积作为所述边界像素的优先权；

像素选取模块1024，可以用于选取所述优先权最高的边界像素作为待处理边界像素。

图11是本申请提供的区域比对模块103一种实施例的模块结构示意图，如图11所示，所述区域比对模块103可以包括：

灰度值误差计算模块1031，可以用于计算所述预设比对区域和所述目标区域中像素的灰度平均值，得到所述预设比对区域与所述目标区域的灰度值误差；

第一选取模块1032，可以用于选取所述灰度值误差最小的所述设比对区域作为计算比对区域。

图12是本申请提供的区域比对模块103另一种实施例的模块结构示意图，如图12所示，所述区域比对模块103可以包括：

灰度值误差计算模块1031，可以用于计算所述预设比对区域和所述目标区域中像素的灰 度平均值，得到所述预设比对区域与所述目标区域的灰度值误差；

第二选取模块1033，可以用于存储预先设置的第一阈值，以及用于从所述预设比对区域中选取所述灰度值误差小于第一阈值的第一预设比对区域；

颜色误差值计算模块1034，可以用于分别计算所述第一预设比对区域中与所述目标区域相对位置相同的像素的红、绿、蓝三通道颜色值的误差值，以所述第一比对区域的误差值的和值作为所述第一预设比对区域的颜色值误差；

第三选取模块1035，可以用于选取所述颜色值误差最小的第一预设比对区域作为计算比对区域。

图13是本申请提供的边界像素处理模块101一种实施例的模块结构示意图，如图13所示，所述边界像素处理模块101可以包括：

像素梯度和计算模块1011，可以用于计算以所述边界像素为中心的判定区域中单个像素沿水平方向以及竖直方向的梯度和；

平均梯度和计算模块1012，可以用于计算所述判定区域中像素的梯度和的平均值，得到所述判定区域的平均梯度和；

判断模块1013，可以用于比较所述平均梯度和是否大于预先设置的第一阈值，若是，则判断所述边界像素属于所述待修复区域的纹理区域。

图14是本申请提供的边界像素处理模块101另一种实施例的模块结构示意图，如图14所示，所述边界像素处理模块101可以包括：

边界像素判断模块1014，可以用于当判断所述待修复区域中像素的相邻像素中至少有一个像素属于非修复区域时，将所述像素划分至边界像素。

图15是本申请提供的区域比对模块103另一种实施例的模块结构示意图，如图15所示，所述区域比对模块103可以包括下述中的至少一种：

第一匹配模块1036，可以用于选取与所述目标区域形状和大小相同的预设比对区域；

第二匹配模块1037，可以用于选取与所述目标区域为形状相同，且大小为所述目标区域等比例缩放的预设比对区域。

图16是本申请所述图像修复装置另一种实施例的模块结构示意图，如图16所示，所述装置还可以包括：

平滑区域处理模块105，可以用于当判断所述边界像素不属于所述纹理区域时，采用预先设置的包括但不限于利用快速多极化算法进行图像修复的方式对所述边界像素进行修复处理。

申请提供一种图像修复方法及装置对判断属于色彩丰富的纹理区域，可以从边界像素周 边的非修复区域获取边界像素的修复信息，从边界像素开始进行修复。在本申请的图像修复过程中，可以以边界像素为目标区域，并确定出目标区域的搜索区域，在所述搜索区域中找到与目标区域颜色最为匹配的比对区域。这样可以从边界像素周围获取与所述目标区域最为相似的比对区域，然后以所述比对区域的中心像素的颜色信息作为所述像素的颜色，可以更加准确、合理对图像进行修复。本申请提供的方法或装置可以从非修复区域的已知信息中获取更为准确的已知颜色信息对图像进行修复，可以增强图像修复的准确性和修复后的图像的清晰度，减少图像修复痕迹，提升图像修复效果。

尽管本申请内容中提到图像梯度、RGB通道颜色信息、区域划分、灰度值计算等的数据选取、处理的描述，但是，本申请并不局限于必须是完全标准或者所提及的方式的数据选取、处理的情况。本申请中各个实施例所涉及的上述描述仅是本申请中的一些实施例中的应用，在某些标准、方法的基础上略加修改后的处理方法也可以实行上述本申请各实施例的方案。当然，在符合本申请上述各实施例的中所述的处理方法步骤的其他无创造性的变形，仍然可以实现相同的申请，在此不再赘述。

虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

上述实施例阐明的装置或模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。当然，也可以将实现某功能的模块由多个子模块或子单元组合实现。

本申请中所述的方法、装置或模块可以以计算机可读程序代码方式实现控制器按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种 硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本申请所述装置中的部分模块可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的硬件的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，也可以通过数据迁移的实施过程中体现出来。该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请的全部或者部分可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、移动通信终端、多处理器系统、基于微处理器的系统、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

虽然通过实施例描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。