一种图像修补方法及装置与流程

本发明涉及信息处理技术领域，特别涉及一种图像修补方法及装置。

背景技术：

现在许多图像处理的应用程序，比如天天P图，美图秀秀，美人相机等应用程序都具有图像美化功能。比如在美化人物图像中的眉毛时，具体是在美化时先将人物图像中眉毛区域的图像抠掉，然后利用图像修补方法再贴一个新的眉毛图像，以达到新的眉型效果。其中，在对抠掉的眉毛区域的图像进行修补时，可以先用眉毛周围的皮肤纹理图像来修补被抠掉的区域，然后再贴一个新的眉毛图像，这样可以达到自然过渡的效果。上述的图像修补方法也可以应用于对其它图像，比如风景照的美化修补过程中。

上述现有的图像修补方法用于修补具有复杂纹理背景的图像时效果较好，比如风景照，而在修补单一纹理背景的图像时，会出现修补效果延续性不好的问题。

技术实现要素：

本发明实施例提供一种图像修补方法及装置，实现了对最佳匹配块的色彩信息进行调整后，用调整后的最佳匹配块修补待修补区域的图像。

本发明实施例提供一种图像修补方法，包括：

根据图像的色彩平滑算法计算图像的待修补区域的色彩分布信息；

查找根据所述待修补区域设定的子区域对应的最佳匹配块，所述最佳匹配块对应所述图像中所述待修补区域之外的区域，其中，所述子区域包括所述待修补区域的某一部分区域；

根据所述色彩分布信息对所述最佳匹配块的色彩信息进行调整，使得进行所述调整后的最佳匹配块的平均色彩与对应子区域的平均色彩一致；

根据所述调整后的最佳匹配块对所述待修补区域的图像进行修补。

本发明实施例提供一种图像修补装置，包括：

分布计算单元，用于根据图像的色彩平滑算法计算图像的待修补区域的色彩分布信息；

查找单元，用于查找根据所述待修补区域设定的子区域对应的最佳匹配块，所述最佳匹配块对应所述图像中所述待修补区域之外的区域，其中，所述子区域包括所述待修补区域的某一部分区域；

调整单元，用于根据所述色彩分布信息对所述最佳匹配块的色彩信息进行调整，使得进行所述调整后的最佳匹配块的平均色彩与对应子区域的平均色彩一致；

修补单元，用于根据所述调整后的最佳匹配块对所述待修补区域的图像进行修补。

可见，在本实施例的方法中，图像修补装置会按照色彩平滑算法计算待修补区域的色彩分布信息，并根据色彩分布信息对根据待修补区域设定的子区域对应的最佳匹配块的色彩信息进行调整，使得进行调整后的最佳匹配块的平均色彩与对应子区域的平均色彩一致，然后再根据调整后的最佳匹配块对待修补区域的图像进行修补。由于上述计算的色彩分布信息所表示的图像的色彩比较平滑，不会有突兀的感觉，如果调整后的最佳匹配块的平均色彩与对应子区域的平均色彩一致，则根据调整后的最佳匹配块修补待修补区域的图像后，修补后图像的色彩也比较平滑，同时纹理也有平滑的效果，从而使得在修补单一纹理背景的图像时，修补后图像的延续性较好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像修补方法的方法流程图；

图2是本发明应用实施例中提供的一种图像修补方法的方法流程图；

图3是本发明应用实施例中图像修补装置修补某一子区域的图像的示意图；

图4a是本发明实施例中人物图像的示意图；

图4b是本发明实施例中被抠掉眉毛区域的图像后人物图像的示意图；

图4c是本发明实施例中在计算待修补区域的色彩分布信息后人物图像的示意图；

图4d是本发明实施例中对待修补区域的图像修补后的示意图；

图4e是现有技术中对待修补区域的图像修补后的示意图；

图5是本发明实施例提供的一种图像修补装置的结构示意图；

图6是本发明实施例提供的另一种图像修补装置的结构示意图；

图7是本发明实施例提供的一种终端设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排它的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供一种图像修补方法，主要是由图像修补装置所执行的方法，流程图如图1所示，包括：

步骤101，根据图像的色彩平滑算法计算图像的待修补区域的色彩分布信息。

可以理解，当需要美化某一图像中部分区域的图像时，可以先将该部分区域的图像抠掉，然后将抠掉的区域作为图像的待修补区域，并对该待修补区域执行本实施例的步骤101到104。

本实施例中，色彩分布信息主要是待修补区域中各个位置的色彩信息，这里色彩信息可以是像素值，一般情况下，每个像素包含红绿蓝3个分量以及一个透明度分量，数据格式为RGBA，分别是red,green,blue,alpha，透明度分量一般都是255不需要处理，RGB每个分量的值也都在0～255之间，这样每个像素需要用4个分量数值来表示。

图像修补装置在计算色彩分布信息时，可以根据色彩平滑算法计算，具体地，可以是多维插值法，具体可以将待修补区域边界的多个位置的色彩信息作为初始已知值；然后根据该初始已知值和预置的函数逐步计算待修补区域中其它位置的色彩信息，具体地，图像修补装置会根据初始已知值和预置的函数计算另一位置的色彩信息，这样另一位置的色彩信息就可以作为一个已知值从而根据该已知值进一步地计算其它位置的色彩信息，以此类推就可以计算出待修补区域所有位置的色彩信息，且这样计算的色彩分布信息表示的图像的色彩平滑，不会有突兀的感觉。

步骤102，查找根据待修补区域设定的子区域对应的最佳匹配块，该最佳匹配块对应图像中待修补区域之外的区域，其中，根据待修补区域设定的子区域包括待修补区域的某一部分区域。

具体地，图像修补装置在查找最佳匹配块时，会从待修补区域的边界开始，先确定一个子区域，该子区域是以待修补区域边界上的一点为中心的一个区域，则该子区域中包括了第一部分和第二部分，第一部分为待修补区域的某一部分区域或全部区域，第二部分为待修补区域之外的部分区域；然后图像修补装置会从待修补区域之外的其它区域中查找到大小与该子区域的大小相同的多个区域；分别计算多个区域的图像纹理信息与该子区域的图像纹理信息的匹配度，并将这多个区域中，图像纹理信息与该子区域的图像纹理信息的匹配度最大的区域作为该子区域的最佳匹配块，并对于该最佳匹配块执行步骤103和104。其中匹配度的计算一般是欧式距离的计算。

当修补了该子区域后，可以将该子区域标记为已知区域，然后图像修补装置再以同样的方法修补另一个子区域，以此类推，直到该待修补区域全部修补完为止。可见，在一般情况下，对于一个待修补区域的图像的修补需要经过多次，则在初次修补之后的过程中，图像修补装置根据待修补区域设定的一个子区域具体为以进行至少一次修补后的待修补区域的边界上的一点为中心的一个区域。

步骤103，根据色彩分布信息对最佳匹配块的色彩信息进行调整，使得进行调整后的最佳匹配块的平均色彩与对应子区域的平均色彩一致，这里的平均色彩可以用像素平均值来表示。

具体地，如果上述步骤101计算的色彩分布信息包括待修补区域中各个位置的像素值，则图像修补装置在执行本步骤时，先确定该最佳匹配块的第二像素平均值，并根据待修补区域的某一部分区域中各个位置的像素值确定与最佳匹配块对应的子区域的第一像素平均值；然后在最佳匹配块中各个位置的像素值的基础上分别增加像素值增量得到调整后的最佳匹配块中各个位置的像素值，其中，像素值增量为第一像素平均值与第二像素平均值的差值。这样调整后的最佳匹配块的像素平均值即为上述第一像素平均值，使得调整后的最佳匹配块的平均色彩与对应子区域的平均色彩一致。

特别地，对于彩色图像来说，某一区域的像素平均值为该区域的各个位置的相同分量的数值的平均值，最终得到的像素平均值也包括4个分量数值。

步骤104，根据调整后的最佳匹配块对待修补区域的图像进行修补。

当根据上述步骤103调整了一个最佳匹配块后，图像修补装置可以用调整后的最佳匹配块的图像填充对应的一个子区域，即将调整后的最佳匹配块的图像信息储存为对应子区域的图像信息，这里图像信息可以包括色彩分布信息，图像纹理信息，图像大小等，其中色彩分布信息包括通过上述步骤103得到的调整后的色彩信息，这样就可以修补待修补区域的某一部分区域或全部区域的图像。按照同样的方法，图像修补装置可以根据上述步骤103调整后的其它最佳匹配块修补待修补区域的其它部分图像，直到将待修补区域的全部区域都修补完为止。

可见，在本实施例的方法中，图像修补装置会按照色彩平滑算法计算待修补区域的色彩分布信息，并根据色彩分布信息对根据待修补区域设定的子区域对应的最佳匹配块的色彩信息进行调整，使得进行调整后的最佳匹配块的平均色彩与对应子区域的平均色彩一致，然后再根据调整后的最佳匹配块对待修补区域的图像进行修补。由于上述计算的色彩分布信息所表示的图像的色彩比较平滑，不会有突兀的感觉，如果调整后的最佳匹配块的平均色彩与对应子区域的平均色彩一致，则根据调整后的最佳匹配块修补待修补区域的图像后，修补后图像的色彩也比较平滑，同时纹理也有平滑的效果，从而使得在修补单一纹理背景的图像时，修补后图像的延续性较好。

以下以一个具体的应用实例来说明本发明实施例的方法，本实施例中是图像修补装置对人物图像中的眉毛进行的修补方法，流程图如图2所示，具体包括：

步骤201，将人物图像中眉毛区域的图像抠掉，将抠掉的区域作为待修补区域，则将该人物图像中待修补区域之外的区域记为已知区域。例如图3-a所示，将待修补区域记为Ω(图3中无色填充的区域)，将已知区域记为Φ(图3中用黄色和蓝色填充的区域)。

步骤202，按照插值法计算待修补区域的色彩分布信息，具体是待修补区域中各个位置的像素值。其中，将待修补区域边界上的多个点的像素值作为初始已知值，且根据预定的函数计算待修补区域各个位置的像素值。

步骤203，确定以待修补区域边界上的一个点p为中心的一个子区域，一般为n*n像素的正方形区域，该子区域包括一部分已知区域和一部分待修补区域。如图3-b所示，将以点p为中心的一个子区域记为ψ。

步骤204，查找该子区域对应的最佳匹配块，例如图3-c所示，图像修补装置先查找到分别以q’和q”为中心的两个区域ψ1和ψ2，其大小都与该子区域ψ的大小相同，如果两个区域中，某一区域的图像纹理信息与该子区域的图像纹理信息的匹配度较大，则将该区域作为该子区域的最佳匹配块。

然后图像修补装置根据上述步骤202计算的色彩分布信息对该最佳匹配块的色彩信息进行调整，具体地，在最佳匹配块的各个位置的像素值的基础上分别增加一个像素值增量得到调整后的最佳匹配块中各个位置的像素值，该像素值增量为对应子区域的像素平均值与该最佳匹配块的像素平均值的差值。

其中，子区域的像素平均值为子区域各个位置的像素值的平均值，由于该子区域包括一部分已知区域和一部分待修补区域，则需要从图像修补装置中提取该部分已知区域中各个位置的像素值，及根据上述步骤202计算的色彩分布信息得到该部分待修补区域中各个位置的像素值，然后再计算像素平均值。

步骤205，用调整后的最佳匹配块的图像填充对应的子区域，例如图3-d所示，将调整后的最佳匹配块的图像填充到对应子区域ψ。

步骤206，判断待修补区域是否都修补完，如果是，则结束流程，如果不是，则执行步骤207。

步骤207，确定以进行至少一次修补后的待修补区域的边界上的一个点为中心的另一个子区域，一般为n*n像素的正方形区域，该子区域包括一部分已知区域和一部分待修补区域，并针对另一子区域，返回执行步骤204。

例如图4a的人物图像中，眉毛的背景是单一的皮肤纹理图，将该图像中的眉毛区域抠掉，被抠掉的区域为如图4b所示的待修补区域。按照本实施例的方法，当根据上述步骤202计算了待修补区域的色彩分布信息并储存该色彩分布信息后，图像修补装置就可以显示色彩较平滑的图像，如图4c所示；当根据上述步骤203到207，将待修补区域的图像都修补完后，图像修补装置就可以显示纹理较平滑，且色彩较平滑的图像，如图4d所示；最后再在相应位置贴上新的眉毛图像后，美化的图像就比较自然。如果按照现有技术中图像修补的方法对待修补区域进行修补后，图像修补装置显示的图像的延续性不是很好，如图4e所示。可见，本实施例的方法可以很好的解决现有技术中如果修补单一纹理背景的图像时，修补后图像的延续性不好的问题。

本发明实施例还提供一种图像修补装置，其结构示意图如图5所示，具体可以包括：

分布计算单元10，用于根据图像的色彩平滑算法计算图像的待修补区域的色彩分布信息；所述分布计算单元10，具体用于将所述待修补区域边界的多个位置的色彩信息作为初始已知值，根据所述初始已知值及预置的函数计算所述待修补区域中其它位置的色彩信息。

查找单元11，用于查找根据所述待修补区域设定的子区域对应的最佳匹配块，所述最佳匹配块对应所述图像中所述待修补区域之外的区域，其中，所述子区域包括所述待修补区域的某一部分区域。

调整单元12，用于根据所述分布计算单元10计算的色彩分布信息对所述查找单元11查找的最佳匹配块的色彩信息进行调整，使得进行所述调整后的最佳匹配块的平均色彩与对应子区域的平均色彩一致。

修补单元13，用于根据所述调整单元12调整后的最佳匹配块对所述待修补区域的图像进行修补。

可见，在本实施例的图像修补装置中，分布计算单元10会按照色彩平滑算法计算待修补区域的色彩分布信息，而调整单元12根据色彩分布信息对根据待修补区域设定的子区域对应的最佳匹配块的色彩信息进行调整，使得进行调整后的最佳匹配块的平均色彩与对应子区域的平均色彩一致，然后修补单元13根据调整后的最佳匹配块对待修补区域的图像进行修补。由于分布计算单元10计算的色彩分布信息所表示的图像的色彩比较平滑，不会有突兀的感觉，如果调整后的最佳匹配块的平均色彩与对应子区域的平均色彩一致，则根据调整后的最佳匹配块修补待修补区域的图像后，修补后图像的色彩也比较平滑，同时纹理也有平滑的效果，从而使得在修补单一纹理背景的图像时，修补后图像的延续性较好。

参考图6所示，在一个具体的实施例中，上述图5所示的图像修补装置中的查找单元11具体可以通过区域确定单元110和最佳确定单元111来实现，而调整单元12具体可以通过平均值确定单元120和增加单元121来实现，具体地：

区域确定单元110，用于确定一子区域，所述一子区域是以所述待修补区域边界或进行至少一次修补后的所述待修补区域的边界上的一点为中心的一个区域；在所述待修补区域之外的其它区域查找大小与所述一子区域的大小相同的多个区域；

最佳确定单元111，用于将所述区域确定单元110确定的多个区域中，图像纹理信息与所述一子区域的图像纹理信息的匹配度最大的区域作为所述一子区域的最佳匹配块；

则修补单元13，具体用于针对所述一子区域的最佳匹配块，用所述调整后的所述一子区域的最佳匹配块的图像填充所述一子区域。具体地，修补单元13用于将所述调整后的最佳匹配块的图像信息储存为对应的所述一子区域的图像信息，所述图像信息包括所述调整后的所述最佳匹配块的色彩信息和图像纹理信息。

如果所述分布计算单元10计算的色彩分布信息包括所述待修补区域中各个位置的像素值；则平均值确定单元120，用于确定所述最佳匹配块的第二像素平均值，根据所述待修补区域的所述某一部分区域中各个位置的像素值确定与所述最佳匹配块对应的子区域的第一像素平均值；

增加单元121，用于在所述最佳匹配块中各个位置的像素值的基础上分别增加像素值增量得到所述调整后的最佳匹配块中各个位置的像素值，其中，所述像素值增量为所述平均值确定单元120确定的第一像素平均值与第二像素平均值的差值。

在本实施例中，查找单元11通过区域确定单元110和最佳确定单元111确定某一子区域的最佳匹配块后，修补单元12中的平均值确定单元120可以根据分布计算单元10计算的色彩分布信息确定第一像素平均值和第二像素平均值，然后增加单元121可以在最佳确定单元111确定的最佳匹配块中各个位置的像素值基础上增加一个像素值增量得到调整后的最佳匹配块中各个位置的像素值；最后由修补单元13根据增加单元121得到的调整后的最佳匹配块中各个位置的像素值修补待修补区域的图像。这样通过查找单元11、调整单元12及修补单元13之间的配合，可以将待修补区域的所有部分区域的图像都修补完。

本发明实施例还提供一种终端设备，其结构示意图如图7所示，该终端设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)20(例如，一个或一个以上处理器)和存储器21，一个或一个以上存储应用程序221或数据222的存储介质22(例如一个或一个以上海量存储设备)。其中，存储器21和存储介质22可以是短暂存储或持久存储。存储在存储介质22的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对终端设备中的一系列指令操作。更进一步地，中央处理器20可以设置为与存储介质22通信，在终端设备上执行存储介质22中的一系列指令操作。

终端设备还可以包括一个或一个以上电源23，一个或一个以上有线或无线网络接口24，一个或一个以上输入输出接口25，和/或，一个或一个以上操作系统223，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述方法实施例中所述的由图像修补装置所执行的步骤可以基于该图7所示的终端设备的结构。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM)、随机存取存储器RAM)、磁盘或光盘等。

以上对本发明实施例所提供的图像修补方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。