一种图像处理方法和装置与流程

[0001]
本发明涉及计算机技术领域，尤其涉及一种图像处理方法和装置。


背景技术：

[0002]
人脸识别的应用十分广泛，比如已成功应用在了支付、认证、签到等场景下。然而目前开源的数据集及模型主要针对的是不佩戴任何物品的人脸的图像，由于佩戴物品的人脸识别训练样本难以采集更难以标记，导致样本缺乏，在一些例如疫情期间等大量的戴口罩的场景中，人脸识别的性能无法满足要求。现有将对象（例如所佩戴的物品的图像）添加到人脸图像的方案有两种：方案一是人工操作，如采用ps（photoshop，一种图像处理软件）等技术进行对象添加；方案二是基于2d（二维）关键点的添加方式，完成图像处理。
[0003]
然而，现有技术中至少存在如下问题：方案一需要大量的人力参与，且需要具备一定的专业技能，导致不适用于大规模的图像处理，无法满足深度学习模型训练的数据规模要求；方案二只适用于正脸照，对于侧脸等情况的样本生成效果并不好。


技术实现要素：

[0004]
有鉴于此，本发明实施例提供一种图像处理方法和装置，能够不需要人工标记，对目前已有的大规模的人脸图像进行对象添加，获得满足深度学习模型训练的数据规模要求的样本数据，解决由于缺乏样本数据而导致的佩戴物品的人脸识别性能低的问题，且适用于人脸的侧脸及各种姿态的样本生成。
[0005]
为实现上述目的，根据本发明实施例的一个方面，提供了一种图像处理方法。
[0006]
一种图像处理方法，包括：按照预设模型，对包含对象的第一人脸图像进行处理，生成对象纹理图；根据待添加所述对象的第二人脸图像，通过3d（三维）重建模型生成人脸纹理图；对所述对象纹理图与所述人脸纹理图进行融合，得到融合的纹理图，对所述融合的纹理图进行渲染，得到与所述第二人脸图像对应的添加所述对象后的第三人脸图像。
[0007]
可选地，所述按照预设模型，对包含对象的第一人脸图像进行处理，生成对象纹理图，包括：从包含对象的第一人脸图像中分割出对象区域；根据所述对象区域，通过3d重建模型生成对象纹理图。
[0008]
可选地，所述第一人脸图像为正面或侧面人脸图像，所述侧面人脸图像是人脸偏转一定角度的人脸图像，所述第二人脸图像的数量为多个，且至少部分所述第二人脸图像为侧面人脸图像，所述第二人脸图像、所述人脸纹理图、所述第三人脸图像一一对应且数目相同。
[0009]
可选地，所述得到与所述第二人脸图像对应的添加所述对象后的第三人脸图像之后，包括：利用多个添加所述对象后的第三人脸图像作为训练样本，训练人脸识别模型，所述训练样本中至少部分所述第三人脸图像为侧面人脸图像，所述人脸识别模型用于对包含所述对象的给定人脸图像进行人脸识别。
[0010]
根据本发明实施例的另一方面，提供了一种图像处理装置。
[0011]
一种图像处理装置，包括：对象纹理图生成模块，用于按照预设模型，对包含对象的第一人脸图像进行处理，生成对象纹理图；人脸纹理图生成模块，用于根据待添加所述对象的第二人脸图像，通过3d重建模型生成人脸纹理图；对象添加模块，用于对所述对象纹理图与所述人脸纹理图进行融合，得到融合的纹理图，对所述融合的纹理图进行渲染，得到与所述第二人脸图像对应的添加所述对象后的第三人脸图像。
[0012]
可选地，所述对象纹理图生成模块还用于：从包含对象的第一人脸图像中分割出对象区域；根据所述对象区域，通过3d重建模型生成对象纹理图。
[0013]
可选地，所述第一人脸图像为正面或侧面人脸图像，所述侧面人脸图像是人脸偏转一定角度的人脸图像，所述第二人脸图像的数量为多个，且至少部分所述第二人脸图像为侧面人脸图像，所述第二人脸图像、所述人脸纹理图、所述第三人脸图像一一对应且数目相同。
[0014]
可选地，还包括人脸识别模型训练模块，用于：利用多个添加所述对象后的第三人脸图像作为训练样本，训练人脸识别模型，所述训练样本中至少部分所述第三人脸图像为侧面人脸图像，所述人脸识别模型用于对包含所述对象的给定人脸图像进行人脸识别。
[0015]
根据本发明实施例的又一方面，提供了一种电子设备。
[0016]
一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本发明实施例所提供的图像处理方法。
[0017]
根据本发明实施例的又一方面，提供了一种计算机可读介质。
[0018]
一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例所提供的图像处理方法。
[0019]
上述发明中的一个实施例具有如下优点或有益效果：按照预设模型，对包含对象的第一人脸图像进行处理，生成对象纹理图；根据待添加对象的第二人脸图像，通过3d重建模型生成人脸纹理图；对对象纹理图与人脸纹理图进行融合，得到融合的纹理图，对融合的纹理图进行渲染，得到与第二人脸图像对应的添加对象后的第三人脸图像。能够不需要人工标记，对目前已有的大规模的人脸图像进行对象添加，获得满足深度学习模型训练的数据规模要求的样本数据，解决由于缺乏样本数据而导致的佩戴物品的人脸识别性能低的问题，且适用于人脸的侧脸及各种姿态的样本生成。
[0020]
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
[0021]
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：图1是根据本发明实施例的图像处理的方法的主要步骤示意图；图2是根据本发明一个实施例的图像处理的流程示意图；图3是根据本发明实施例的图像处理装置的主要模块的示意图；图4是本发明实施例可以应用于其中的示例性系统架构图；图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
[0022]
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]
图1是根据本发明一个实施例的图像处理方法的主要步骤示意图。
[0024]
如图1所示，本发明一个实施例的图像处理方法主要包括如下的步骤s101至步骤s103。
[0025]
步骤s101：按照预设模型，对包含对象的第一人脸图像进行处理，生成对象纹理图。
[0026]
预设模型可以包括图像分割模型、3d重建模型。步骤s101具体可以包括：利用图像分割模型从包含对象的第一人脸图像中分割出对象区域；根据对象区域，通过3d重建模型生成对象纹理图。
[0027]
对象可以是人脸佩戴的物品的图像，例如口罩图像等。
[0028]
步骤s102：根据待添加对象的第二人脸图像，通过3d重建模型生成人脸纹理图。
[0029]
步骤s103：对对象纹理图与人脸纹理图进行融合，得到融合的纹理图，对融合的纹理图进行渲染，得到与第二人脸图像对应的添加对象后的第三人脸图像。
[0030]
第一人脸图像为正面或侧面人脸图像，侧面人脸图像是人脸偏转一定角度的人脸图像，正面人脸图像即人脸未发生偏转的人脸图像。在具体实施时，可以自定义一个较小的偏转范围，当人脸偏转角度未超过该偏转范围，则视为未发生偏转，相应的人脸图像即为正面人脸图像，而当人脸偏转角度超过该偏转范围，则视为侧面人脸图像。第二人脸图像的数量为一个或多个。当第二人脸图像的数量为多个时，至少部分第二人脸图像为侧面人脸图像，第二人脸图像、人脸纹理图、第三人脸图像一一对应且数目相同。
[0031]
此外，得到的上述第三人脸图像可以作为训练样本，用于人脸识别模型的训练。
[0032]
例如，在得到与第二人脸图像对应的添加对象后的第三人脸图像之后，可以包括：利用多个添加对象后的第三人脸图像作为训练样本，训练人脸识别模型，训练样本中至少部分第三人脸图像为侧面人脸图像，人脸识别模型用于对包含对象的给定人脸图像进行人脸识别。人脸识别模型可以为各种能用于人脸识别的深度学习模型。
[0033]
下面以对象为口罩图像的情况为例，详细介绍本发明实施例的图像处理方法。
[0034]
图2是根据本发明一个实施例的图像处理的流程示意图。
[0035]
如图2所示，本发明实施例的图像处理流程主要包括到三个环节：（1）口罩模板生成；（2）人脸3d建模；（3）口罩纹理添加及渲染。
[0036]
（1）口罩模板生成首先获取到一张如图2中所示的戴口罩的真实人脸图像（即第一人脸图像），然后通过一个口罩分割模型能够自动将口罩区域（即对象区域）分割出来，得到如图2中所示的分割结果，之后再通过3d重建模型得到口罩的纹理图（即对象纹理图），3d重建模型例如基于2d（二维）关键点拟合得到的3d（三维）模型、3ddfa算法（三维密集人脸对齐算法）等。口罩分割模型具体可以采用各种图像分割模型，例如pspnet（金字塔场景解析网络）、bass（边界感知的语义分割）等。
[0037]
（2）人脸3d建模对于任意一张没有戴口罩的人脸图像（即第二人脸图像），如图2中所示，可以通过3d重建技术（具体可以采用上述的3d重建模型，例如基于2d关键点拟合得到的3d模型、3ddfa算法等）来生成这张人脸的纹理图，如图2中所示，即不戴口罩人脸的纹理图。
[0038]
（3）口罩纹理添加及渲染通过上述两个环节，可以得到口罩的纹理图和目标人脸的纹理图，然后将口罩的纹理图叠加到目标人脸的纹理图上，得到如图2中所示的融合结果，即融合的纹理图，再利用渲染（render）技术对融合的纹理图进行渲染，得到2d下的完整的人脸图结果（即第三人脸图像），如图2中所示的戴口罩的人脸图。
[0039]
图3是根据本发明一个实施例的图像处理装置的主要模块示意图。
[0040]
如图3所示，本发明一个实施例的图像处理装置300主要包括：对象纹理图生成模块301、人脸纹理图生成模块302、对象添加模块303。
[0041]
对象纹理图生成模块301，用于按照预设模型，对包含对象的第一人脸图像进行处理，生成对象纹理图。
[0042]
在一个实施例中，对象纹理图生成模块301还用于：从包含对象的第一人脸图像中分割出对象区域；根据对象区域，通过3d重建模型生成对象纹理图。
[0043]
人脸纹理图生成模块302，用于根据待添加对象的第二人脸图像，通过3d重建模型生成人脸纹理图。
[0044]
对象添加模块303，用于对对象纹理图与人脸纹理图进行融合，得到融合的纹理图，对融合的纹理图进行渲染，得到与第二人脸图像对应的添加对象后的第三人脸图像。
[0045]
在一个实施例中，第一人脸图像为正面或侧面人脸图像，侧面人脸图像是人脸偏转一定角度的人脸图像，第二人脸图像的数量为多个，且至少部分第二人脸图像为侧面人脸图像，第二人脸图像、人脸纹理图、第三人脸图像一一对应且数目相同。
[0046]
在一个实施例中，还包括人脸识别模型训练模块，用于：利用多个添加对象后的第三人脸图像作为训练样本，训练人脸识别模型，训练样本中至少部分第三人脸图像为侧面人脸图像，人脸识别模型用于对包含对象的给定人脸图像进行人脸识别。
[0047]
另外，在本发明实施例中图像处理装置的具体实施内容，在上面图像处理方法中已经详细说明了，故在此重复内容不再说明。
[0048]
图4示出了可以应用本发明实施例的图像处理方法或图像处理装置的示例性系统架构400。
[0049]
如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0050]
用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等（仅为示例）。
[0051]
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0052]
服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403
所浏览的购物类网站提供支持的后台管理服务器（仅为示例）。后台管理服务器可以对接收到的图像处理请求等数据进行处理，并将处理结果（例如处理后的图像
--
仅为示例）反馈给终端设备。
[0053]
需要说明的是，本发明实施例所提供的图像处理方法一般由服务器405执行，相应地，图像处理装置一般设置于服务器405中。
[0054]
应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0055]
下面参考图5，其示出了适于用来实现本发明实施例的终端设备或服务器的计算机系统500的结构示意图。图5示出的终端设备或服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0056] 如图5所示，计算机系统500包括中央处理单元（cpu）501，其可以根据存储在只读存储器（rom）502中的程序或者从存储部分508加载到随机访问存储器（ram）503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有系统500操作所需的各种程序和数据。cpu 501、rom 502以及ram 503通过总线504彼此相连。输入/输出（i/o）接口505也连接至总线504。
[0057]
以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管（crt）、液晶显示器（lcd）等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
[0058]
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元（cpu）501执行时，执行本发明的系统中限定的上述功能。
[0059]
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑磁盘只读存储器（cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于
由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0060]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0061]
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括对象纹理图生成模块、人脸纹理图生成模块、对象添加模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，对象纹理图生成模块还可以被描述为“用于按照预设模型，对包含对象的第一人脸图像进行处理，生成对象纹理图的模块”。
[0062]
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：按照预设模型，对包含对象的第一人脸图像进行处理，生成对象纹理图；根据待添加对象的第二人脸图像，通过3d重建模型生成人脸纹理图；对所述对象纹理图与所述人脸纹理图进行融合，得到融合的纹理图，对所述融合的纹理图进行渲染，得到与所述第二人脸图像对应的添加所述对象后的第三人脸图像。
[0063]
根据本发明实施例的技术方案，按照预设模型，对包含对象的第一人脸图像进行处理，生成对象纹理图；根据待添加对象的第二人脸图像，通过3d重建模型生成人脸纹理图；对对象纹理图与人脸纹理图进行融合，得到融合的纹理图，对融合的纹理图进行渲染，得到与第二人脸图像对应的添加对象后的第三人脸图像。能够不需要人工标记，对目前已有的大规模的人脸图像进行对象添加，获得满足深度学习模型训练的数据规模要求的样本数据，解决由于缺乏样本数据而导致的佩戴物品的人脸识别性能低的问题，且适用于人脸的侧脸及各种姿态的样本生成。
[0064]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。