图像数据处理方法、装置、计算机设备以及存储介质与流程

文档序号:19658621发布日期:2020-01-10 20:47阅读:183来源:国知局
图像数据处理方法、装置、计算机设备以及存储介质与流程

本申请涉及互联网技术领域,尤其涉及一种图像数据处理方法、装置、计算机设备以及存储介质。



背景技术:

随着人脸识别技术的不断发展,人脸识别应用的领域越来越多,如在公益寻人中,可以采用人脸识别技术,从公安系统存储的户籍照片中确定与被拐人员照片相匹配的户籍照片,进而找到被拐人员。然而,被拐人员大多数是在孩童时期被拐卖,随着被拐时长的增加,被拐人员的脸部会发生较大变化,使用孩童时期的照片进行人脸识别,得到的结果并不准确。

现有技术中,可以基于被拐人员在孩童时期的脸部照片,采用人为经验绘制出该被拐人员在当前年龄的人脸图像,根据绘制出的人脸图像,在相同年龄段的户籍照片中进行人脸识别,进而找到被拐人员。然而,现有技术中绘制被拐人员在当前年龄的人脸图像,过分依赖于人为经验,且操作过程过于繁琐,导致图像的生成效率低下。



技术实现要素:

本申请实施例提供一种图像数据处理方法、装置、计算机设备以及存储介质,可以提高图像的生成效率。

本申请实施例一方面提供了一种图像数据处理方法,包括:

获取样本图像,从识别模型中获取所述样本图像中所包含的样本对象对应的样本鉴别特征;

获取样本体征状态条件,将所述样本体征状态条件对应的样本状态特征与所述样本鉴别特征进行拼接,得到样本联合特征;

将所述样本联合特征输入初始生成模型中,基于所述初始生成模型,生成所述样本图像对应的待判别图像;

基于所述样本图像、所述待判别图像以及所述识别模型,修正所述初始生成模型的第一网络参数;

将包含修正后的第一网络参数的初始生成模型确定为生成模型;所述生成模型用于生成源图像对应的目标图像,所述目标图像中的目标对象与所述源图像中的源对象具有相同的身份信息。

其中,所述获取样本图像,从识别模型中获取所述样本图像中所包含的样本对象对应的样本鉴别特征,包括:

获取所述样本图像,对所述样本图像进行尺寸调整,得到待识别样本图像;

对所述待识别样本图像中所包含的像素值进行归一化,将归一化后的待识别样本图像输入至所述识别模型,基于所述识别模型,生成所述样本图像中所包含的样本对象对应的样本鉴别特征。

其中,所述基于所述样本图像、所述待判别图像以及所述识别模型,修正所述初始生成模型的第一网络参数,包括:

获取判别模型,基于所述判别模型,确定所述待判别图像对应的对抗误差;所述对抗误差是基于所述待判别图像对应的真实图像匹配度所确定的;

确定所述样本图像与所述待判别图像之间的像素误差;

基于所述识别模型,确定所述待判别图像对应的分类误差;所述分类误差是基于所述待判别图像对应的身份信息和所述样本图像对应的身份信息所确定的;

根据所述对抗误差、所述像素误差以及所述分类误差,修正所述初始生成模型的第一网络参数。

其中,所述基于所述识别模型,确定所述待判别图像对应的分类误差,包括:

将所述待判别图像确定为所述识别模型的输入数据,基于所述识别模型,获取所述待判别图像与所述样本图像之间的身份相似度;

基于所述身份相似度,确定所述待判别图像对应的分类误差。

其中,所述根据所述对抗误差、所述像素误差以及所述分类误差,修正所述初始生成模型的第一网络参数,包括:

获取所述对抗误差对应的第一权重参数、所述像素误差对应的第二权重参数以及所述分类误差对应的第三权重参数;

基于所述第一权重参数与所述对抗误差的乘积、所述第二权重参数与所述像素误差的乘积、以及所述第三权重参数与所述分类误差的乘积,确定所述初始生成模型对应的第一总误差;

根据所述第一总误差修正所述初始生成模型的第一网络参数。

其中,所述方法还包括:

基于所述样本图像与所述待判别图像,确定所述判别模型对应的判别误差;所述判别误差是基于所述样本图像和所述待判别图像分别对应的真实图像匹配度所确定的;

基于所述判别模型,获取所述待判别图像对应的预估体征状态信息,确定所述预估体征状态信息与所述样本体征状态条件之间的体征状态误差;

基于所述判别误差与所述体征状态误差,修正所述判别模型的第二网络参数。

其中,所述基于所述判别误差与所述体征状态误差,修正所述判别模型的第二网络参数,包括:

获取所述判别误差对应的第四权重参数,将所述第四权重参数与所述判别误差的乘积,以及所述体征状态误差,确定所述判别模型对应的第二总误差;

根据所述第二总误差修正所述判别模型的第二网络参数。

本申请实施例一方面提供了一种图像数据处理方法,包括:

获取源图像,确定所述源图像中所包含的源对象对应的脸部鉴别特征;

获取体征状态条件,将所述体征状态条件对应的状态特征与所述脸部鉴别特征进行拼接,得到联合特征;

将所述联合特征输入生成模型中,基于所述生成模型,生成所述源图像对应的目标图像;所述目标图像中的目标对象与所述源图像中的所述源对象具有相同的身份信息,且所述目标图像中的所述目标对象具有所述体征状态条件对应的体征状态。

其中,所述获取体征状态条件,将所述体征状态条件对应的状态特征与所述脸部鉴别特征进行拼接,得到联合特征,包括:

获取体征状态对应的初始向量以及所述体征状态条件,确定所述体征状态条件对应的目标体征维度;所述初始向量包括多个体征维度分别对应的数值;所述多个体征维度包括所述目标体征维度;

对所述初始向量中与所述目标体征维度对应的数值进行更新,将数值更新后的初始向量确定为所述体征状态条件对应的所述状态特征;

将所述状态特征与所述脸部鉴别特征进行拼接,得到联合特征。

其中,所述方法还包括:

将所述目标图像与图像数据库中所包含的面部图像进行检索比对,获取所述目标图像与所述图像数据库中的每个面部图像之间的相似度;

基于所述相似度,在所述图像数据库中确定与所述源图像相匹配的目标面部图像。

本申请实施例一方面提供了一种图像数据处理装置,包括:

第二获取模块,用于获取样本图像,从识别模型中获取所述样本图像中所包含的样本对象对应的样本鉴别特征;

第二拼接模块,用于获取样本体征状态条件,将所述样本体征状态条件对应的样本状态特征与所述样本鉴别特征进行拼接,得到样本联合特征;

第二生成模块,用于将所述样本联合特征输入初始生成模型中,基于所述初始生成模型,生成所述样本图像对应的待判别图像;

第一修正模块,用于基于所述样本图像、所述待判别图像以及所述识别模型,修正所述初始生成模型的第一网络参数;

确定模块,用于将包含修正后的第一网络参数的初始生成模型确定为生成模型;所述生成模型用于生成源图像对应的目标图像,所述目标图像中的目标对象与所述源图像中的源对象具有相同的身份信息。

其中,所述第二获取模块包括:

尺寸调整单元,用于获取所述样本图像,对所述样本图像进行尺寸调整,得到待识别样本图像;

归一化单元,用于对所述待识别样本图像中所包含的像素值进行归一化,将归一化后的待识别样本图像输入至所述识别模型,基于所述识别模型,生成所述样本图像中所包含的样本对象对应的样本鉴别特征。

其中,所述第一修正模块包括:

对抗误差确定单元,用于获取判别模型,基于所述判别模型,确定所述待判别图像对应的对抗误差;所述对抗误差是基于所述待判别图像对应的真实图像匹配度所确定的;

像素误差确定单元,用于确定所述样本图像与所述待判别图像之间的像素误差;

分类误差确定单元,用于基于所述识别模型,确定所述待判别图像对应的分类误差;所述分类误差是基于所述待判别图像对应的身份信息和所述样本图像对应的身份信息所确定的;

网络参数修正单元,用于根据所述对抗误差、所述像素误差以及所述分类误差,修正所述初始生成模型的第一网络参数。

其中,所述分类误差确定单元包括:

相似度获取子单元,用于将所述待判别图像确定为所述识别模型的输入数据,基于所述识别模型,获取所述待判别图像与所述样本图像之间的身份相似度;

误差确定子单元,用于基于所述身份相似度,确定所述待判别图像对应的分类误差。

其中,所述网络参数修正单元包括:

第一参数获取子单元,用于获取所述对抗误差对应的第一权重参数、所述像素误差对应的第二权重参数以及所述分类误差对应的第三权重参数;

第一总误差确定子单元,用于基于所述第一权重参数与所述对抗误差的乘积、所述第二权重参数与所述像素误差的乘积、以及所述第三权重参数与所述分类误差的乘积,确定所述初始生成模型对应的第一总误差;

第一参数修正子单元,用于根据所述第一总误差修正所述初始生成模型的第一网络参数。

其中,所述装置还包括:

判别误差确定模块,用于基于所述样本图像与所述待判别图像,确定所述判别模型对应的判别误差;所述判别误差是基于所述样本图像和所述待判别图像分别对应的真实图像匹配度所确定的;

状态误差确定模块,用于基于所述判别模型,获取所述待判别图像对应的预估体征状态信息,确定所述预估体征状态信息与所述样本体征状态条件之间的体征状态误差;

第二修正模块,用于基于所述判别误差与所述体征状态误差,修正所述判别模型的第二网络参数。

其中,所述第二修正模块包括:

第二总误差确定单元,用于获取所述判别误差对应的第四权重参数,将所述第四权重参数与所述判别误差的乘积,以及所述体征状态误差,确定所述判别模型对应的第二总误差;

第二网络参数修正单元,用于根据所述第二总误差修正所述判别模型的第二网络参数。

本申请实施例一方面提供了一种图像数据处理装置,包括:

第一获取模块,用于获取源图像,确定所述源图像中所包含的源对象对应的脸部鉴别特征;

第一拼接模块,用于获取体征状态条件,将所述体征状态条件对应的状态特征与所述脸部鉴别特征进行拼接,得到联合特征;

第一生成模块,用于将所述联合特征输入生成模型中,基于所述生成模型,生成所述源图像对应的目标图像;所述目标图像中的目标对象与所述源图像中的所述源对象具有相同的身份信息,且所述目标图像中的所述目标对象具有所述体征状态条件对应的体征状态。

其中,所述第一拼接模块包括:

体征维度确定单元,用于获取体征状态对应的初始向量以及所述体征状态条件,确定所述体征状态条件对应的目标体征维度;所述初始向量包括多个体征维度分别对应的数值;所述多个体征维度包括所述目标体征维度;

更新单元,用于对所述初始向量中与所述目标体征维度对应的数值进行更新,将数值更新后的初始向量确定为所述体征状态条件对应的所述状态特征;

拼接单元,用于将所述状态特征与所述脸部鉴别特征进行拼接,得到联合特征。

其中,所述装置还包括:

检索模块,用于将所述目标图像与图像数据库中所包含的面部图像进行检索比对,获取所述目标图像与所述图像数据库中的每个面部图像之间的相似度;

匹配模块,用于基于所述相似度,在所述图像数据库中确定与所述源图像相匹配的目标面部图像。

本申请实施例一方面提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行本申请实施例中一方面中所述方法的步骤。

本申请实施例一方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行如本申请实施例中一方面中所述方法的步骤。

本申请实施例通过从识别模型中获取源图像对应的脸部鉴别特征,并将获取到的体征状态条件对应的状态特征与脸部鉴别特征进行拼接,得到联合特征,进而可以将联合特征输入生成模型中,基于该生成模型可以生成与源图像具有相同身份信息的目标图像,且该目标图像具有体征状态条件对应的体征状态。上述可知,通过识别模型对源图像中的脸部鉴别特征进行提取,并将提取到的脸部鉴别特征与条件变量(即体征状态条件)同时作为生成模型的输入,生成该条件变量下的目标图像,即联合识别模型和生成模型,可以提高图像的生成效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种网络架构图;

图2是本申请实施例提供的一种图像数据处理场景示意图;

图3是本申请实施例提供的一种图像数据处理方法的流程示意图;

图4是本申请实施例提供的另一种图像数据处理方法的流程示意图;

图5是本申请实施例提供的一种生成目标图像的示意图;

图6是本申请实施例提供的另一种图像数据处理方法的流程示意图;

图7是本申请实施例提供的一种训练初始生成模型的示意图;

图8是本申请实施例提供的一种模型训练的框架示意图;

图9是本申请实施例提供的一种图像数据处理装置的结构示意图;

图10是本申请实施例提供的另一种图像数据处理装置的结构示意图;

图11是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

人工智能(artificialintelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请实施例提供的方案属于人工智能领域下属的计算机视觉技术(computervision,cv)和机器学习(machinelearning,ml)。

计算机视觉技术是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。在本申请中,尤其涉及到计算机视觉中的人脸识别(humanfacerecognition),人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。采用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像或视频流中检测和跟踪人脸,进而对检测到的人脸进行脸部识别的一系列相关技术,通常也叫做人像识别、面部识别。

请参见图1,是本申请实施例提供的一种网络架构图。该网络架构可以包括服务器200a以及多个终端设备(如图1所示,具体包括终端设备100a、终端设备100b以及终端设备100c),服务器200a可以通过网络与每个终端设备进行数据传输。

以终端设备100a为例,当终端设备100a获取到用户输入的源图像以及用户选择的体征状态条件时,终端设备100a可以将获取到的源图像和体征状态条件发送至服务器200a。服务器200a可以基于识别模型从源图像中获取脸部鉴别特征,并将脸部鉴别特征与体征状态条件对应的状态特征进行拼接,得到联合特征,并将联合特征输入生成模型中,基于该生成模型生成目标图像。例如,源图像为一张5岁孩童的脸部图像,体征状态条件为年龄20岁,则服务器200a可以基于识别模型和生成模型,最终生成20岁成人的脸部图像,且20岁成人的脸部图像和5岁孩童的脸部图像为同一个人。服务器200a可以将得到的20岁成人的脸部图像发送至终端设备100a,终端设备100a可以在屏幕上显示该20岁成人的脸部图像,以便用户对该20岁成人的脸部图像进行保存。其中,脸部鉴别特征是用于描述源图像中所包含的源对象具有的特定属性信息,即采用该脸部鉴别特征可以对源图像中的源对象与其余图像中的其余对象进行区分。例如,源图像中的源对象为小a的人脸,则源图像对应的脸部鉴别特征可以包括小a的脸部皮肤纹理、脸部轮廓等脸部全局信息以及眼睛、鼻子、嘴巴、眉毛、下巴等局部信息。

当然,若终端设备100a集成了脸部识别功能和图像生成功能,也可以直接由终端设备100a提取源图像对应的脸部鉴别特征,进而根据脸部鉴别特征和体征状态条件对应的状态特征生成源图像对应的目标图像。下述均以终端设备100a如何提取脸部鉴别特征,以及如何生成目标图像为例进行具体说明。其中,终端设备100a、终端设备100b以及终端设备100c等可以包括手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobileinternetdevice,mid)、可穿戴设备(例如智能手表、智能手环等)等。

请参见图2,是本申请实施例提供的一种图像数据处理场景示意图。以跨年龄人脸图像转换为例,如图2所示,用户可以从终端设备100a中打开存储图像的应用(例如图库应用等),从应用中选择图像20a作为需要进行跨年龄转换的源图像;当然,用户也可以使用扫描器将纸质照片扫描成电子照片上传至终端设备100a,并将扫描的电子照片作为需要进行跨年龄转换的源图像。用户在确定了图像20a后,可以进一步选择图像20a对应的转换年龄(也可以称为体征状态条件),即用户想要图像20a中的人脸图像所达到的年龄。其中,转换年龄可以为人类正常年龄范围内的任一年龄,如用户可以从年龄选择框20b中选择数值20作为图像20a对应的转换年龄,年龄选择框20b可以为用户提供1-120范围内的任意年龄,当然,用户也可以在该年龄选择框20b中手动输入想要进行转换的年龄。

终端设备100a可以获取识别模型20c,该识别模型20c(也可以称为人脸识别模型)已经基于人脸图像完成训练,具备人脸识别功能,基于该识别模型20c,可以提取人脸图像中的鉴别特征,即该鉴别特征可以很好地保留原始人脸图像中的鉴别信息。换言之,终端设备100a可以将图像20a输入识别模型20c中,基于该识别模型20c,可以从图像20a中提取出脸部鉴别特征20d,该脸部鉴别特征20d用于表征图像20a中所包含的人脸区分于其余人脸的脸部信息,例如,图像20a中的人脸图像为小a时,可以通过识别模型20c提取出的脸部鉴别特征20d可以表示为小a区分于其余人的脸部特征信息。

在用户确定了图像20a对应的转换年龄为20后,终端设备100a可以获取年龄20对应的年龄码20e(也可以称为体征状态条件对应的状态特征),该年龄码20e可以为一个独热码(one-hotcode),即只有转换年龄对应的位置为1,其余位置均为0的向量,该年龄码20e的维度为上述年龄选择框20b中所提供的年龄维度,例如,年龄选择框20b中所提供的年龄范围为1-120,则年龄码20e可以为一个120维的向量,且只有在向量的第20个位置为数值1,其余位置均为0。终端设备100a可以将识别模型20c提取到的脸部鉴别特征20d与年龄20对应的年龄码20e进行拼接,即将脸部鉴别特征20d与年龄码20e拼接为一个向量,该拼接成的向量可以称为联合特征。

终端设备100a可以获取生成模型20f,该生成模型20c已经基于生成对抗式网络完成训练,具备特定条件下的图像生成功能,该生成模型20f可以基于输入数据生成新的图像。换言之,终端设备100a可以将脸部鉴别特征20d与年龄码20e拼接得到的联合特征输入该生成模型20c中,通过该生成网络20f可以对输入的特征进行上采样过程,生成包含上述脸部鉴别特征20d的新图像20g(也可以称为目标图像),且该新图像20g中的人脸所对应的年龄为20岁。终端设备100a可以对该新图像20g进行展示并保存,并将该生成的图像用于其余检索任务。例如,对于多年前在幼年时期走失的人员,该人员会随着年龄的增长,脸部发生较大变化,因此根据该人员在走失前的照片,很难对该人员进行查找,可以使用上述方法生成该人员当前年龄条件下的人脸图像,如某人在1岁时走丢,7年来一直没有寻找到该走失人员,则可以使用扫描器对该走失人员1岁时的照片进行扫描,并上传至终端设备100a,并选择数值8作为1岁人脸图像对应的转换年龄。终端设备100a可以将该走丢人员的1岁人脸图像输入识别模型20c中,并通过该识别模型20c提取该1岁人脸图像所对应的脸部鉴别特征,并将脸部鉴别特征与8岁对应的年龄码进行拼接,并将拼接之后的向量输入生成网络20f中,生成该走失人员在8岁时的人脸图像。公安部门可以获取所有青少年学生对应的户籍照片或者学籍照片,并基于上述走失人员在8岁时的人脸图像,对所有户籍照片或者学籍照片进行检索比对,找出相似度较高的户籍或者学籍照片,由公安部门对相似度较高的户籍或者学籍照片进行进一步地身份确认,进而找到上述走失人员。当然,可以使用上述人脸识别20c与上述生成模型20f,生成该走失人员2-8岁分别对应的人脸图像。

在采用识别模型和生成模型对源图像进行转换(即生成源图像对应的目标图像)之前,需要对识别模型和生成模型均进行训练。请参见图3,是本申请实施例提供的一种图像数据处理方法的流程示意图。如图3所示,该图像数据处理方法可以包括:

步骤s101,获取样本图像,从识别模型中获取所述样本图像中所包含样本对象对应的样本鉴别特征;

具体的,终端设备可以将识别模型和生成模型分开进行训练,在开始训练生成模型之前,需要预先训练识别模型,用于提取图像的脸部鉴别特征。该识别模型的训练过程与公开的识别模型训练方式一致,如deepface(一种人脸识别模型)、deepid(一种人脸识别模型)以及facenet(一种人脸识别模型)等模型,这里不再进行具体描述。在完成识别模型的训练后,终端设备可以开始进行生成模型的训练过程。

终端设备可以获取样本图像,并将样本图像输入上述训练好的识别模型中,可以得到,通过识别模型,可以从样本图像中提取出样本鉴别特征。换言之,将样本图像输入识别模型中后,可以在该识别模型中对样本图像进行下采样,进而抽取出样本图像中的样本鉴别特征。其中,样本图像是指从样本训练数据集中选择的任意一张图像,样本训练数据集可以由不同人在不同年龄的人脸图像构成,且对每张人脸图像标记了对应的年龄信息,换言之,样本训练数据集中可以包括人脸图像与年龄信息之间的对应关系。

在将样本图像输入识别模型之前,还可以对样本图像进行预处理,预处理可以包括对样本图像进行尺寸调整,得到待识别样本图像,进而对待识别样本图像中所包含的像素值进行归一化,将归一化后的待识别样本图像输入识别模型中,进而在识别模型中获取图像的样本鉴别特征。换言之,在将样本图像输入识别模型之前,需要将样本图像调整至固定尺寸,如将每张样本图像的尺寸调整至256*256,并将调整尺寸后的样本图像进行像素归一化处理,即将样本图像中的像素值归一化至0-1范围内,经过尺寸调整和像素归一化处理的样本图像可以称为识别模型中的标准化图像。将标准化图像输入识别模型中时,不仅可以降低在识别模型中的运算量,还可以使提取到的样本鉴别特征能更好地保留样本图像的鉴别信息。

步骤s102,获取样本体征状态条件,将所述样本体征状态条件对应的样本状态特征与所述样本鉴别特征进行拼接,得到样本联合特征;

具体的,终端设备可以获取样本体征状态条件,基于体征状态对应的初始向量确定样本体征状态条件对应的样本状态特征,将样本鉴别特征与样本状态特征进行拼接,得到样本联合特征。其中,体征状态对应的初始向量是预先设置好的,初始向量为零向量,即全为零的向量,进而根据体征状态的体征类型确定初始向量的维度,如体征状态为年龄状态时,年龄范围为1-100,可以确定初始向量的维度为100维;年龄范围为10-90,可以确定初始向量的维度为80维。在训练过程中,可以将样本图像的真实年龄作为该样本图像对应的样本体征状态条件,则后续生成待判别图像的过程可以理解为图像的重建过程。可选的,样本体征状态条件也可以为一个随机的年龄,则后续生成待判别图像的过程可以理解为图像的转换过程,即使得生成的待判别图像具有样本体征状态条件对应的年龄。

步骤s103,将所述样本联合特征输入初始生成模型中,基于所述初始生成模型,生成所述样本图像对应的待判别图像;

具体的,终端设备获取初始生成模型,即终端设备对需要进行训练的生成模型进行初始化,将完成初始化的生成模型称为初始生成模型。终端设备将样本联合特征输入初始生成模型中,基于初始生成模型,对样本联合特征进行上采样,生成与样本图像对应的待判别图像。换言之,待判别图像是通过已经训练好的识别模型与初始生成模型所得到的图像。

步骤s104,基于所述样本图像、所述待判别图像以及所述识别模型,修正所述初始生成模型的第一网络参数;

具体的,为了使初始生成模型生成的待判别图像更为真实,需要获取与初始生成模型对应的判别模型,以生成对抗式网络的训练方式对初始生成模型进行训练,不断调整该初始生成模型的第一网络参数。样本图像经过初始生成网络的一次前向计算,可以得到样本图像对应的待判别图像,将待判别图像输入判别模型中可以得到该待判别图像对应的判别结果,基于判别结果可以对判别模型的参数进行优化调整。同理,基于判别模型对待判别图像的判别结果可以对初始生成模型的网络参数进行优化调整,同时,为了确保初始生成网络生成的待判别图像具有与样本图像相同的对象描述信息,可以引入识别模型,通过图像分类约束调整初始生成网络的网络参数,还可以通过计算待判别图像与样本图像之间的像素误差调整初始生成网络的网络参数。通过判别模型与初始生成模型之间的不断交替训练,可以得到初始生成模型最终的网络参数,即最优的网络参数。

步骤s105,将包含修正后的第一网络参数的初始生成模型确定为生成模型;所述生成模型用于生成源图像对应的目标图像,所述目标图像与所述源图像具有相同的身份信息。

具体的,通过不断地调整初始生成模型中的网络参数,直至达到最优的网络参数,可以将具有最优网络参数的初始生成模型确定为生成模型,该生成模型可以用于跨年龄人脸图像的生成,即该生成模型用于生成源图像对应的目标图像,且目标图像中的人脸与源图像中的人脸为同一个人。

本申请实施例以端到端的训练方式,将生成对抗式网络、识别模型以及体征状态条件融合在一起,可以提升生成模型的性能,即在确保生成模型生成的目标图像在保留源图像脸部鉴别特征的前提下,可以提高目标图像的真实性。

请参见图4,是本申请实施例提供的另一种图像数据处理方法的流程示意图。如图4所示,该图像数据处理方法可以包括:

步骤s201,获取源图像,确定所述源图像中所包含的源对象对应的脸部鉴别特征;

具体的,终端设备(对应于上述图2所对应实施例中的终端设备100a)可以获取源图像(对应于上述图2所对应实施例中的图像20a),并将源图像输入训练好的识别模型(对应于上述图2所对应实施例中的识别模型20c)中,通过该识别模型,可以从源图像中提取出脸部鉴别特征(对应于上述图2所对应实施例中的脸部鉴别特征20d)。其中,源图像可以是指用户上传至终端设备的任一年龄的人脸图像,当源图像为人脸图像时,识别模型可以称为人脸识别模型,即该识别模型可以用于提取人脸特征,并基于人脸特征识别出该人脸对应的身份信息,该识别模型可以由卷积神经网络构成。当然,源图像还可以是指动物脸部图像,如猫、狗等动物的图像,当源图像为某一类动物的脸部图像时,此时的识别模型可以用于提取该类动物的脸部特征信息(包括动物脸部的眼睛、毛发、嘴巴等信息)。

可选的,以源图像是人脸图像为例,该源图像在输入识别模型之前,还需要进行人脸检测、人脸关键点配准等预处理,得到标准化的人脸图像,以提高人脸鉴别特征的鉴别性。人脸检测的目的在于检测源图像中是否存在人脸,若检测到源图像中不存在人脸,或者仅包含人脸的少部分区域(如人脸的额头部分、人脸的嘴巴部分以及人脸的鼻子部分等),或者包含的人脸图像过小(如源图像中所包含的人脸宽度仅为源图像人脸宽度的5%,无法清晰地区分出该人脸的五官信息),则可以确定该源图像为无效图像(即不存在人脸的图像),并停止对该源图像的后续处理过程,换言之,无效图像不需要输入至识别模型中进行特征提取。若检测到源图像中存在人脸,则对源图像进行人脸关键点配准,检测出该源图像中的人脸区域和人脸区域中对应的5个基本特征点(包括嘴巴、鼻子以及眼睛)位置,人脸关键点配准可以理解为将源图像中倾斜的人脸变为正脸,使得人脸处于图像的中心位置。可选的,由于预处理过程还可以包括:从源图像中选取人脸所在区域作为待识别人脸图像,即将源图像中除人脸所在区域外的背景区域进行剔除,并将待识别人脸图像的尺寸调整至固定尺寸(即识别模型中对应的输入图像尺寸,如将尺寸统一调整为256*256)。终端设备将经过预处理的源图像输入识别模型中,进而可以提取出该源图像中人脸的脸部鉴别特征。识别模型可以包括多个卷积层,利用卷积层对输入的图像(即经过预处理之后的源图像)进行下采样(也可以理解为编码过程),得到输入图像的人脸鉴别特征,该人脸鉴别特征可以是指经过多个卷积层中的卷积运算后所得到的特征图。

步骤s202,获取体征状态条件,将所述体征状态条件对应的状态特征与所述脸部鉴别特征进行拼接,得到联合特征;

具体的,终端设备可以获取体征状态对应的初始向量以及体征状态条件,确定体征状态条件对应的目标体征维度,对初始向量中与目标体征维度对应的数值进行更新,将数值更新后的初始向量确定为体征状态条件对应的状态特征,上述初始向量包括多个体征维度分别对应的数值,当然,多个体征维度中包括目标体征维度。将体征状态条件对应的状态特征与脸部鉴别特征进行拼接,将拼接之后的特征称为联合特征。其中,体征状态可以包括年龄状态、身材状态以及健康状态等,体征状态对应的初始向量是指元素全为零的向量,初始向量的维度与体征状态的类型有关。

当体征状态为年龄状态时,初始向量可以是一个100维的零向量,该初始向量可以用于表示1-100范围内的年龄,体征状态条件可以为1-100范围内的任一年龄,如体征状态条件为1时,体征状态条件对应的目标体征维度为初始向量中的第一个位置,即将初始向量的第一个位置上的数值0更新为数值1,并将更新后的初始向量确定为状态特征,换言之,状态特征为第一个位置为1,其余位置均为0的向量,应当理解,状态特征是指只有在体征状态条件对应的位置为1,其余位置均为0的向量。当体征状态条件为身材状态时,初始向量可以是一个5维的零向量,该初始向量可以用于表示胖、偏胖、正常、偏瘦、瘦五种不同程度的胖瘦情况,体征状态条件可以为胖、偏胖、正常、偏瘦、瘦中的任意一种状态,如体征状态条件为胖时,体征状态条件对应的目标体征维度为初始向量中的第一个位置,即将初始向量的第一个位置上的数值0更新为数值1,并将更新后的初始向量确定为状态特征。当体征状态为健康状态时,初始向量可以是一个5维的零向量,该初始向量可以用于表示脸色发白、发烧、正常、嘴唇发紫、脸色蜡黄等不种不同程度的健康状态,体征状态条件可以为脸色发白、发烧、正常、嘴唇发紫、脸色蜡黄中的任一种状态,如体征状态条件为正常时,体征状态条件对应的目标体征维度为初始向量中的第三个位置,即将初始向量的第三个位置上的数值0更新为数值1,并将更新后的初始向量确定为状态特征。

可选的,体征状态条件可以包括多种体征状态下的条件,如体征状态条件同时包括年龄状态下的20岁和身材状态下的胖时,状态特征可以包括一个100维的第一状态特征和一个5维的第二状态特征,将脸部鉴别特征、第一状态特征以及第二状态特征进行拼接,得到联合特征。

步骤s203,将所述联合特征输入生成模型中,基于所述生成模型,生成所述源图像对应的目标图像;所述目标图像中的目标对象与所述源图像中的源对象具有相同的身份信息,且所述目标图像中的目标对象具有所述体征状态条件对应的体征状态。

具体的,终端设备可以将联合特征输入生成模型中,生成模型可以包括多个反卷积层,基于生成模型中的多个反卷积层,可以对输入的联合特征进行上采样(也可以理解为解码过程),得到源图像所对应的目标图像;其中,目标图像中的目标对象与源图像中的源对象具有相同的身份信息,且目标图像中的目标对象具有上述体征状态条件对应的体征状态。

以源图像为人脸图像、体征状态为年龄状态为例,若源图像为小a在2岁时的人脸图像,即源对象为小a在2岁时的人脸,体征状态条件为20岁年龄,则基于识别模型可以提取出2岁人脸图像中的人脸鉴别特征,并引入体征状态条件,即获取体征状态条件对应的状态特征(年龄码);将状态特征作为条件变量与人脸鉴别特征进行拼接,得到联合特征,状态特征对生成模型具有指导作用,即指导生成模型最终生成的目标图像为20岁的人脸图像,且目标图像中人脸为小a在20岁时的人脸。

终端设备可以将生成模型生成的目标图像与图像数据库中所包含的面部图像进行检索比对,获得目标图像与图像数据库中每个面部图像之间的相似度,并基于相似度,在图像数据库中确定与源图像相匹配的目标面部图像,以确定目标面部图像的身份信息。例如,小a在2岁时被人贩子拐走,寻找多年依然没有任何消息,则可以将小a被拐前的照片(如2岁时的人脸图像)作为源图像,将小a的当前年龄作为体征状态条件(如10岁),则基于识别模型和生成模型预测出小a在10岁时的人脸图像(即目标图像),公安部门可以从户籍系统(或者学籍系统)中获取8-12岁人员的所有户籍照片(或者学籍照片)作为图像数据库,并计算出目标图像与图像数据库中每个人脸图像之间的相似度,将相似度较高(如相似度超过85%)的人脸图像作为待定图像,公安部门可以对待定图像所对应的人进行身份认证(如dna检测等),以寻找被拐的小a。

可选的,若联合特征是由脸部鉴别特征、第一状态特征以及第二状态特征,则通过生成模型生成的目标图像同时具有第一状态特征对应的体征状态和第二状态特征对应的体征状态。请一并参见图5,是本申请实施例提供的一种生成目标图像的示意图。如图5所示,在用户可以向终端设备100a上传图像30a之后,终端设备100a可以将图像30a作为源图像,并获取识别模型30d(等同于上述图2所对应实施例中的识别模型20c),将图像30a输入识别模型30d中,可以在识别模型30d中提取图像30a中的人脸鉴别图像30e。

用户上传了图像30a后,还可以为图像30a选择对应的体征状态条件(可以包括第一体征状态条件和第二体征状态条件),用户可以在年龄选择框30b中选择数值20作为图像30a对应的第一体征状态条件,从身材选择框30c中“胖”作为图像30a对应的第二体征状态条件,在用户确认了所选择的体征状态条件后,终端设备100a可以获取年龄20岁对应的年龄码30f以及“胖”对应的身材码30g,年龄码30f和身材码30g均可以称为状态特征。终端设备100a可以将脸部鉴别特征30e、年龄码30f以及身材码30g进行拼接得到联合特征。

终端设备100a获取生成模型30h,将联合特征输入生成模型30h中,基于生成模型可以生成目标图像30i,其中,该目标图像30i对应的年龄状态为20岁,且目标图像30i中的人脸处于胖的状态,同时目标图像30i与图像30a表示的是同一个人。

本申请实施例通过从识别模型中获取源图像对应的脸部鉴别特征,并将获取到的体征状态条件对应的状态特征与脸部鉴别特征进行拼接,得到联合特征,进而可以将联合特征输入生成模型中,基于该生成模型可以生成与源图像具有相同身份信息的目标图像,且该目标图像具有体征状态条件对应的体征状态。上述可知,通过识别模型对源图像中的脸部鉴别特征进行提取,并将提取到的脸部鉴别特征与条件变量(即体征状态条件)同时作为生成模型的输入,生成该条件变量下的目标图像,即联合识别模型和生成模型,可以提高图像的生成效率。

请参见图6,是本申请实施例提供的另一种图像数据处理方法的流程示意图。如图6所示,该图像数据处理方法可以包括:

步骤s301,获取样本图像,从识别模型中获取所述样本图像中所包含样本对象对应的样本鉴别特征;

步骤s302,获取样本体征状态条件,将所述样本体征状态条件对应的样本状态特征与所述样本鉴别特征进行拼接,得到样本联合特征;

步骤s303,将所述样本联合特征输入初始生成模型中,基于所述初始生成模型,生成所述样本图像对应的待判别图像;

其中,步骤s301-步骤s303的具体实现方式可以参见上述图3所对应实施例中的步骤s101-步骤s103,这里不再进行赘述。

步骤s304,获取判别模型,基于所述判别模型,确定所述待判别图像对应的对抗误差;所述对抗误差是基于所述待判别图像对应的真实图像匹配度所确定的;

具体的,终端设备获取与初始生成模型对应的判别模型,该判别模型可以用于识别图像属于真实图像类型的概率,即可以用于区分真实图像和初始生成模型生成的假图像;该判别模型还可以对图像进行体征状态误差估计,即用于估计初始生成模型生成的假图像所对应的预估体征状态信息与样本体征状态条件之间的误差。例如,当样本体征状态条件为8岁年龄时,初始生成模型生成的待判别图像输入至判别模型中,可以生成样本图像对应的待判别图像,将待判别图像输入判别模型中,判别模型可以预估出该待判别图像对应的年龄信息,进而可以确定出预估年龄信息与样本体征状态条件(即8岁年龄)之间的误差。

下面对如何获取判别模型进行具体说明:由于判别模型主要用于区分真实图像与初始生成模型生成的假图像(即待判别图像),即判别模型可以用于二分类问题,因此终端设备需要初始化二分类模型,将完成初始化的二分类模型作为判别模型。训练判别模型的数据可以包括终端设备从样本训练数据集中获取的采集图像和初始生成模型生成的待判别图像,训练判别模型的最终目的在于判别模型可以将采集图像确定为真实图像类别,将初始生成模型生成的待判别图像确定为假图像类型。判别模型还可以用于估计待判别图像所对应的预估体征状态信息与样本体征状态条件之间的误差,训练判别模型的目的还可以包括对待判别图像的预估体征状态信息与样本体征状态条件之间的误差最小化。

在训练判别模型阶段,由于判别模型的训练数据与采集图像和初始生成模型生成的待判别图像有关,可以得到判别模型对应的判别误差,也可以称为生成对抗损失函数,该判别误差可以表示为公式(1):

ldis(d)=mingmaxdey[log(d(x))]+ex,a[1-log(d(g(f(x),a)))](1)

其中,ldis表示判别模型对应的判别误差,g表示初始生成模型,d表示判别模型,f表示识别模型,x表示样本训练数据集中采集到的真实图像,a表示样本体征状态条件对应的样本状态特征,f(x)表示通过识别模型提取到的样本鉴别特征,g(f(x),a)表示初始生成模型生成的样本体征状态条件下的仿真图像(也可以称为假图像,如待判别图像),因此d(g(f(x),a))表示初始生成模型生成的样本图像x所对应的待判别图像属于真实图像类型的概率,d(x)表示样本图像x属于真实图像类型的概率。因此,判别误差是基于样本图像与待判别图像分别对应的真实图像匹配度(即样本图像被判为真实图像类型的概率与待判别图像被判为真实图像类型的概率)所确定。

判别模型还可以用于计算样本体征条件的估计误差,以样本体征状态条件为年龄为例,则判别模型可以计算年龄估算误差(即体征状态误差),该年龄估算误差可以表示为公式(2):

其中,||.||1表示为1范数,可以表示为对待判别图像的预估年龄,q可以表示为真实年龄,q可以理解为样本体征状态条件,当样本体征状态条件为样本图像对应的真实年龄时,q即为样本图像对应的年龄信息。

基于上述公式(1)和公式(2),可以确定判别模型对应的总误差(也可以称为第二总误差,与初始生成模型对应的总误差进行区分),可以表示为公式(3):

ld=lage(d)+λdisldis(d)(3)

其中,λdis表示用于控制判别误差相对于年龄估算误差(即体征状态误差)的相对权重的超参数,也可以称为误差权重参数。公式(3)可以理解为判别模型中年龄估算误差与判别误差之和。通过最小化公式(3),即最小化判别模型的第二总误差,可以对判别模型的网络参数进行修正,以获取判别模型的最优网络参数。

初始生成模型与判别模型的训练过程可以看成是一个博弈过程,即判别模型与初始生成模型的目的是相反的,初始判别模型训练的目的在于:对于任意输入初始判别模型的图像,可以准确区分出输入图像为真实图像还是仿真图像。当判别模型d输出的概率值大于0.5时,则该输入图像被判别为真实图像;当生成判别模型d输出的概率值小于0.5时,则该输入图像被判别为仿真图像(可以称为假图像),换言之,对于判别模型而言,公式(2)中log(d(x)的值越大越好(最大值为1),公式(2)中log(d(g(f(x),a)))的值越小越好(最小值为0)。初始生成模型训练的目的在于:提高初始生成模型仿造图像的能力,使得判别模型无法判别初始生成模型生成的图像是真实图像还是仿真图像,换言之,对于初始生成模型而言,公式(2)中log(d(g(f(x),a)))的值越大越好,log(d(g(f(x),a)))的值越大,表示初始生成模型生成的仿真图像与真实图像越接近。因此初始生成模型与判别模型的训练过程是交替进行的,可以不断提高判别模型判别真假图像的能力和初始生成模型生成仿真图像的能力。

以样本体征状态条件为样本图像的真实年龄信息为例,在训练初始生成模型阶段,将待判别图像输入判别模型后,可以计算初始生成模型对应的对抗误差该对抗误差可以表示为公式(4):

ladv(f,d)=ex,a[-log(d(g(f(x),a)))](4)

上述公式(4)可以理解为上述公式(1)的变体,在训练初始生成模型的过程中,判别模型可以看成是固定不变的,因此上述公式(1)中的ey[log(d(x))]即为一个常数,此时,初始生成网络的目的在于最大化log(d(g(f(x),a))),即最小化ladv(f,d)。

步骤s305,确定所述样本图像与所述待判别图像之间的像素误差;

具体的,在样本体征状态条件为样本对象对应的真实年龄时,初始生成模型生成待判别图像的过程等价于对样本图像的重建过程,为了提高初始生成模型重建图像的能力,可以计算样本图像与待判别图像之间的像素误差,像素误差可以表示为公式(5):

lpixel(f,g)=||x-g(f(x),a)||1(5)

其中,lpixel(f,g)表示像素误差,在此也可以称为重建误差,通过最小化样本图像x与重构图像之间的误差,对初始生成模型的网络参数进行修正。

可选的,若样本体征状态条件为随机选取的年龄,终端设备可以将初始生成模型g生成的待判别图像g(f(x),a)作为识别模型的输入图像,样本图像x对应的真实年龄作为样本体征状态条件,将识别模型获取到的鉴别特征与样本图像x真实年龄对应的年龄码输出到初始生成模型中,努力生成原来的样本图像x,将初始生成模型重构出来的图像称为重构图像,则在此情形下,公式(5)可以改写为:lpixel(f,g)=||x-g(f(y),b)||1,其中,y可以表示为图像x通过识别模型和初始生成模型所得到的待判别图像,b可以表示为图像x对应的真实年龄。需要说明的是,生成待判别图像与得到重构图像的初始生成模型为同一个生成模型,即通过初始生成模型可以将生成的仿真图像进行还原。

可选的,若样本体征状态条件为样本训练数据集中同人另一张图像对应的真实年龄,如输入的样本图像x为某人2岁时的人脸图像,样本体征状态条件为8岁,且样本训练数据集中存在该人8岁时的人脸图像y,则上述公式(5)可以改写为:lpixel(f,g)=||y-g(f(x),a)||1,其中,y可以表示为样本体征条件a在样本训练数据集中所对应的真实人脸图像。

步骤s306,基于所述识别模型,确定所述待判别图像对应的分类误差;所述分类误差是基于所述待判别图像对应的身份信息和所述样本图像对应的身份信息所确定的;

具体的,为了确保初始生成模型生成的待判别图像具有原始输入图像(即样本图像)的鉴别特征,在生成待判别图像后也引入了一个识别模型(该识别模型与上述获取样本鉴别特征的识别模型为同一个模型),通过对初始生成模型生成的待判别图像输入识别模型中,识别待判别图像与原始输入图像是否为同一个类别。终端设备可以将待判别图像与原始输入图像之间的误差确定为分类误差,即通过计算待判别图像与样本图像之间的身份相似度,确定待判别图像对应的分类误差,该分类误差可以表示为公式(6):

lcls=-vtlogf(g(f(x),a))(6)

其中,lcls表示待判别图像的分类误差,v表示待判别图像对应的真实分类标签特征。需要说明的是,此处的真实分类标签特征是指样本图像x对应的人脸类别,同一个人在不同年龄下的人脸图像均具有相同的分类标签特征。通过识别模型的分类约束可以引导待判别图像中鉴别特征的学习。

步骤s307,根据所述对抗误差、所述像素误差以及所述分类误差,修正所述初始生成模型的第一网络参数。

具体的,基于上述步骤s304-步骤s306,可以获取初始生成模型的总误差(也可以称为第一总误差)可以表示为公式(7):

lgen=λpixellpixel+λclslcls+λadvladv(7)

其中,λpixel、λcls以及λadv均为权重参数,λpixel为像素误差对应的权重参数,也可以称为第一权重参数;λcls为分类误差对应的权重参数,也可以称为第二权重参数;λadv为对抗误差对应的权重参数,也可以称为第三权重参数。公式(7)可以理解为像素误差、分类误差以及对抗误差分别与对应的权重参数相乘之后的误差之和,通过最小化公式(7),即最小化初始生成模型的第一总误差,对初始生成模型的网络参数进行修正,通过不断迭代,直至公式(7)对应的第一总误差值小于目标阈值,或者第一总误差值的变化率小于变化率阈值,或者迭代的次数达到目标次数时,此时得到的初始生成模型的网络参数为最优参数。

可以知道,在生成模型训练过程中才会使用判别模型,使用生成模型也就是生成图像的过程中,是不使用判别模型的。

请一并参见图7,是本申请实施例提供的一种训练初始生成模型的示意图。如图7所示,初始生成模型的训练过程具体包括:将样本图像输入已经训练完成的识别模型中,在识别模型中可以获取样本图像对应的样本鉴别特征,获取样本图像对应的样本体征状态条件,将样本鉴别特征与样本体征状态条件对应的样本状态特征输入初始生成模型中,基于初始生成模型中的上采样过程,可以生成与样本状态特征相关联的待判别图像,将待判别图像输入判别模型中,判别模型可以判断待判别图像为真实图像还是假图像,并且对待判别图像的年龄进行估计,判断预估的年龄与真实年龄之间的误差。与此同时,终端设备还可以将待判别图像输入识别模型中,根据识别模型对待判别图像进行特征提取,并根据提取到的特征对待判别图像进行分类,识别待判别图像与多种人脸类别的匹配度,确定出该判别图像对应的分类误差。

基于样本训练数据集中所包含的所有样本图像,采用上述训练过程对初始生成网络进行训练,可以得到一个具有较强的仿造图像能力的初始生成模型,且该初始生成模型可以学习同人不同年龄下的人脸图像之间的映射关系。换言之,对于训练完成的初始生成网络,只要输入原始人脸图像以及需要转换的年龄信息,基于识别模型和训练好的初始生成模型,可以生成转换年龄下的人脸图像,且新转换的人脸图像与原始人脸图像表示同一个人。

请一并参见图8,是本申请实施例提供的一种模型训练的框架示意图。如图8所示,整个模型训练框架主要包括以下三个模型(即三个模块):

识别模型40b一方面可以对输入的样本图像(如人脸图像40a)抽取样本鉴别特征(如人脸图像40a对应的样本鉴别特征40c);另一方面可以对初始生成模型40e得到的待判别图像(如人脸图像40a对应的待判别图像40f)进行人脸分类,得到人脸类别。

初始生成模型40e可以将鉴别特征和样本体征状态条件对应的样本状态特征的合并数据(如将样本鉴别特征40c与年龄码40d进行拼接之后的合并数据),用于生成样本体征状态条件下的输出图像(如待判别图像40f)。

判别模型40g一方面可以用于区分真实人脸图像与初始生成模型40c生成的输出图像,如用于区分人脸图像40a与待判别图像40f;另一方面还可以用于对初始生成模型40c生成的输出图像进行年龄估计,如估计待判别图像40f对应的年龄信息。

步骤s308,将包含修正后的第一网络参数的初始生成模型确定为生成模型;所述生成模型用于生成源图像对应的目标图像,所述目标图像中的目标对象与所述源图像中的源对象具有相同的身份信息;

具体的,基于公式(3)与公式(7)对初始生成模型的网络参数以及判别模型的网络参数进行修正,并达到最优网络参数后,可以将具有最优网络参数的初始生成模型确定为生成模型,该生成模型可以用于跨年龄人脸图像的生成,即该生成模型用于生成源图像对应的目标图像,且目标图像与源图像具有相同的身份信息。

可以理解的是,对于同一个人,只要存在该人某年龄的人脸图像,将该年龄的人脸图像作为原始输入图像,可以使用上述训练完成的识别模型和生成模型,生成该人除该年龄之外的任意年龄对应的人脸图像,并可以通过生成的各年龄条件下的人脸图像,可以显式地展示该人的人脸随年龄的变化趋势。

步骤s309,获取源图像,确定源图像中所包含的源对象对应的脸部鉴别特征;

步骤s310,获取体征状态条件,将所述体征状态条件对应的状态特征与所述脸部鉴别特征进行拼接,得到联合特征;

步骤s311,将所述联合特征输入生成模型中,基于所述生成模型,生成所述源图像对应的目标图像;所述目标图像中的目标对象与所述源图像中的源对象具有相同的身份信息,且所述目标图像中的所述目标对象具有所述体征状态条件对应的体征状态。

其中,步骤s309-步骤s311的具体实现方式可以参见上述图4所对应实施例中的步骤s201-步骤s203,这里不再进行赘述。

本申请实施例通过从识别模型中获取源图像对应的脸部鉴别特征,并将获取到的体征状态条件对应的状态特征与脸部鉴别特征进行拼接,得到联合特征,进而可以将联合特征输入生成模型中,基于该生成模型可以生成与源图像具有相同身份信息的目标图像,且该目标图像具有体征状态条件对应的体征状态。上述可知,通过识别模型对源图像中的脸部鉴别特征进行提取,并将提取到的脸部鉴别特征与条件变量(即体征状态条件)同时作为生成模型的输入,生成该条件变量下的目标图像,即联合识别模型和生成模型,不仅可以提高图像生成的效率,还可以增强图像特征的鉴别性,进而提高生成图像的真实性。

请参见图9,是本申请实施例提供的一种图像数据处理装置的结构示意图。如图9所示,该图像数据处理装置1可以包括:第一获取模块11,第一拼接模块12,第一生成模块13;

第一获取模块11,用于获取源图像,确定所述源图像中所包含的源对象对应的脸部鉴别特征;

第一拼接模块12,用于获取体征状态条件,将所述体征状态条件对应的状态特征与所述脸部鉴别特征进行拼接,得到联合特征;

第一生成模块13,用于将所述联合特征输入生成模型中,基于所述生成模型,生成所述源图像对应的目标图像;所述目标图像中的目标对象与所述源图像中的所述源对象具有相同的身份信息,且所述目标图像中的所述目标对象具有所述体征状态条件对应的体征状态。

其中,第一获取模块11,第一拼接模块12,第一生成模块13的具体功能实现方式可以参见上述图4所对应实施例中的步骤s201-步骤s203,这里不再进行赘述。

请一并参见图9,所述图像数据处理装置1还可以包括:检索模块14,匹配模块15;

检索模块14,用于将所述目标图像与图像数据库中所包含的面部图像进行检索比对,获取所述目标图像与所述图像数据库中的每个面部图像之间的相似度;

匹配模块15,用于基于所述相似度,在所述图像数据库中确定与所述源图像相匹配的目标面部图像。

其中,检索模块14,匹配模块15的具体功能实现方式可以参见上述图4所对应实施例中的步骤s203,这里不再进行赘述。

请一并参见图9,第一拼接模块12可以包括:体征维度确定单元121,更新单元122,拼接单元123;

体征维度确定单元121,用于获取体征状态对应的初始向量以及所述体征状态条件,确定所述体征状态条件对应的目标体征维度;所述初始向量包括多个体征维度分别对应的数值;所述多个体征维度包括所述目标体征维度;

更新单元122,用于对所述初始向量中与所述目标体征维度对应的数值进行更新,将数值更新后的初始向量确定为所述体征状态条件对应的所述状态特征;

拼接单元123,用于将所述状态特征与所述脸部鉴别特征进行拼接,得到联合特征。

其中,体征维度确定单元121,更新单元122,拼接单元123的具体功能实现方式可以参见上述图4所对应实施例中的步骤s202,这里不再进行赘述。

本申请实施例通过从识别模型中获取源图像对应的脸部鉴别特征,并将获取到的体征状态条件对应的状态特征与脸部鉴别特征进行拼接,得到联合特征,进而可以将联合特征输入生成模型中,基于该生成模型可以生成与源图像具有相同身份信息的目标图像,且该目标图像具有体征状态条件对应的体征状态。上述可知,通过识别模型对源图像中的脸部鉴别特征进行提取,并将提取到的脸部鉴别特征与条件变量(即体征状态条件)同时作为生成模型的输入,生成该条件变量下的目标图像,即联合识别模型和生成模型,不仅可以提高图像生成的效率,还可以增强图像特征的鉴别性,进而提高生成图像的真实性。

请参见图10,是本申请实施例提供的另一种图像数据处理装置的结构示意图。如图10所示,该图像数据处理装置2可以包括:第二获取模块21,第二拼接模块22,第二生成模块23,第一修正模块24,确定模块25;

第二获取模块21,用于获取样本图像,从识别模型中获取所述样本图像中所包含的样本对象对应的样本鉴别特征;

第二拼接模块22,用于获取样本体征状态条件,将所述样本体征状态条件对应的样本状态特征与所述样本鉴别特征进行拼接,得到样本联合特征;

第二生成模块23,用于将所述样本联合特征输入初始生成模型中,基于所述初始生成模型,生成所述样本图像对应的待判别图像;

第一修正模块24,用于基于所述样本图像、所述待判别图像以及所述识别模型,修正所述初始生成模型的第一网络参数;

确定模块25,用于将包含修正后的第一网络参数的初始生成模型确定为生成模型;所述生成模型用于生成源图像对应的目标图像,所述目标图像中的目标对象与所述源图像中的源对象具有相同的身份信息。

其中,第二获取模块21,第二拼接模块22,第二生成模块23,第一修正模块24,确定模块25的具体功能实现方式可以参见上述图3所对应实施例中的步骤s101-步骤s105,这里不再进行赘述。

请一并参见图10,所述图像数据处理装置2还可以包括:判别误差确定模块26,状态误差确定模块27,第二修正模块28;

判别误差确定模块26,用于基于所述样本图像与所述待判别图像,确定所述判别模型对应的判别误差;所述判别误差是基于所述样本图像和所述待判别图像分别对应的真实图像匹配度所确定的;

状态误差确定模块27,用于基于所述判别模型,获取所述待判别图像对应的预估体征状态信息,确定所述预估体征状态信息与所述样本体征状态条件之间的体征状态误差;

第二修正模块28,用于基于所述判别误差与所述体征状态误差,修正所述判别模型的第二网络参数。

其中,判别误差确定模块26,状态误差确定模块27,第二修正模块28的具体功能实现方式可以参见上述图6所对应实施例中的步骤s304,这里不再进行赘述。

请一并参见图10,所述第二获取模块21可以包括:尺寸调整单元211,归一化单元212;

尺寸调整单元211,用于获取所述样本图像,对所述样本图像进行尺寸调整,得到待识别样本图像;

归一化单元212,用于对所述待识别样本图像中所包含的像素值进行归一化,将归一化后的待识别样本图像输入至所述识别模型,基于所述识别模型,生成所述样本图像中所包含的样本对象对应的样本鉴别特征。

其中,尺寸调整单元211,归一化单元212的具体功能实现方式可以参见上述图3所对应实施例中的步骤s101,这里不再进行赘述。

请一并参见图10,第一修正模块24可以包括:对抗误差确定单元241,第一像素误差确定单元242,分类误差确定单元243,网络参数修正单元244;

对抗误差确定单元241,用于获取判别模型,基于所述判别模型,确定所述待判别图像对应的对抗误差;所述对抗误差是基于所述待判别图像对应的真实图像匹配度所确定的;

像素误差确定单元242,用于确定所述样本图像与所述待判别图像之间的像素误差;

分类误差确定单元243,用于基于所述识别模型,确定所述待判别图像对应的分类误差;所述分类误差是基于所述待判别图像对应的身份信息和所述样本图像对应的身份信息所确定的;

网络参数修正单元244,用于根据所述对抗误差、所述像素误差以及所述分类误差,修正所述初始生成模型的第一网络参数。

其中,对抗误差确定单元241,第一像素误差确定单元242,分类误差确定单元243,网络参数修正单元244的具体功能实现方式可以参见上述图6所对应实施例中的步骤s304-步骤s307,这里不再进行赘述。

请一并参见图10,第二修正模块28可以包括:第二总误差确定单元281,第二网络参数修正单元282;

第二总误差确定单元281,用于获取所述判别误差对应的第四权重参数,将所述第四权重参数与所述判别误差的乘积,以及所述体征状态误差,确定所述判别模型对应的第二总误差;

第二网络参数修正单元282,用于根据所述第二总误差修正所述判别模型的第二网络参数。

其中,第二总误差确定单元281,第二网络参数修正单元282的具体功能实现方式可以参见上述图6所对应实施例中的步骤s304,这里不再进行赘述。

请一并参见图10,分类误差确定单元243可以包括:相似度获取子单元2431,误差确定子单元2432;

相似度获取子单元2431,用于将所述待判别图像确定为所述识别模型的输入数据,基于所述识别模型,获取所述待判别图像与所述样本图像之间的身份相似度;

误差确定子单元2432,用于基于所述身份相似度,确定所述待判别图像对应的分类误差。

其中,相似度获取子单元2431,误差确定子单元2432的具体功能实现方式可以参见上述图6所对应实施例中的步骤s306,这里不再进行赘述。

请一并参见图10,网络参数修正单元244可以包括:第一参数获取子单元2441,第一总误差确定子单元2442,第一参数修正子单元2443;

第一参数获取子单元2441,用于获取所述对抗误差对应的第一权重参数、所述像素误差对应的第二权重参数以及所述分类误差对应的第三权重参数;

第一总误差确定子单元2442,用于基于所述第一权重参数与所述对抗误差的乘积、所述第二权重参数与所述像素误差的乘积、以及所述第三权重参数与所述分类误差的乘积,确定所述初始生成模型对应的第一总误差;

第一参数修正子单元2443,用于根据所述第一总误差修正所述初始生成模型的第一网络参数。

其中,第一参数获取子单元2441,第一总误差确定子单元2442,第一参数修正子单元2443的具体功能实现方式可以参见上述图6所对应实施例中的步骤s307,这里不再进行赘述。

本申请实施例通过从识别模型中获取源图像对应的脸部鉴别特征,并将获取到的体征状态条件对应的状态特征与脸部鉴别特征进行拼接,得到联合特征,进而可以将联合特征输入生成模型中,基于该生成模型可以生成与源图像具有相同身份信息的目标图像,且该目标图像具有体征状态条件对应的体征状态。上述可知,通过识别模型对源图像中的脸部鉴别特征进行提取,并将提取到的脸部鉴别特征与条件变量(即体征状态条件)同时作为生成模型的输入,生成该条件变量下的目标图像,即联合识别模型和生成模型,不仅可以提高图像生成的效率,还可以增强图像特征的鉴别性,进而提高生成图像的真实性。

请参见图11,是本申请实施例提供的一种计算机设备的结构示意图。如图11所示,该计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,上述计算机设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(display)、键盘(keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1004可以是高速ram存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。

在如图11所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:

获取样本图像,从识别模型中获取所述样本图像中所包含的样本对象对应的样本鉴别特征;

获取样本体征状态条件,将所述样本体征状态条件对应的样本状态特征与所述样本鉴别特征进行拼接,得到样本联合特征;

将所述样本联合特征输入初始生成模型中,基于所述初始生成模型,生成所述样本图像对应的待判别图像;

基于所述样本图像、所述待判别图像以及所述识别模型,修正所述初始生成模型的第一网络参数;

将包含修正后的第一网络参数的初始生成模型确定为生成模型;所述生成模型用于生成源图像对应的目标图像,所述目标图像中的目标对象与所述源图像中的源对象具有相同的身份信息。

应当理解,本申请实施例中所描述的计算机设备1000可执行前文图3、图4、图6任一个所对应实施例中对所述图像数据处理方法的描述,也可执行前文图9所对应实施例中对所述图像数据处理装置1和图10所对应实施例中对所述图像数据处理装置2的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。

此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且所述计算机可读存储介质中存储有前文提及的图像数据处理装置1和图像数据处理装置2所执行的计算机程序,且所述计算机程序包括程序指令,当所述处理器执行所述程序指令时,能够执行前文图3、图4、图6任一个所对应实施例中对所述图像数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储存储器(read-onlymemory,rom)或随机存储存储器(randomaccessmemory,ram)等。

以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1