本发明一般地涉及信息处理技术领域。具体而言,本发明涉及一种能够以符合实际场景的戴眼镜比例的训练数据训练面部识别模型的方法和设备。
背景技术:
近年来,随着信息技术的发展,基于人脸识别的系统和应用越来越多。这得益于大量的训练数据和卷积神经网络cnn。然而,对于戴眼镜的人脸图像进行人脸识别存在巨大挑战。主要原因在于缺少戴眼镜的人脸图像用于对人脸识别模型的训练。当前存在开放的人脸数据库,如webface和ms-celeb-1m数据库。但是这些数据库中主要是名人的图像数据,而名人通常很少戴眼镜,因此,这些数据库中戴眼镜的比例低于常规人群中戴眼镜的比例。另外,名人带的眼镜大多数为墨镜,不同于常规人群常带的近视镜。收集大量的戴眼镜的人脸数据显然是耗费人力和资源的。
为了解决上述问题,本发明提出了生成戴眼镜图像的方法,使得训练图像中戴眼镜的比例与实际场景中戴眼镜的比例相符,从而利于训练面部识别模型。
因此,本发明旨在提供一种以符合实际场景的戴眼镜比例的训练数据训练面部识别模型的方法和设备。
技术实现要素:
在下文中给出了关于本发明的简要概述,以便提供关于本发明的某些方面的基本理解。应当理解,这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分,也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
本发明的目的是提出一种以符合实际场景的戴眼镜比例的训练数据训练面部识别模型的方法和设备。
为了实现上述目的,根据本发明的一个方面,提供了一种面部识别模型的训练方法,该方法包括:去除从实际场景获取的、包含面部的图像组成的第一实际场景数据中的黑眼眶、墨镜,以得到第二实际场景数据;统计第二实际场景数据中戴眼镜的比例;将由包含面部的图像组成的原始训练数据划分为戴眼镜的第一训练数据和不戴眼镜的第二训练数据,其中,原始训练数据中戴眼镜的比例低于第二实际场景数据中戴眼镜的比例;基于眼镜数据和第二训练数据,生成戴眼镜的第三训练数据;基于第三训练数据和原始训练数据,生成其中戴眼镜的比例等于第二实际场景数据中戴眼镜的比例的第四训练数据;以及基于第四训练数据,训练面部识别模型。
根据本发明的另一个方面,提供了一种面部识别模型的训练设备,该设备包括:去除装置,被配置为:去除从实际场景获取的、包含面部的图像组成的第一实际场景数据中的黑眼眶、墨镜,以得到第二实际场景数据;统计装置,被配置为:统计第二实际场景数据中戴眼镜的比例;划分装置,被配置为:将由包含面部的图像组成的原始训练数据划分为戴眼镜的第一训练数据和不戴眼镜的第二训练数据,其中,原始训练数据中戴眼镜的比例低于第二实际场景数据中戴眼镜的比例;加眼镜装置,被配置为:基于眼镜数据和第二训练数据,生成戴眼镜的第三训练数据;比例调整装置,被配置为:基于第三训练数据和原始训练数据,生成其中戴眼镜的比例等于第二实际场景数据中戴眼镜的比例的第四训练数据;以及模型训练装置,被配置为:基于第四训练数据,训练面部识别模型。
另外,根据本发明的另一方面,还提供了一种存储介质。所述存储介质包括机器可读的程序代码,当在信息处理设备上执行所述程序代码时,所述程序代码使得所述信息处理设备执行根据本发明的上述方法。
此外,根据本发明的再一方面,还提供了一种程序产品。所述程序产品包括机器可执行的指令,当在信息处理设备上执行所述指令时,所述指令使得所述信息处理设备执行根据本发明的上述方法。
附图说明
参照下面结合附图对本发明的实施例的说明,会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中,相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。附图中:
图1示出了根据本发明的实施例的面部识别模型的训练方法的流程图;
图2示出了将原始训练数据中包含面部的图像按照是否戴眼镜进行划分的方法的流程图;
图3示出了生成戴眼镜的第三训练数据的方法;
图4示出了使得眼睛变小的合并方法;
图5示出了根据本发明的实施例的面部识别模型的训练设备的结构方框图;以及
图6示出了可用于实施根据本发明的实施例的方法和设备的计算机的示意性框图。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行详细描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施方式的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与系统及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤,而省略了与本发明关系不大的其他细节。另外,还需要指出的是,在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。
下面将参照图1描述根据本发明的实施例的面部识别模型的训练方法的流程。
图1示出了根据本发明的实施例的面部识别模型的训练方法的流程图。如图1所示,该方法包括如下步骤:去除从实际场景获取的、包含面部的图像组成的第一实际场景数据中的黑眼眶、墨镜,以得到第二实际场景数据(步骤s1);统计第二实际场景数据中戴眼镜的比例(步骤s2);将由包含面部的图像组成的原始训练数据划分为戴眼镜的第一训练数据和不戴眼镜的第二训练数据,其中,原始训练数据中戴眼镜的比例低于第二实际场景数据中戴眼镜的比例(步骤s3);基于眼镜数据和第二训练数据,生成戴眼镜的第三训练数据(步骤s4);基于第三训练数据和原始训练数据,生成其中戴眼镜的比例等于第二实际场景数据中戴眼镜的比例的第四训练数据(步骤s5);以及基于第四训练数据,训练面部识别模型(步骤s6)。
面部识别模型的训练对于面部模型的识别精度、准确率影响很大。面部识别模型的训练又主要依赖于训练数据。前文提到,现有面部识别模型对于戴眼镜的人脸图像识别困难的主要原因就在于缺少大量的戴眼镜的训练数据。事实上,在不同的实际应用场景中,戴眼镜的比例是不同的。例如,每个公司的打卡机主要应用于特定公司的职员,不同公司的戴眼镜的比例不同,小学校园和大学校园、医院的戴眼镜比例也都不一致。希望针对每个应用的实际场景,生成与实际场景中戴眼镜比例相同的训练数据来训练面部识别模型,从而提高该面部识别模型在该实际场景中识别的准确率。
因此,首先需要获知具体应用的实际场景中戴眼镜的比例。
从具体应用的实际场景获取包含面部的图像,组成第一实际场景数据。
与一般采用的直接判断图像数据是否戴眼镜的方式相比,本发明进行预处理,以提高判断的准确度。
因为黑眼眶和墨镜对判断是否戴眼镜具有较强的干扰作用,所以,在步骤s1中,去除第一实际场景数据中的黑眼眶、墨镜,以得到第二实际场景数据。使用第二实际场景数据进行戴眼镜的判断更为准确。
在步骤s2中,统计第二实际场景数据中戴眼镜的比例。
例如,可采用训练好的分类器或卷积神经网络来判断第二实际场景数据中包含面部的图像是否戴眼镜,并进行统计,以获知第二实际场景数据中戴眼镜的比例,作为具体应用的实际场景中戴眼镜的比例。这是本发明调整戴眼镜比例的目标。分类器或卷积神经网络的训练数据例如是标记了是否戴眼镜的、包含面部的图像构成的标记训练数据。
在步骤s3中,将由包含面部的图像组成的原始训练数据划分为戴眼镜的第一训练数据和不戴眼镜的第二训练数据,其中,原始训练数据中戴眼镜的比例低于第二实际场景数据中戴眼镜的比例。
原始训练数据例如从因特网获取,如前所述,例如从webface和ms-celeb-1m数据库获取,也可以由人工收集。由于原始训练数据中戴眼镜的比例往往低于第二实际场景数据中戴眼镜的比例,所以需要通过增加戴眼镜的图像的数量来将原始训练数据中戴眼镜的比例调整为与第二实际场景数据中戴眼镜的比例相同。
首先要将原始训练数据划分为戴眼镜的第一训练数据和不戴眼镜的第二训练数据,然后通过给第二训练数据加眼镜,增加戴眼镜的数据量。
为了准确地判断原始训练数据中包含面部的图像是否戴眼镜,如图2所示,在步骤s21中,检测原始训练数据中面部的位置。人脸检测是人脸识别的基础,可以采用现有技术来实现步骤s21。
在步骤s22中,将原始训练数据中的面部与标准脸对齐。标准脸是人脸的标准模板,标准脸中的眼睛、嘴角位置固定。通过将步骤s21中检测出的面部与标准脸对齐,可以提高判断是否戴眼镜的准确率。对齐技术是图像处理领域的已有技术。
在步骤s23中,利用训练好的卷积神经网络或分类器(例如是上述步骤s2中使用的卷积神经网络和分类器)判断对齐的原始训练数据中的面部是否戴眼镜,从而将原始训练数据划分为戴眼镜的第一训练数据和不戴眼镜的第二训练数据。
由于已经检测到面部位置并与标准脸对齐,所以原始训练数据中的图像是否戴眼镜的判断准确率较高。
下面需要增加戴眼镜的数据量,增加的基础是不戴眼镜的第二训练数据。
在步骤s4中,基于眼镜数据和第二训练数据,生成戴眼镜的第三训练数据。
眼镜数据是预先准备的数据,包括各种类型的眼镜,如平镜、近视镜、远视镜、墨镜,不同的镜框镜片形状、镜框粗细、镜片颜色等。眼镜数据包括每种类型的眼镜的关键点信息、眼镜图像、镜片信息。关键点信息足以表征眼镜的形状结构,眼镜图像是加眼镜时叠加的内容,镜片信息标识了镜片与镜框的边界。通过分割算法可以将已有眼镜分割为眼镜框和眼镜片,从而获知镜片信息。
如图3所示,生成戴眼镜的第三训练数据的方法包括:从已有眼镜类型中随机选择眼镜类型(步骤s31);随机改变所选择的眼镜类型对应的眼镜图像(步骤s32);识别第二训练数据中的眼睛附近的关键点信息(步骤s33);基于随机改变的眼镜图像对应的关键点信息和所识别的眼睛附近的关键点信息,利用仿射变换,合并第二训练数据中的包含面部的图像与随机改变的眼镜图像,以得到第三训练数据(步骤s34)。
在步骤s31中,从已有眼镜类型中随机选择眼镜类型。也就是选择一种类型的眼镜数据,例如是近视镜、某种镜框镜片形状、某种镜框粗细、某种镜片颜色等,对应的关键点信息能够表征眼镜的形状结构,用于合并,对应的眼镜图像体现了镜框镜片形状、镜框粗细、镜片颜色等,镜片信息标识了镜片与镜框的边界,用于后续针对近视镜的缩放处理。
在步骤s32中,随机改变所选择的眼镜类型对应的眼镜图像。
数据库中已有眼镜类型包含的数据量是有限的。然而,眼镜数据的各个方面的排列组合种类是多样的。因此,可以通过随机改变所选择的眼镜类型对应的眼镜图像来丰富眼镜的种类,利于更好地训练面部识别模块。
具体地,可以替换眼镜图像中的眼镜框,眼镜框限于已有类型的眼镜框,包括特定的形状、粗细、颜色等。另外,可以随机改变眼镜框的粗细,即在预定合理范围内加粗眼镜框或者使得眼镜框变细。此外,可以随机改变眼镜框的形状,即在保留现有眼镜框的粗细、颜色的情况下仅改变其形状。当然,还可以随机改变眼镜片的颜色。颜色不限于数据库中已有的眼镜片的颜色,可以是人眼能够识别的各种颜色。
在步骤s33中,识别第二训练数据中的眼睛附近的关键点信息。人脸特征点检测算法(faciallandmarkdetectionalgorithm)能够检测出68个面部关键点。利用眼睛附近的约9个关键点数据,可以帮助将眼镜添加到合适位置。
在步骤s34中,基于随机改变的眼镜图像对应的关键点信息和所识别的眼睛附近的关键点信息,利用仿射变换,合并第二训练数据中的包含面部的图像与随机改变的眼镜图像,以得到第三训练数据。
利用眼镜图像的关键点信息和眼睛附近的关键点信息,可以将第二训练数据的面部图像与经随机选择和随机改变得到的眼镜图像合并,实现加眼镜的效果。仿射变换为本领域技术人员熟知的技术,在此不再赘述。
特别地,当所选择的眼镜为近视镜时,考虑到近视镜为凹透镜,会使得眼睛看起来变小,采取如下特殊处理以缩小第二训练数据中面部图像中的眼睛大小。
具体地,如图4所示,首先,在步骤s41中,基于随机改变的眼镜图像对应的关键点信息、镜片信息、以及所识别的眼睛附近的关键点信息,利用仿射变换,确定所识别的眼睛周围的合并区域和镜片区域。合并区域是要与眼镜图像合并的区域,镜片区域是要与眼镜图像中的镜片所在的区域合并的区域,即合并区域中与镜片对应的区域。
在步骤s42中,从第二训练数据中的面部图像中,提取出眼睛周围比镜片区域大的原始图像,将这部分原始图像缩放为与镜片区域同样大小,再将缩放结果与随机改变的眼镜图像叠加,叠加结果称为贴图数据。
在步骤s43中,将第二训练数据中的面部图像中的合并区域中的原始数据用贴图数据替换。
由于贴图数据中的原始图像部分包括眼睛并且相对于第二训练数据中的面部图像中的原始数据来说是缩小了的,所以能够起到眼睛变小的效果。
这样,就在步骤s4中,生成了戴眼镜的第三训练数据。有了戴眼镜的第三训练数据,就能够提高原始训练数据中戴眼镜的比例,使得最终得到的训练数据中戴眼镜的比例与实际应用的场景中戴眼镜的比例相一致。
在步骤s5中,基于第三训练数据和原始训练数据,生成其中戴眼镜的比例等于第二实际场景数据中戴眼镜的比例的第四训练数据。
例如,可以从第三训练数据中随机选取适量的数据,增加到原始训练数据中,直至增加后得到的第四训练数据中戴眼镜的比例等于第二实际场景数据中戴眼镜的比例。
根据本发明的方法得到的第四训练数据中戴眼镜的比例符合实际应用场景,并且眼镜的种类丰富。
在步骤s6中,基于第四训练数据,训练面部识别模型。
由于第四训练数据中戴眼镜的比例与实际应用场景中戴眼镜的比例高度相符,所以面部识别模型的训练效果好,训练出的面部识别模型识别准确率高。
下面,将参照图5描述根据本发明的实施例的面部识别模型的训练设备。
图5示出了根据本发明的实施例的面部识别模型的训练设备的结构方框图。如图5所示,根据本发明的面部识别模型的训练设备500包括:去除装置51,被配置为:去除从实际场景获取的、包含面部的图像组成的第一实际场景数据中的黑眼眶、墨镜,以得到第二实际场景数据;统计装置52,被配置为:统计第二实际场景数据中戴眼镜的比例;划分装置53,被配置为:将由包含面部的图像组成的原始训练数据划分为戴眼镜的第一训练数据和不戴眼镜的第二训练数据,其中,原始训练数据中戴眼镜的比例低于第二实际场景数据中戴眼镜的比例;加眼镜装置54,被配置为:基于眼镜数据和第二训练数据,生成戴眼镜的第三训练数据;比例调整装置55,被配置为:基于第三训练数据和原始训练数据,生成其中戴眼镜的比例等于第二实际场景数据中戴眼镜的比例的第四训练数据;以及模型训练装置56,被配置为:基于第四训练数据,训练面部识别模型。
在一个实施例中,所述划分装置53包括:检测单元,被配置为:检测原始训练数据中面部的位置;对齐单元,被配置为:将原始训练数据中的面部与标准脸对齐;深度卷积神经网络或分类器,用于判断对齐的原始训练数据中的面部是否戴眼镜,以将原始训练数据划分为第一训练数据和第二训练数据。
在一个实施例中,眼镜数据包括各种类型的眼镜的关键点信息、眼镜图像、镜片信息,关键点信息表征了眼镜的形状结构,镜片信息标识了镜片与镜框的边界。
在一个实施例中,所述加眼镜装置54包括:类型选择单元,被配置为:从已有眼镜类型中随机选择眼镜类型;图像改变单元,被配置为:随机改变所选择的眼镜类型对应的眼镜图像;识别单元,被配置为:识别第二训练数据中的眼睛附近的关键点信息;合并单元,被配置为:基于随机改变的眼镜图像对应的关键点信息和所识别的眼睛附近的关键点信息,利用仿射变换,合并第二训练数据中的包含面部的图像与随机改变的眼镜图像,以得到第三训练数据。
在一个实施例中,所述图像改变单元被进一步配置为执行下述操作中的至少一个:随机选择已有类型的眼镜框,替换眼镜图像中的眼镜框;随机改变眼镜框的粗细;随机改变眼镜框的形状;随机改变眼镜片的颜色。
在一个实施例中,在所选择的眼镜类型为近视镜的情况下,所述合并单元被进一步配置为:基于随机改变的眼镜图像对应的关键点信息、镜片信息、以及所识别的眼睛附近的关键点信息,利用仿射变换,确定所识别的眼睛周围的合并区域和镜片区域;将第二训练数据中的包含面部的图像中眼睛周围的、比镜片区域大的区域从图像中提取出来并将其缩放为与镜片区域同样大小,并将缩放结果与随机改变的眼镜图像叠加,以得到贴图数据;用贴图数据代替合并区域中的原始数据。
在一个实施例中,原始训练数据从因特网获取或由人工收集。
由于在根据本发明的设备500中所包括的处理与上面描述的方法中所包括的各个步骤中的处理类似,因此为了简洁起见,在此省略这些处理的详细描述。
此外,这里尚需指出的是,上述设备中各个组成装置、单元可以通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知,在此不再赘述。在通过软件或固件实现的情况下,从存储介质或网络向具有专用硬件结构的计算机(例如图6所示的通用计算机600)安装构成该软件的程序,该计算机在安装有各种程序时,能够执行各种功能等。
图6示出了可用于实施根据本发明的实施例的方法和设备的计算机的示意性框图。
在图6中,中央处理单元(cpu)601根据只读存储器(rom)602中存储的程序或从存储部分606加载到随机存取存储器(ram)603的程序执行各种处理。在ram603中,还根据需要存储当cpu601执行各种处理等等时所需的数据。cpu601、rom602和ram603经由总线604彼此连接。输入/输出接口605也连接到总线604。
下述部件连接到输入/输出接口605:输入部分606(包括键盘、鼠标等等)、输出部分607(包括显示器,比如阴极射线管(crt)、液晶显示器(lcd)等,和扬声器等)、存储部分606(包括硬盘等)、通信部分609(包括网络接口卡比如lan卡、调制解调器等)。通信部分609经由网络比如因特网执行通信处理。根据需要,驱动器610也可连接到输入/输出接口605。可拆卸介质611比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器610上,使得从中读出的计算机程序根据需要被安装到存储部分606中。
在通过软件实现上述系列处理的情况下,从网络比如因特网或存储介质比如可拆卸介质611安装构成软件的程序。
本领域的技术人员应当理解,这种存储介质不局限于图6所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质611。可拆卸介质611的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(cd-rom)和数字通用盘(dvd))、磁光盘(包含迷你盘(md)(注册商标))和半导体存储器。或者,存储介质可以是rom602、存储部分606中包含的硬盘等等,其中存有程序,并且与包含它们的设备一起被分发给用户。
本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时,可执行上述根据本发明的实施例的方法。
相应地,用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
在上面对本发明具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
此外,本发明的方法不限于按照说明书中描述的时间顺序来执行,也可以按照其他的时间顺序地、并行地或独立地执行。因此,本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露,但是,应该理解,上述的所有实施例和示例均是示例性的,而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。
附记
1.一种面部识别模型的训练方法,包括:
去除从实际场景获取的、包含面部的图像组成的第一实际场景数据中的黑眼眶、墨镜,以得到第二实际场景数据;
统计第二实际场景数据中戴眼镜的比例;
将由包含面部的图像组成的原始训练数据划分为戴眼镜的第一训练数据和不戴眼镜的第二训练数据,其中,原始训练数据中戴眼镜的比例低于第二实际场景数据中戴眼镜的比例;
基于眼镜数据和第二训练数据,生成戴眼镜的第三训练数据;
基于第三训练数据和原始训练数据,生成其中戴眼镜的比例等于第二实际场景数据中戴眼镜的比例的第四训练数据;以及
基于第四训练数据,训练面部识别模型。
2.如权利要求1所述的方法,其中,所述划分步骤包括:
检测原始训练数据中面部的位置;
将原始训练数据中的面部与标准脸对齐;
利用深度卷积神经网络或分类器判断对齐的原始训练数据中的面部是否戴眼镜,以将原始训练数据划分为第一训练数据和第二训练数据。
3.如权利要求1所述的方法,其中,眼镜数据包括各种类型的眼镜的关键点信息、眼镜图像、镜片信息,关键点信息表征了眼镜的形状结构,镜片信息标识了镜片与镜框的边界。
4.如权利要求3所述的方法,其中,所述基于眼镜数据和第二训练数据,生成戴眼镜的第三训练数据包括:
从已有眼镜类型中随机选择眼镜类型;
随机改变所选择的眼镜类型对应的眼镜图像;
识别第二训练数据中的眼睛附近的关键点信息;
基于随机改变的眼镜图像对应的关键点信息和所识别的眼睛附近的关键点信息,利用仿射变换,合并第二训练数据中的包含面部的图像与随机改变的眼镜图像,以得到第三训练数据。
5.如权利要求4所述的方法,其中,随机改变所选择的眼镜类型对应的眼镜图像包括下述中的至少一个:
随机选择已有类型的眼镜框,替换眼镜图像中的眼镜框;
随机改变眼镜框的粗细;
随机改变眼镜框的形状;
随机改变眼镜片的颜色。
6.如权利要求4所述的方法,其中,在所选择的眼镜类型为近视镜的情况下,所述合并步骤包括:
基于随机改变的眼镜图像对应的关键点信息、镜片信息、以及所识别的眼睛附近的关键点信息,利用仿射变换,确定所识别的眼睛周围的合并区域和镜片区域;
将第二训练数据中的包含面部的图像中眼睛周围的、比镜片区域大的区域从图像中提取出来并将其缩放为与镜片区域同样大小,并将缩放结果与随机改变的眼镜图像叠加,以得到贴图数据;
用贴图数据代替合并区域中的原始数据。
7.如权利要求1所述的方法,其中,原始训练数据从因特网获取或由人工收集。
8.一种面部识别模型的训练设备,包括:
去除装置,被配置为:去除从实际场景获取的、包含面部的图像组成的第一实际场景数据中的黑眼眶、墨镜,以得到第二实际场景数据;
统计装置,被配置为:统计第二实际场景数据中戴眼镜的比例;
划分装置,被配置为:将由包含面部的图像组成的原始训练数据划分为戴眼镜的第一训练数据和不戴眼镜的第二训练数据,其中,原始训练数据中戴眼镜的比例低于第二实际场景数据中戴眼镜的比例;
加眼镜装置,被配置为:基于眼镜数据和第二训练数据,生成戴眼镜的第三训练数据;
比例调整装置,被配置为:基于第三训练数据和原始训练数据,生成其中戴眼镜的比例等于第二实际场景数据中戴眼镜的比例的第四训练数据;以及
模型训练装置,被配置为:基于第四训练数据,训练面部识别模型。
9.如权利要求8所述的设备,其中,所述划分装置包括:
检测单元,被配置为:检测原始训练数据中面部的位置;
对齐单元,被配置为:将原始训练数据中的面部与标准脸对齐;
深度卷积神经网络或分类器,用于判断对齐的原始训练数据中的面部是否戴眼镜,以将原始训练数据划分为第一训练数据和第二训练数据。
10.如权利要求8所述的设备,其中,眼镜数据包括各种类型的眼镜的关键点信息、眼镜图像、镜片信息,关键点信息表征了眼镜的形状结构,镜片信息标识了镜片与镜框的边界。
11.如权利要求10所述的设备,其中,所述加眼镜装置包括:
类型选择单元,被配置为:从已有眼镜类型中随机选择眼镜类型;
图像改变单元,被配置为:随机改变所选择的眼镜类型对应的眼镜图像;
识别单元,被配置为:识别第二训练数据中的眼睛附近的关键点信息;
合并单元,被配置为:基于随机改变的眼镜图像对应的关键点信息和所识别的眼睛附近的关键点信息,利用仿射变换,合并第二训练数据中的包含面部的图像与随机改变的眼镜图像,以得到第三训练数据。
12.如权利要求11所述的设备,其中,所述图像改变单元被进一步配置为执行下述操作中的至少一个:
随机选择已有类型的眼镜框,替换眼镜图像中的眼镜框;
随机改变眼镜框的粗细;
随机改变眼镜框的形状;
随机改变眼镜片的颜色。
13.如权利要求11所述的设备,其中,在所选择的眼镜类型为近视镜的情况下,所述合并单元被进一步配置为:
基于随机改变的眼镜图像对应的关键点信息、镜片信息、以及所识别的眼睛附近的关键点信息,利用仿射变换,确定所识别的眼睛周围的合并区域和镜片区域;
将第二训练数据中的包含面部的图像中眼睛周围的、比镜片区域大的区域从图像中提取出来并将其缩放为与镜片区域同样大小,并将缩放结果与随机改变的眼镜图像叠加,以得到贴图数据;
用贴图数据代替合并区域中的原始数据。
14.如权利要求8所述的设备,其中,原始训练数据从因特网获取或由人工收集。
15.一种计算机可读存储介质,其上存储有程序,该程序在被信息处理设备执行时,使得信息处理设备执行以下操作:
去除从实际场景获取的、包含面部的图像组成的第一实际场景数据中的黑眼眶、墨镜,以得到第二实际场景数据;
统计第二实际场景数据中戴眼镜的比例;
将由包含面部的图像组成的原始训练数据划分为戴眼镜的第一训练数据和不戴眼镜的第二训练数据,其中,原始训练数据中戴眼镜的比例低于第二实际场景数据中戴眼镜的比例;
基于眼镜数据和第二训练数据,生成戴眼镜的第三训练数据;
基于第三训练数据和原始训练数据,生成其中戴眼镜的比例等于第二实际场景数据中戴眼镜的比例的第四训练数据;以及
基于第四训练数据,训练面部识别模型。