一种人脸图像的笑脸识别方法及其装置的制造方法
【技术领域】
[0001] 本发明涉及模式识别和计算机视觉等技术领域，特别是涉及一种人脸图像的笑脸 识别方法及其装置。
【背景技术】
[0002] 目前，随着人类科学技术的不断发展，人脸识别技术在人们日常生活中越来越普 及，无论在人工智能研究还是公共安全应用方面，人脸识别技术一直是一项前沿、热门技 术，拥有举足轻重的地位。
[0003] 其中，人脸识别技术中的笑脸识别，是计算机视觉技术领域中一个非常重要的内 容，伴随着诸如人脸支付、情感分析、医疗监护等应用需求的增长，笑脸识别作为完成人机 交互的重要组成部分，获得了越来越多人的关注，这就促使全球科研人员加大力度来笑脸 识别技术。
[0004] 目前，一些传统的方法是首先提取人脸的多种低水平特征，然后通过复杂的融合 方式将多种低水平特征进行融合，最后送入分类器中进行笑脸分类判断。然而，这些手工设 计的低水平特征表达，无法很好的表达出人脸中蕴含的表情信息，而且识别速度低，需要花 费较多的时间，且识别准确度差，因此不利于实现笑脸识别，无法满足用户对笑脸识别功能 的需求，严重降低用户的使用感受。
[0005] 因此，目前迫切需要开发出一种技术，其可以在保证对人脸图片进行高质量笑脸 识别的同时，快速、有效地对大量的人脸图片中笑脸进行识别判断，满足用户对笑脸识别功 能的要求，提高用户的工作效率，节约人们宝贵的时间。
【发明内容】
[0006] 有鉴于此，本发明的目的是提供一种人脸图像的笑脸识别方法及其装置，其可以 在保证对人脸图片进行高质量笑脸识别的同时，快速、有效地对大量的人脸图片中笑脸进 行准确识别判断，满足用户对笑脸识别功能的要求，提高用户的工作效率，节约人们宝贵的 时间，有利于提高用户的产品使用感受，具有重大的生产实践意义。
[0007]为此，本发明提供了一种人脸图像的笑脸识别方法，包括步骤：
[0008] 第一步:对于需要笑脸识别的多张人物图像，检测人脸的位置，并识别提取其中的 人脸图像；
[0009] 第二步:将所提取的人脸图像缩放成预设尺寸大小的人脸图像，并转换处理成灰 度图，以及为每张所述人脸图像赋予预设类别的表情标签信息；
[0010]第三步：建立卷积神经网络，所述卷积神经网络包括依次对所输入人脸图像进行 处理的输入层、预设多个卷积层、预设多个全连接层和输出层；
[0011]第四步:对所述卷积神经网络进行训练，扩大具有不同类别表情标签信息的多个 人脸图像之间的表情特征差异性，同时减少具有相同类别表情标签信息的多个人脸图像之 间的表情特征差异性；
[0012] 第五步:将已处理成灰度图并缩放预设尺寸的、待笑脸识别的每张人脸图像都输 入到完成训练的卷积神经网络中，由所述卷积神经网络提取该人脸图像的表情特征值并送 入到分类器进行笑脸判断分类，实现笑脸识别操作。
[0013] 其中，在第二步中，所述预设类别的人脸表情标签信息包括微笑标签信息和非微 笑标签信息。
[0014]其中，所述卷积神经网络包括一个输入层、四个卷积层、一个全连接层和一个输出 层。
[0015] 其中，在所述第四步中，对所述卷积神经网络进行训练的步骤具体为：
[0016] 将任意两张人脸图像及其对应的人脸表情标签信息输入到所述卷积神经网络的 输入层，由所述卷积神经网络的卷积层和全连接层来提取这两张人脸图像的表情特征值， 然后从输出层输出；
[0017] 将这两张人脸图片的表情特征值送入分类器进行分类，根据这两张人脸图片具有 的人脸表情标签信息，计算获得这两张人脸图片的表情特征值的第一损失值；
[0018] 比较这两张人脸图片的表情特征值，根据这两张人脸图片是否具有相同类别的 人脸表情标签信息，计算获得这两张人脸图片的表情特征值的第二损失值；
[0019] 使用这两张人脸图片的表情特征值的第一损失值和第二损失值一起来反向调节 所述卷积神经网络中的所有权重，完成对所述卷积神经网络的训练。
[0020] 此外，本发明还提供了一种人脸图像的笑脸识别装置，包括：
[0021] 图像识别提取单元，用于对于需要笑脸识别的多张人物图像，检测人脸的位置，并 识别提取其中的人脸图像，然后发送给图像预处理单元；
[0022] 图像预处理单元，与图像识别提取单元相连接，用于将所提取的人脸图像缩放成 预设尺寸大小的人脸图像，并转换处理成灰度图，同时为每张所述人脸图像赋予预设类别 的表情标签信息，并输出给网络训练单元和识别判断单元；
[0023] 网络建立单元，用于建立卷积神经网络，所述卷积神经网络包括依次对所输入人 脸图像进行处理的输入层、预设多个卷积层、预设多个全连接层和输出层；
[0024]网络训练单元，分别与网络建立单元、图像预处理单元相连接，用于对所述卷积神 经网络进行训练，扩大具有不同类别表情标签信息的多个人脸图像之间的表情特征差异 性，同时减少具有相同类别表情标签信息的多个人脸图像之间的表情特征差异性；
[0025] 识别判断单元，分别与网络训练单元、图像预处理单元相连接，用于将经图像预处 理单元处理的每张人脸图像都输入到完成训练的卷积神经网络中，由所述卷积神经网络提 取该人脸图像的表情特征值并送入到分类器进行笑脸判断分类，实现笑脸识别操作。
[0026] 其中，所述预设类别的人脸表情标签信息包括微笑标签信息和非微笑标签信息。
[0027] 其中，所述卷积神经网络包括一个输入层、四个卷积层、一个全连接层和一个输出 层。
[0028] 其中，所述网络训练单元包括特征提取模块、第一损失值获取模块、第二损失值获 取模块和反向调节模块，其中：
[0029] 特征提取模块，用于将任意两张人脸图像及其对应的人脸表情标签信息输入到所 述卷积神经网络的输入层，由所述卷积神经网络的卷积层和全连接层来提取这两张人脸图 像的表情特征值，然后从输出层输出；
[0030] 第一损失值获取模块，与特征提取模块相连接，用于将这两张人脸图片的表情特 征值送入分类器进行分类，根据这两张人脸图片具有的人脸表情标签信息，计算获得这两 张人脸图片的表情特征值的第一损失值；
[0031] 第二损失值获取模块，与特征提取模块相连接，用于比较这两张人脸图片的表情 特征值，根据这两张人脸图片是否具有相同类别的人脸表情标签信息，计算获得这两张人 脸图片的表情特征值的第二损失值；
[0032] 反向调节模块，分别与第一损失值获取模块和第二损失值获取模块相连接，用于 使用这两张人脸图片的表情特征值的第一损失值和第二损失值一起来反向调节所述卷积 神经网络中的所有权重，即完成对所述卷积神经网络的训练。
[0033] 由以上本发明提供的技术方案可见，与现有技术相比较，本发明提供了一种人物 图像的笑脸识别方法及其装置，其利用所构建的卷积神经网络，提取人脸的表情特征来完 成笑脸识别，可以在保证对人脸图片进行高质量笑脸识别的同时，快速、有效地对大量的人 脸图片中笑脸进行准确识别判断，满足用户对笑脸识别功能的要求，提高用户的工作效率， 节约人们宝贵的时间，有利于提高用户的产品使用感受，具有重大的生产实践意义。
【附图说明】
[0034] 图1为本发明提供的一种人脸图像的笑脸识别方法的流程图；
[0035] 图2为本发明提供的一种人脸图像的笑脸识别方法中，微笑表情的人脸图片的示 意图；
[0036]图3为本发明提供的一种人脸图像的笑脸识别方法中，输入正常表情（非微笑表 情)的人脸图片的示意图；
[0037] 图4为本发明提供的一种人脸图像的笑脸识别方法中，所构建的卷积神经网络中 各个组成部分的一种实施例结构示意图；
[0038] 图5为利用本发明提供的一种人脸图像的笑脸识别方法，判断为微笑表情特征的 人脸图像的不意图；
[0039] 图6为利用本发明提供的一种人脸图像的笑脸识别方法，判断为正常表情(非微笑 表情)特征的人脸图像的示意图；
[0040] 图7为本发明提供的一种人脸图像的笑脸识别装置的结构方框图。
【具体实施方式】
[0041] 为了使本技术领域的人员更好地理解本发明方案，下面结合附图和实施方式对本 发明作进一步的详细说明。
[0042] 图1为本发明提供的一种人脸图像的笑脸识别方法的流程图；
[0043] 参见图1，本发明提供的一种人脸图像的笑脸识别方法，包括以下步骤：
[0044]步骤S101:对于需要笑脸识别的多张人物图像，检测人脸的位置，并识别提取其中 的人脸图像；
[0045]需要说明的是，目前现有的人脸识别技术主要是根据眼睛和嘴的相对位置以及脸 部的大概形状来判断识别人脸。目前以人脸识别模块为核心形成了多种人脸识