一种利用深度相关神经网络模型识别人脸表情的方法及装置的制造方法
【专利摘要】一种利用深度相关神经网络模型识别人脸表情的方法及装置，本发明方法包含以下步骤：1)训练深度相关神经网络模型；2)输入图像到训练好的模型，得到人脸表情特征，3)将特征输入分类器，得到识别结果。本发明的装置由主机和客户机构成；其中，主机内设置有人脸数据采集模块、表情识别模块、监护模块三部分；连接关系为，人脸数据采集模块、表情识别模块、监护模块三部分依序连接；监护模块与客户机连接。本发明的有益效果为，1)使最后的识别准确度更高；2)本发明克服输入测试图像时对模型参数反馈自适应调节参数的问题；3)本发明根据损失函数反馈，通过样本的重要性来自适应调整模型参数，具有更好的鲁棒性。
【专利说明】
一种利用深度相关神经网络模型识别人脸表情的方法及装置
技术领域
[0001] 本发明属于人脸表情识别技术领域，尤其是属于一种基于改进后的深度神经网络 模型(DNN)人脸表情识别方法技术领域。
【背景技术】
[0002] 面部表情识别，简单说来是对最基本的人类情绪的识别，最基本的人类情绪共分 七种，包含愤怒、厌恶、恐惧、快乐、悲伤、惊讶和正常。人与人之间的交流，基于表情内容而 获得的信息占据绝大部分，远超过基于语言内容而获得的信息，所以表情信息的获得、分析 对于一个个人来讲是十分重要的。随着计算机技术的高速发展，人工智能技术的进步，一些 人工智能产品如机器人等已经出现在人类的生活中，但是对于机器人来讲，如何正确识别 人类的面部表情，从而分析人类的基本情绪，最终实现人机之间有感情的高级沟通交流，已 经成为人工智能领域的一个新兴、热点研究课题。
[0003] 现有的面部表情识别技术，一般包含三个步骤:面部图像预处理、特征提取和分 类。在提取特征部分有两种方法，1)面部动作单元方法，即通过检测和分析如眼部、嘴巴等 这些每个单独的面部单元特征，对这些特征进行组合之后来进行一些面部表情分析;2)容 貌特征法，将整个人脸或者局部人脸通过图像的滤波得到特征矢量，得到特征矢量后进行 表情的分类与识别。
[0004] 上述第1种方法，即使用面部动作单元方法提取表情特征时，由于每个运动单元是 每个局部化的空间模板，没有时间描述信息，需要可靠的面部检测与跟踪技术，还需要人脸 检测器捕获人脸特征点准确的位置信息，以确保提取出准确的特征信息，在很多情况下，并 不能保证有很高的准确率和性能。
[0005] 上述第2种方法，即使用容貌特征法，由于大部分容貌特征法都要提取手工特征， 在将这类方法用在新的数据集上时泛化能力较差。
[0006] 现有的面部表情识别技术所使用的传统的DNN(深度神经网络）、T_DNN(基于 triplet损失的深度神经网络)等算法，在对模型反馈调节模型参数时，对所有的训练样本 不加区分，使得有些样本在训练不同的表情类时区分度不高，对表情、姿态与光照等复杂变 化的鲁棒性差，最终不能更好的识别人类的面部表情特征。
【发明内容】
[0007] 对于上述现有技术的缺点，本发明提供一种利用深度相关神经网络模型识别人脸 表情的方法，本发明对人脸表情的识别更为合理、准确。
[0008] -种利用深度相关神经网络模型识别人脸表情的方法，本发明包含以下步骤：1) 训练深度相关神经网络模型;2)输入图像到训练好的模型，得到人脸表情特征，3)将特征输 入分类器，得到识别结果。
[0009] 本发明步骤1、步骤2)的内容为，首先构造一种隐含层数目大于等于3层的深度神 经网络结构进行模型训练;训练过程中，用损失函数判断哪些样本是重要样本，重要样本为 其对应的特征与同类样本对应的特征之间的距离和其对应的特征与异类样本对应的特征 之间的距离很接近的样本;对于重要样本，在更新模型时，给予更多的权重去训练学习。因 此，定义样本集合PziPi}，这里6 = ，其中？1和对是同类表情的图像，？1和巧:是不 同表情的图像，设f(x)为图像X经神经网络模型处理后的输出，则f(x)就为X的特征表示，需 要得到有效的特征汽？1)，1<)和1>,〇'要让映射后的特征汽？1)和，(<)比以 ？1)和，(<) 这些特征更近，这样在更新模型参数时，就有选择性的给那些重要样本更多的权重，定义损 失函数如下：
[0010]这里γ彡0,是一个判断学习样本重要性的参数，如果和 小于γ，说明这些样本太过难以区分，对此类样本不进行学习，避免过拟合， 这里α是一个权衡参数。关于f(Pl)、f ?·(/?；)的梯度函数表示如下：
[0015] 本发明步骤3)的分类器为k近邻分类器。
[0016] 使用权利要求1所述的一种利用深度相关神经网络模型识别人脸表情的方法的载 体，本发明该载体为一种人体监护装置，该装置由主机和客户机构成;其中，主机内设置有 人脸数据采集模块、表情识别模块、监护模块三部分;连接关系为，人脸数据采集模块、表情 识别模块、监护模块三部分依序连接;监护模块与客户机连接。
[0017] 本发明人脸数据采集模块为，用摄像头采集实时的人脸图像数据，将获取的人脸 数据送入表情识别模块。
[0018] 本发明表情识别模块为一种利用深度相关神经网络模型识别人脸表情的模块。
[0019] 本发明监护模块为，根据表情识别模块识别出来的结果做出不同监护响应。
[0020] 本发明客户机为，客户机获得识别结果并同时获得对应人脸表情视频，监护人利 用客户机修改监护响应方式。
[0021] 本发明主机与客户机的连接方式为采用有线或者无线方式进行通信连接。
[0022] 本发明涉及的深度相关神经网络是常见的深度神经网络(DNN)的升级算法。
[0023] 本发明的有益效果为，1)本发明能够更快更好的训练样本得到合适的模型参数， 使最后的识别准确度更高。2)本发明克服输入测试图像时对模型参数反馈自适应调节参数 的问题，着重研究了同类表情样本和不同类表情样本经神经网络模型映射之后在空间的相 对距离问题。3)本发明根据损失函数反馈，通过样本的重要性来自适应调整模型参数，具有 更好的鲁棒性。
[0024]下面结合附图和【具体实施方式】对本发明做进一步解释。
【附图说明】
[0025]图1为本发明的结构不意图；
[0026] 图2为本发明【具体实施方式】中的第一种神经网络结构图；
[0027] 图3为本发明【具体实施方式】中的第二种神经网络结构图。
【具体实施方式】
[0028] -种利用深度相关神经网络模型识别人脸表情的方法，本发明包含以下步骤：1) 训练深度相关神经网络模型;2)输入图像到训练好的模型，得到人脸表情特征，3)将特征输 入分类器，得到识别结果。本发明采用深度神经网络对图像进行特征提取，图2给出了第一 种神经网络模型结构图，图3给出了第二种神经网络模型结构图。
[0029] 本发明步骤1、步骤2)的内容为，首先构造一种隐含层数目大于等于3层的深度神 经网络结构进行模型训练;训练过程中，用损失函数判断哪些样本是重要样本，重要样本为 其对应的特征与同类样本对应的特征之间的距离和其对应的特征与异类样本对应的特征 之间的距离很接近的样本;对于重要样本，在更新模型时，给予更多的权重去训练学习。因 此，定义样本集合P={Pi}，这里C = :(?，对，埒卜其中Pi和对是同类表情的图像，Pi和6是不 同表情的图像，设f(x)为图像X经神经网络模型处理后的输出，则f(x)就为X的特征表示，需 要得到有效的特征f( Pl)，f (<)和，(/4,要让映射后的特征f(Pl)和f 比f( Pl)和，(P7) 这些特征更近，这样在更新模型参数时，就有选择性的给那些重要样本更多的权重，定义损 失函数如下：
[0030]这里γ彡0是一个判断学习样本重要性的参数，如果和 |f (巧）-f小于丫，说明这些样本太过难以区分，对此类样本不进行学习，避免过拟合， 这里α是一个权衡参数。关于f (Pl)、f 的梯度函数表示如下：
[0035] 本发明步骤3)的分类器为k近邻分类器。
[0036] 使用权利要求1所述的一种利用深度相关神经网络模型识别人脸表情的方法的载 体，本发明该载体为一种人体监护装置，该装置由主机和客户机构成;其中，主机内设置有 人脸数据采集模块、表情识别模块、监护模块三部分;连接关系为，人脸数据采集模块、表情 识别模块、监护模块三部分依序连接;监护模块与客户机连接。本发明的人体监护装置结构 示意图见图1。
[0037] 本发明人脸数据采集模块为，用摄像头采集实时的人脸图像数据，将获取的人脸 数据送入表情识别模块。
[0038] 本发明表情识别模块为一种利用深度相关神经网络模型识别人脸表情的模块。
[0039] 本发明监护模块为，根据表情识别模块识别出来的结果做出不同监护响应。
[0040] 本发明客户机为，客户机获得识别结果并同时获得对应人脸表情视频，监护人利 用客户机修改监护响应方式。
[0041] 本发明主机与客户机的连接方式为采用有线或者无线方式进行通信连接。
[0042] 本发明中，108X108、3X3、54X54、27X27、13X13、6X6、160X160、80X80、40X 40、20X20等数值的单位为像素。
[0043] 表1【具体实施方式】中的第一种神经网络参数
[0045]表2【具体实施方式】中的第二种神经网络参数
【主权项】
1. 一种利用深度相关神经网络模型识别人脸表情的方法，其特征在于，包含W下步骤： 1)训练深度相关神经网络模型;2)输入图像到训练好的模型，得到人脸表情特征，3)将特征 输入分类器，得到识别结果。2. 根据权利要求1所述的一种利用深度相关神经网络模型识别人脸表情的方法，其特 征在于，步骤1、步骤2)的内容为，首先构造一种隐含层数目大于等于3层的深度神经网络结 构进行模型训练;训练过程中，用损失函数判断哪些样本是重要样本，重要样本为其对应的 特征与同类样本对应的特征之间的距离和其对应的特征与异类样本对应的特征之间的距 离很接近的样本;定义样本集合P= {Pi}，运里=>,，皆，/d，其中Pi和孩是同类表情的图 像，Pi和砖是不同表情的图像，设f(x)为图像X经神经网络模型处理后的输出，则f(x)就为X 的特征表示，需要得到有效的特征f(Pi)，/杉:)和f ?狂），定义损失函数如下：运里丫 >0,是一个判断学习样本重要性的参数，如果小于丫，说明运些样本太过难W区分，对此类样本不进行学习，避免过拟合，运里α是一个权 衡参数;关于f (Pi)?片）> (每)的梯度函数表示如下：3. 根据权利要求1所述的一种利用深度相关神经网络模型识别人脸表情的方法，其特 征在于，步骤3)的分类器为k近邻分类器。4. 使用权利要求1所述的一种利用深度相关神经网络模型识别人脸表情的方法的载 体，其特征在于，该载体为一种人体监护装置，该装置由主机和客户机构成;其中，主机内设 置有人脸数据采集模块、表情识别模块、监护模块Ξ部分;连接关系为，人脸数据采集模块、 表情识别模块、监护模块Ξ部分依序连接;监护模块与客户机连接。5. 根据权利要求4所述的使用权利要求1所述的一种利用深度相关神经网络模型识别 人脸表情的方法的载体，其特征在于，人脸数据采集模块为，用摄像头采集实时的人脸图像 数据，将获取的人脸数据送入表情识别模块。6. 根据权利要求4所述的使用权利要求1所述的一种利用深度相关神经网络模型识别 人脸表情的方法的载体，其特征在于，表情识别模块为一种利用深度相关神经网络模型识 别人脸表情的模块。7. 根据权利要求4所述的使用权利要求1所述的一种利用深度相关神经网络模型识别 人脸表情的方法的载体，其特征在于，监护模块为，根据表情识别模块识别出来的结果做出 不同监护响应。8. 根据权利要求4所述的使用权利要求1所述的一种利用深度相关神经网络模型识别 人脸表情的方法的载体，其特征在于，客户机为，客户机获得识别结果并同时获得对应人脸 表情视频，监护人利用客户机修改监护响应方式。9. 根据权利要求4所述的使用权利要求1所述的一种利用深度相关神经网络模型识别 人脸表情的方法的载体，其特征在于，主机与客户机的连接方式为采用有线或者无线方式 进行通信连接。
【文档编号】G06N3/08GK106096598SQ201610698191
【公开日】2016年11月9日
【申请日】2016年8月22日 公开号201610698191.2, CN 106096598 A, CN 106096598A, CN 201610698191, CN-A-106096598, CN106096598 A, CN106096598A, CN201610698191, CN201610698191.2
【发明人】林旭
【申请人】深圳市联合视觉创新科技有限公司