一种基于人脸图像的情感健康监控方法及系统与流程

本发明涉及医疗健康、机器学习和移动互联网技术领域，更具体的说是涉及一种基于人脸图像的情感健康监控方法及系统。

背景技术：

情感状态体现了心理的健康状态，目前很多人都面临心理压力，或多或少会出现一些心理情感问题，表现为烦躁，焦虑，抑郁等，需要及时引导，但是这些表现出来的信号，对于心理学知识缺乏的人一般很难觉察，因此借助信息技术，自动监测并提醒是很重要的。人脸表情包含了丰富的情感信息，是我们理解情感的重要途径，因此通过人脸表情分析就可以实现人类的情感状态判别，进而判断人类的情感健康情况，然后预警。

人脸情感识别是计算机视觉中一个重要的课题，有着十分广泛的应用前景，但目前关于通过人脸表情分析来预警情感健康情况的成果还仅仅停留在研究阶段，并没有形成具体的方法和系统，因此，如何提供一种对人类情感健康的自动监控方法和设备是本领域技术人员亟需解决的问题。

技术实现要素：

有鉴于此，本发明提供了一种基于人脸图像的情感健康监控方法及系统。

为了实现上述目的，本发明采用如下技术方案：

一种基于人脸图像的情感健康监控方法，包括以下步骤：

(1)预先构建面部情感模型；

(2)自动采集用户的人脸图像；

(3)构造人脸图像的特征向量；

(4)利用人脸识别模型完成用户的身份验证，若身份验证不通过，则结束；

(5)提取人脸图像各个特征部位的信息；

(6)对提取的各个特征信息利用面部情感模型得出6种表情概率；

(7)选择融合后最大概率的表情作为识别结果；

(8)将识别结果与构建的面部情感模型中的情感类型相对应，进而从表情分类识别过程中获取准确的情感类别信息；

(9)根据情感状态，判断用户情感的健康情况，完成情感健康预警。

在上述技术方案的基础上，本发明还可做出如下改进：

进一步地，步骤(1)中，所述面部情感模型为基于ekman六类情感构建的面部情感模型。

进一步地，所述面部情感模型的建立过程包含以下步骤：

(a)采集n个人脸自然状态下的愤怒、高兴、惊讶、悲伤、恐惧、厌恶六类情感图像；

(b)对上述人脸情感图像使用子窗口进行采样并使用离散余弦变换对人脸面部图像进行特征提取；

(c)根据以上获得的测量值训练隐马尔可夫模型，即获得面部情感模型。

进一步地，步骤(4)中，所述人脸识别模型的获取过程包含以下步骤：

(a)采集n个人脸图像及其对应的身份类别；

(b)构造每个人脸图像的特征向量；

(c)构造训练数据，以人脸图像的特征向量为输入，其对应的身份类别为输出，构成训练样本集合；

(d)采用训练样本集合，学习人脸识别模型；

(e)以m倍交叉验证方式选择人脸识别模型的合适参数，进而获得对应参数的人脸识别模型。

进一步地，步骤(5)中，提取的人脸图像特征部位包括：脸部整体形变特征、眼睛和眉毛特征、嘴巴特征。

进一步地，步骤(8)中，获取情感类别信息后，还能进一步通过欧氏距离根据模糊规则判断获取情感的强、中、弱程度，实现情感的细分类。

另一方面，本发明还提供了一种基于人脸图像的情感健康监控系统，包括：客户端及服务器系统端，

所述客户端包括：

用户在用检测模块，用于检测用户是否在使用，为采集人脸图像做准备；

摄像头控制模块，用于捕捉获取人脸图像；

人脸图像采集模块，用于实现对人脸图像的采集，并对人脸图像进行预处理；

所述服务器系统端包括：

人脸图像接收模块，用于接收客户端基于网络发送的图像信息；

人脸图像特征向量构造模块，用于负责将检测的人脸图像抽取特征，转化为人脸图像的特征向量表示；

人脸识别模型学习模块，采用人脸识别训练样本数据库中的数据训练支持向量机分类器，获得人脸识别的支持向量机分类模型；

人脸识别模块，采用人脸识别的支持向量机分类模型对人脸图像分类，获得身份识别，以便验证监控对象的身份，确保采集的人脸图像与情感健康监控的对象是一致的；

人脸图像处理模块，用于对图像信息进行特征提取，并对提取的数据进行处理；

识别模块，用于根据其中构建储存的面部情感模型对处理后的数据进行分计算，获得识别结果；

情感健康预警模块，根据识别结果，判断用户情感的健康情况，若情感状态为愤怒，悲伤，厌恶和恐惧之一，则情感属于不健康状态，否则属于正常情况，同时生成健康情况的预警信息；

预警信息发送模块，将健康情况，采集人脸图像时的时间和针对健康情况的预警信息发送到预先指定的手机，完成情感健康的监控。

进一步地，所述服务器系统端还包括情感健康档案管理模块，用于将情感的健康状态，预警信息，时间信息保存到情感健康档案数据库，并支持用户查询情感健康档案数据库的历史记录。

经由上述的技术方案可知，本发明的有益效果为：

(1)提出了一种基于隐马尔科夫模型的人脸面部表情图像情感识别方法及系统，该方法可以对人脸表情图像进行有效可行的情感识别，进而实现对用户的情感健康状态监控，主动让使用者随时了解自身情感状态，并以此进行自我调整。

(2)用户通过客户端如日常使用的手机便能实现对自身情感健康状态的监控，简单、方便又实用。

(3)用户还可通过总结的情感健康档案数据库来了解自身情感的历史变化曲线等数据，在增加用户使用的乐趣的同时也能够给出其相应的指导性意见，供其参考。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明一种基于人脸图像的情感健康监控方法的整体流程图；

图2附图为本发明一种基于人脸图像的情感健康监控方法的人脸情感识别过程流程图；

图3附图为本发明一种基于人脸图像的情感健康监控系统实施案例的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于人脸图像的情感健康监控方法，如图1所示，该方法包括以下步骤：

(1)预先在相应系统模块中构建面部情感模型；

该面部情感模型为基于ekman六类情感构建的面部情感模型，即愤怒、高兴、惊讶、悲伤、恐惧、厌恶六类基本表情。

(2)自动采集用户的人脸图像；

当用户在使用带有照相功能的设备例如智能手机时，自动采集用户的人脸图像，并以采集人脸图像时的时间为文件名将人脸图像保存为jpeg格式的图片文件。

(3)构造人脸图像的特征向量；

提取人脸图像的jpeg格式图片文件的图像特征，形成一个人脸图像的特征向量。

(4)利用人脸识别模型完成用户的身份验证，若身份验证不通过，则结束；

采用支持向量机人脸识别模型对人脸图像的特征向量进行身份识别，当识别的身份不是情感健康的监控对象时，则结束。

(5)提取人脸图像各个特征部位的信息

提取的人脸图像特征部位包括：脸部整体形变特征、眼睛和眉毛特征、嘴巴特征；

首先，对图像进行预处理，采用基于肤色和人脸几何特征的人眼定位方法确定人眼位置，然后根据人眼定位确定人脸其他区域；在特征提取阶段用主动表现模型aam提取人脸几何形变特征，用gabor小波变换提取眼睛及眉毛部位的纹理变化信息，对嘴巴部位采用模板匹配法提取特征。

(6)对提取的各个特征信息(整体形变特征和局部特征)利用面部情感模型得出6种表情概率。

(7)选择融合后最大概率的表情作为识别结果；

在识别阶段根据每个特征对表情的贡献权值进行特征加权融合，并选择融合后最大概率的表情作为识别结果。

(8)将识别结果与构建的面部情感模型中的情感类型相对应，进而从表情分类识别过程中获取准确的情感类别信息；

情感类别信息同样包括愤怒、高兴、惊讶、悲伤、恐惧、厌恶六类情感。

获取情感类别信息后，还可进一步通过欧氏距离根据模糊规则判断获取情感的强、中、弱程度，实现情感的细分类。

(9)根据情感状态，判断用户情感的健康情况，完成情感健康预警。

根据情感类别判断用户情感的健康情况。若情感状态为愤怒，悲伤，厌恶，和恐惧之一，则情感属于不健康状态，否则属于正常情况。同时生成健康情况的预警信息。将健康情况，人脸图像采集时间，和健康预警信息发送到预先指定的客户端，完成情感健康的监控。

其中，面部情感模型的建立过程包含以下步骤：

(d)采集n个人脸自然状态下的愤怒、高兴、惊讶、悲伤、恐惧、厌恶六类情感图像；

(e)对上述人脸情感图像使用子窗口进行采样并使用离散余弦变换对人脸面部图像进行特征提取；

(f)根据以上获得的测量值训练隐马尔可夫模型，即获得面部情感模型。

其中，人脸识别模型的获取过程包含以下步骤：

(a)采集n个人脸图像及其对应的身份类别；

(b)构造每个人脸图像的特征向量；

(c)构造训练数据，以人脸图像的特征向量为输入，其对应的身份类别为输出，构成训练样本集合；

(d)采用训练样本集合，学习人脸识别模型；

(e)以m倍交叉验证方式选择人脸识别模型的合适参数，进而获得对应参数的人脸识别模型。

在如图2所示的人脸情感识别过程中，其具体确定方法为，

1、人脸部区域确定

双眼间的距离刻画了人脸的大小，是人脸识别中尺度归一化的重要依据，因此本发明中采用先定位双眼，再根据双眼定位眉毛、嘴、鼻子等部位的方法。

双眼定位采取基于肤色和人脸几何特征的定位方法，有如下步骤:

(1)肤色提取:进行肤色提取前，先对亮度区域进行划分，不同的亮点区域采用不同的公式进行检测肤色点，这样可以减少肤色点误判问题。

(2)基于人脸几何特征的人眼检测:肤色提取的人脸区域有器官的色块图，利用这些色块图和人脸面部几何规则可以检测出人眼。

2、脸部特征提取

2.1整体几何形变特征提取

主动表现模型(aam)是一种广泛用于脸部特征提取的方法，aam同时包含了目标物体的形状信息和内部纹理信息，这使得aam能有效地提取人脸表情的形变信息。本发明采用脸部的57个特征点构建脸部模型，aam算法通过合成图像和模型参数得到表现模型，再调整模型参数使得模型表现与实际图像的差别最小。

2.2眼睛和眉毛区域特征提取

在图像预处理后，对所选择的眼睛和眉毛区域作gabor小波变换，这里选择网格大小为5*5，对每个网格进行gabor变换，然后将所得到的特征矢量的模作为提取的表情特征参数。

2.3嘴巴区域特征提取

通过对jaffe表情库里的表情图像进行总结，归纳出了5种嘴型，分别为:中性、微笑、开口笑、悲伤和惊讶。根据嘴型图可以发现嘴部几个重要部分的颜色差异:嘴唇、牙齿及口腔的颜色分别为灰、白、黑。嘴部的灰度图在表情变化时会产生较大形状和颜色变化，针对此特点，本发明设计了一种基于模板匹配的嘴部特征提取方法。具体方法分为以下几个步骤:

(1)嘴部匹配范围的定位；

(2)选取匹配模板；

(3)枚举匹配位置；

(4)匹配；

(5)取最大相似度。

如图3所示，为一种基于人脸图像的情感健康监控系统实施案例的结构图，该系统包括客户端及服务器系统端。

客户端包括：

用户在用检测模块，用于检测用户是否在使用，为采集人脸图像做准备；

摄像头控制模块，用于捕捉获取人脸图像；

人脸图像采集模块，用于实现对人脸图像的采集，并对人脸图像进行预处理；

服务器系统端包括：

人脸图像接收模块，用于接收客户端基于网络发送的图像信息；

人脸图像特征向量构造模块，用于负责将检测的人脸图像抽取特征，转化为人脸图像的特征向量表示；

人脸识别模型学习模块，采用人脸识别训练样本数据库中的数据训练支持向量机分类器，获得人脸识别的支持向量机分类模型；

人脸识别模块，采用人脸识别的支持向量机分类模型对人脸图像分类，获得身份识别，以便验证监控对象的身份，确保采集的人脸图像与情感健康监控的对象是一致的；

人脸图像处理模块，用于对图像信息进行特征提取，并对提取的数据进行处理；

识别模块，用于根据其中构建储存的面部情感模型对处理后的数据进行分计算，获得识别结果；

情感健康预警模块，根据识别结果，判断用户情感的健康情况，若情感状态为愤怒，悲伤，厌恶和恐惧之一，则情感属于不健康状态，否则属于正常情况，同时生成健康情况的预警信息；

预警信息发送模块，将健康情况，采集人脸图像时的时间和针对健康情况的预警信息发送到预先指定的手机，完成情感健康的监控。

情感健康档案管理模块，用于将情感的健康状态，预警信息，时间信息保存到情感健康档案数据库，并支持用户查询情感健康档案数据库的历史记录。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。