一种基于人脸图像的情感健康监控方法及手的制造方法
【专利摘要】本发明涉及一种基于人脸图像的情感健康监控方法，该方法包括步骤：自动采集用户的人脸图像，构造人脸图像的特征向量，完成人脸身份验证，人脸情感分类，情感健康预警，和预警信息发送。本发明还公开了一种基于人脸图像的情感健康监控手机，包括：用户手机在用检测模块，手机摄像头控制模块，人脸图像采集模块，人脸图像特征向量构造模块，人脸识别模块，人脸情感分类模块，情感健康预警模块，预警信息发送模块，情感档案管理模块，人脸表情分类模型学习模块，人脸识别模型学习模块。本发明效果是人脸表情采集更自然，情感健康状态的评价更真实，情感健康的监控更方便，更易使用。
【专利说明】一种基于人脸图像的情感健康监控方法及手机
【技术领域】
[0001] 本发明涉及一种基于人脸图像的情感健康监控方法及手机，属于医疗健康、机器 学习和移动互联网【技术领域】。
【背景技术】
[0002] 情感状态体现了心理的健康状态，目前很多人都面临心理压力，或多或少会出现 一些心理情感问题，表现为烦躁，焦虑，抑郁等，需要及时引导，但是这些表现出来的信号， 对于心理学知识缺乏的人一般很难觉察，因此借助信息技术，自动监测并提醒是很重要的。 人脸表情包含了丰富的情感信息，是我们理解情感的重要途径，因此通过人脸表情分析就 可以实现人类的情感状态判别，进而判断人类的情感健康情况，然后预警。
[0003] 另一个问题是人脸识别问题，因为健康监控需要实现采集的人脸图像的身份鉴 另IJ，只有与指定情感健康监控对象的身份一致才能实施情感健康的监控，确保监控对象的 一致性。目前人脸识别已经在安全验证、犯罪识别、视频会议、考勤系统等方面得到广泛应 用，因为从人机交互的方式来看，人脸识别更符合人们的理想，能够自动采集到自然的人脸 图像。
[0004] 手机是人们经常使用的工具，用户使用手机时的人脸表情反映的是用户的自然情 感，因此通过自动采集用户使用手机时的人脸图像，进而通过人脸表情分析就可以判断用 户的情感状态，以此推断情感的健康情况，进而预警。目前国内还没有发现在手机上实现基 于人脸图像的情感健康监控方法。
【发明内容】
[0005] 本发明要解决的技术问题是：目前缺乏对人类情感健康的自动监控方法和设备。
[0006] 本发明涉及一种基于人脸图像的情感健康监控方法，其特征在于该方法包括以下 步骤：
[0007] [1]自动采集用户的人脸图像
[0008] [2]构造人脸图像的特征向量
[0009][3]利用人脸识别模型完成用户的身份验证，若身份验证不通过，则结束[0010][4]利用人脸情感分类模型预测用户的情感状态
[0011] [5]根据情感状态，判断用户情感的健康情况，完成情感健康预警
[0012] [6]将健康情况，人脸图像采集时间和健康预警信息发送到预先指定的设备，完成 情感健康的监控。
[0013] 其中人脸识别模型的获取过程包含以下步骤：
[0014] (a)采集N个人脸图像及其对应的身份类别
[0015] (b)构造每个人脸图像的特征向量
[0016] (c)构造训练数据，以人脸图像的特征向量为输入，其对应的身份类别为输出，构 成训练样本集合
[0017] (d)采用训练样本集合，学习人脸识别模型
[0018] (e)以M倍交叉验证方式选择人脸识别模型的合适参数，进而获得对应参数的人 脸识别模型。
[0019] 其中人脸情感分类模型的获取过程包含以下步骤：
[0020] (a)采集N个人脸图像及其对应的情感类别
[0021] (b)构造每个人脸图像的特征向量
[0022] (c)构造训练数据，以人脸图像的特征向量为输入，其对应的情感类别为输出，构 成训练样本集合
[0023] (d)采用训练样本集合，学习人脸情感分类模型
[0024] (e)以M倍交叉验证方式选择人脸情感分类模型的合适参数，进而获得对应参数 的人脸情感分类模型。
[0025] 本发明一种基于人脸图像的情感健康监控手机，其特征在于使用了本发明所述的 方法，其特征在于手机包括：人脸情感训练样本数据库，人脸识别训练样本数据库，情感健 康档案数据库。用户手机在用检测模块，手机摄像头控制模块，人脸图像采集模块，人脸图 像特征向量构造模块，人脸识别模块，人脸情感分类模块，情感健康预警模块，预警信息发 送模块，情感健康档案管理模块，人脸情感分类模型学习模块，人脸识别模型学习模块。其 中用户手机在用检测模块的输出与手机摄像头控制模块的输入连接，手机摄像头控制模块 的输出与人脸图像采集模块的输入连接，人脸图像采集模块的输出与人脸图像特征向量构 造模块的输入连接，人脸图像特征向量构造模块的输出与人脸识别模块和人脸情感分类模 块的输入连接，人脸识别模型学习模块的输出与人脸识别模块的输入连接，人脸识别模块 和人脸情感分类模型学习模块的输出与人脸情感分类模块的输入连接，人脸情感分类模块 的输出与情感健康预警模块的输入连接，情感健康预警模块的输出与预警信息发送模块的 输入连接，预警信息发送模块的输出与情感健康档案管理模块的输入连接。其中人脸表情 分类模型学习模块和人脸识别模型学习模块是离线独立运行的。
[0026] 有益效果
[0027] 与现有技术相比，本发明的一种基于人脸图像的情感健康监控方法及手机具有以 下优点：
[0028] [1]在用户使用手机时，自动采集人脸图像，不需要用户特别关注，这样采集的人 脸表情更自然，情感健康状态的评价更真实。
[0029] [2]仅使用日用手机就能对用户的情感健康状态监控，情感健康的监控更方便和 易用。
[0030] [3]能主动让使用者随时了解其情感状态，从而防止忘记自己情感状态的变化，
[0031] 耽误预防和治疗等带来的问题，同时能为医师提供辅助诊断的参考。
【专利附图】
【附图说明】
[0032] 图1一种基于人脸图像的情感健康监控方法的流程图
[0033]图2-种基于人脸图像的情感健康监控手机实施案例的结构图
[0034]图3 -种基于人脸图像的情感健康监控手机实施案例的结构图
【具体实施方式】
[0035] 本发明提出的种基于人脸图像的情感健康监控方法及手机，结合附图和实施例说 明如下。
[0036] 如图1所示，为一种基于人脸图像的情感健康监控方法的流程图，其特征在于该 方法包括以下步骤：
[0037] [1]当用户在使用带有照相功能的设备例如智能手机时，自动采集用户的人脸图 像，并以采集人脸图像时的时间为文件名将人脸图像保存为JPEG格式的图片文件。
[0038] [2]提取人脸图像的JPEG格式图片文件的图像特征，形成一个人脸图像的特征向 量。
[0039] [3]采用支持向量机人脸识别模型对人脸图像的特征向量进行身份识别，当识别 的身份不是情感健康的监控对象时，则结束。
[0040] [4]采用支持向量机情感分类模型对人脸图像的特征向量分类，分类的情感类别 为愤怒，高兴，悲伤，惊讶，厌恶，恐惧和平静。
[0041] [5]根据情感类别判断用户情感的健康情况。若情感状态为愤怒，悲伤，厌恶，和恐 惧之一，则情感属于不健康状态，否则属于正常情况。同时生成健康情况的预警信息。
[0042] [6]将健康情况，人脸图像采集时间，和健康预警信息发送到预先指定的手机，完 成情感健康的监控。
[0043] 其中支持向量机人脸识别模型的获取过程包含以下步骤：
[0044] (a)采集1000个人脸图像及其对应的身份类别
[0045](b)构造每个人脸图像的特征向量
[0046] (c)构造训练数据，以人脸图像的特征向量为输入，其对应的身份类别为输出，构 成训练样本集合
[0047] (d)采用训练样本集合，训练支持向量机，获得支持向量机人脸识别模型
[0048] (e)以10倍交叉验证方式选择支持向量机人脸识别模型的合适参数，进而获得对 应参数的支持向量机人脸识别模型。
[0049] 其中支持向量机情感分类模型的获取过程包含以下步骤：
[0050] (a)采集1000个人脸图像及其对应的情感类别
[0051] (b)构造每个人脸图像的特征向量
[0052] (c)构造训练数据，以人脸图像的特征向量为输入，其对应的情感类别为输出，构 成训练样本集合
[0053] (d)采用训练样本集合，训练支持向量机，获得支持向量机情感分类模型
[0054] (e)以10倍交叉验证方式选择支持向量机情感分类模型的合适参数，进而获得对 应参数的支持向量机情感分类模型。
[0055] 本实施案例中，人脸识别和人脸情感分类中的相同步骤采用相同的方法实现，包 括人脸检测，人脸特征向量构造，和支持向量机分类方法。实现技术采用Android OpenCV 提供的API函数实现，Android OpenCV是计算机上OpenCV在Android手机上的移植版。
[0056] 人脸图像的检测
[0057] 本实施案例对人脸识别和人脸情感识别采用相同的人脸检测方法。首先是人脸 图像的采集，通过摄像头等图像捕捉工具获取人脸的静态图像，然后完成图像预处理，包 括图像的大小和灰度的归一化，头部姿态的矫正，和人脸图像的检测等人脸检测算法采用Viola-Jones的级联分类器算法，它是现在的一个比较优秀的人脸检测算法。这种算法使 用基于Haar特征的级联分类器策略，可快速且有效地找到多种姿态和尺寸的人脸图像。 在AndroidOpenCV上有一个该算法的实现。AndroidOpenCV是Intel开源计算机视觉库 (ComputerVersion)，由一系列C函数和少量C++类构成，实现了图像处理和计算机视觉 方面的很多通用算法。AndroidOpenCV拥有包括300多个C函数的跨平台的中、高层API。 AndroidOpenCV对非商业应用和商业应用都是免费的。同时AndroidOpenCV提供了对硬 件的访问，可以直接访问摄像头，因而利用AndroidOpenCV编程实现人脸图像的采集和检 测，从而获得人脸图像。包括两个步骤。第1步是图片预处理，从摄像头中获得一个帧（一张 图片）后，先对这张图片进行一些预处理：将图片从RGB模式转为灰度图，然后进行灰度图 直方图均衡化操作。第2步，检测并标记人脸目标，在AndroidOpenCV中，对于人脸检测的 模型已经建立为一个XML文件，其中包含了上面提到的Haar特征的分类器的训练结果，本 实施案例直接使用这个结果，将待检测的人脸图像和级联分类器模型一同传递给Android OpenCV的目标检测算法即得到一个检测到的人脸图像。
[0058] 人脸图像的特征向量构造
[0059] 本实施案例对人脸识别和人脸情感识别采用相同的人脸图像特征向量构造方法。 提取人脸图像的特征有两类：第1类，先利用二维离散小波在不明显损失图像信息的基础 上对表情图像进行变换，变换后的图像数据量大大减少，再利用离散于余弦变换变换提取 代表原图像绝大部分能量的数据作为表情特征矢量。第2类，首先对人脸情感图像进行分 害I]、消噪处理，然后对其作标准化处理，包括尺度归一化和灰度均衡化。对标准化处理后的 图像使用固定像素的网格进一步分割，对每一个网格进行Gabor小波变换，取Gabor变换后 的小波系数模的均值、方差作为该网格的情感特征向量。最后将两类特征向量串接为一个 特征向量作为人脸图像的特征向量。
[0060] 本实施案例利用AndroidOpenCV提供的多种API函数来构造人脸图像的特征向 量。
[0061] 人脸识别和人脸情感识别
[0062] 人脸识别和人脸情感识别都面临相同的问题，例如数据中处理的类别较多，而每 个类的样本则很少，因此本实施案例采用相同的识别方法-支持向量机（SupportYectcr Machine，SVM)。
[0063] 支持向量机是近几年刚发展起来的一种分类方法，它基于结构风险最小化原则， 具有良好的泛化能力。给定训练样本{(Xpy)，（Xpy)，? ? .，（xN，yN)}集，其中
[0064] 为输入向量，为对应的类别，SVM在特征空间中寻找能将两类样本正确分开的最优 分界超平面。对于输入空间中的向量X，假如使用z= 〇 (x)表示其在特征空间中对应的特 征向量，贝1J最优分界超平面表示为w*z+b= 0。相应的决策方程为f(x) =sign(w*z+b)。 在任何情况下，SVM并不要求知道映射小。引入核函数k(*)，特征空间中向量间的点积能 在输入空间中通过核函数表示为
[0065] 训练SVM等价于求解如下最优化问题：
【权利要求】
1. 一种基于人脸图像的情感健康监控方法，其特征在于该方法包括w下步骤： [1] 自动采集用户的人脸图像 [2] 构造人脸图像的特征向量 [3] 利用人脸识别模型完成用户的身份验证，若身份验证不通过，则结束 [4] 利用人脸情感分类模型预测用户的情感状态 [引根据情感状态，判断用户情感的健康情况，完成情感健康预警 [6]将健康情况，人脸图像的采集时间，和健康预警信息发送到预先指定的设备，完成 情感健康的监控。 其中人脸识别模型的获取过程包含W下步骤： (a)采集N个人脸图像及其对应的身份类别 化）构造每个人脸图像的特征向量 (C)构造训练数据，W人脸图像的特征向量为输入，其对应的身份类别为输出，构成训 练样本集合 (d) 采用训练样本集合，学习人脸识别模型 (e) W M倍交叉验证方式选择人脸识别模型的合适参数，进而获得对应参数的人脸识 别模型。 其中人脸情感分类模型的获取过程包含W下步骤： (a)采集N个人脸图像及其对应的情感类别 化）构造每个人脸图像的特征向量 (C)构造训练数据，W人脸图像的特征向量为输入，其对应的情感类别为输出，构成训 练样本集合 (d) 采用训练样本集合，学习人脸情感分类模型 (e) W M倍交叉验证方式选择人脸情感分类模型的合适参数，进而获得对应参数的人 脸情感分类模型。
2. 根据权利要求1所述的一种基于人脸图像的情感健康监控方法，其特征在于 所述的步骤[1]自动采集用户的人脸图像。
3. 根据权利要求1所述的一种基于人脸图像的情感健康监控方法，其特征在于 所述的步骤[3]利用人脸识别模型验证用户的身份。
4. 根据权利要求1所述的一种基于人脸图像的情感健康监控方法，其特征在于 所述的步骤[引根据情感状态，判断用户情感的健康情况，完成情感健康预警。
5. 根据权利要求1所述的一种基于人脸图像的情感健康监控方法，其特征在于 所述的步骤[6]将健康情况，人脸图像采集时间，和健康预警信息发送到预先指定的 设备，完成情感健康的监控。
6. 本发明一种基于人脸图像的情感健康监控手机，其特征在于使用了本发明所述的方 法，其特征在于手机包括；人脸情感训练样本数据库，人脸识别训练样本数据库，情感健康 档案数据库。用户手机在用检测模块，手机摄像头控制模块，人脸图像采集模块，人脸图像 特征向量构造模块，人脸识别模块，人脸情感分类模块，情感健康预警模块，预警信息发送 模块，情感健康档案管理模块，人脸情感分类模型学习模块，人脸识别模型学习模块。其中 用户手机在用检测模块的输出与手机摄像头控制模块的输入连接，手机摄像头控制模块的 输出与人脸图像采集模块的输入连接，人脸图像采集模块的输出与人脸图像特征向量构造 模块的输入连接，人脸图像特征向量构造模块的输出与人脸识别模块和人脸情感分类模块 的输入连接，人脸识别模型学习模块的输出与人脸识别模块的输入连接，人脸识别模块和 人脸情感分类模型学习模块的输出与人脸情感分类模块的输入连接，人脸情感分类模块的 输出与情感健康预警模块的输入连接，情感健康预警模块的输出与预警信息发送模块的输 入连接，预警信息发送模块的输出与情感健康档案管理模块的输入连接。其中人脸表情分 类模型学习模块和人脸识别模型学习模块是离线独立运行的。
【文档编号】G06K9/00GK104346503SQ201310313614
【公开日】2015年2月11日 申请日期:2013年7月23日 优先权日:2013年7月23日
【发明者】不公告发明人 申请人:广州华久信息科技有限公司