情绪健康管理系统和情绪健康管理方法与流程

本公开一般涉及情感计算领域，具体涉及情绪健康管理系统和情绪健康管理方法。

背景技术：

人类情感在人们的社会交往中发挥着重要作用，情感计算成为人机交互、人工智能的最重要研究领域之一。

情绪健康管理系统和情绪健康管理方法基于有效的情绪健康分析方法和系统。现有的情绪健康分析方法和分析系统是多种多样的，包括基于人脸表情的情绪识别方法、基于语音的情绪识别方法、基于文字的情绪分析方法等，但这些情绪分析识别系统多数是基于其中一种或两种情绪特征而构建的情感识别模型。研究表明：人的情绪和心理压力是一种综合因素表征的结果，仅仅通过人脸识别、语音识别、文字识别中的一种或两种对人情绪和心理压力进行判定，其结果易造成误判；当前方法研究开发的情绪心理压力诊断或治疗系统，情绪心理压力准确率低，不能够提供良好的用户体验。

技术实现要素：

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于上述问题，本发明在第一方面提出了一种情绪健康管理系统，包括：信息采集模块，被配置为采集目标对象的人脸图像或指纹信息和加速度信息；

情绪分析模块，被配置为根据所述人脸图像或指纹信息识别目标对象的表情和身份，并且将上述表情信息和加速度信息相结合，分析目标对象的实时情绪状态；

结果展示模块，被配置为展示目标对象的情绪状态。

根据本发明实施例的情绪健康管理系统，通过将人脸图像识别的目标对象的表情和加速度信息相结合，分析目标对象的实时情绪状态，并将结果给予展示，便于发现目标对象的情绪状态并在不良情绪时提醒及时调整，保持心态健康。

本发明在第二方面还提供一种情绪健康管理方法，包括以下步骤：

采集目标对象的人脸图像或指纹信息和加速度信息；

根据所述人脸图像或指纹信息识别目标对象的表情和身份；

将上述表情信息和加速度信息相结合，分析目标对象的实时情绪状态。

通过本发明实施例的情绪健康分析方法，同样能够实现上述有益技术效果，在此不再赘述。

本发明在第三方面提供另一种情绪健康管理系统，包括：

多维信息采集模块，用于采集目标对象的人脸图像、加速度信息以及多种生理信息；

情绪压力分析模块，被配置为根据所述人脸图像识别目标对象的表情和身份，并结合加速度信息和多种生理信息综合分析目标对象的情绪压力状态；

结果展示模块，被配置为展示目标对象的情绪压力状态。

根据本发明实施例的该情绪健康管理系统，通过将目标对象的表情、加速度信息和多种生理信息相结合，综合分析目标对象的情绪压力状态，并将结果给予展示，便于更全面、准确发现目标对象的情绪状态并在不良情绪时及时调整，保持心态健康。

本发明在第四方面还提供基于上述情绪健康管理系统的一种情绪健康管理方法，包括以下步骤：采集目标对象的人脸图像、加速度信息以及多种生理信息；

根据所述人脸图像识别目标对象的表情和身份，并结合加速度信息和多种生理信息综合分析目标对象的情绪状态；

展示目标对象的情绪状态。

通过本发明实施例的情绪健康分析方法，同样能够实现上述情绪健康管理系统的有益技术效果，在此不再赘述。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1示出根据本发明一个实施例的情绪健康管理系统的组成示意图；

图2示出根据本发明一个实施例的情绪健康管理方法的流程图；

图3示出根据本发明另一个实施例的情绪健康管理系统的组成示意图；

图4示出根据本发明另一个实施例中的多维信息采集模块的组成示意图；

图5示出根据本发明另一个实施例的情绪健康管理方法的流程图；

图6示出执行根据本发明一个实施例的情绪健康管理方法的计算机系统的组成示意图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

本发明在第一方面提出了一种情绪健康管理系统1。图1示出根据本发明一个实施例的情绪健康管理系统的组成示意图，其包括：信息采集模块10，被配置为采集目标对象的人脸图像或指纹信息和加速度信息；情绪分析模块12，被配置为根据目标对象的人脸图像或指纹信息识别目标对象的表情和身份，并且将上述表情信息和加速度信息相结合，分析目标对象的实时情绪状态；结果展示模块14，被配置为展示目标对象的情绪状态。

根据本发明实施例的情绪健康分析系统，通过将人脸识别分析的表情信息和加速度信息相结合，综合分析目标对象的实时情绪状态，更准确地反映人的实时情绪状态，便于提醒目标对象及时调整情绪，保持心态健康。

根据本申请的具体实施例，信息采集模块10可以包括图像采集模块、指纹信息采集模块以及加速度信息采集模块。图像采集模块可以采用多种摄像头实现。图像采集模块识别人的身份可以基于采集的人脸图像用软件程序或算法实现。例如，基于第二代居民身份证和人脸识别算法相结合识别人的身份的过程如下：利用第二代居民身份证阅读器自动采集用户所出示身份证的信息，通过高清摄像头采集用户的人脸图像，最后基于身份证头像照片与摄像头采集图像，利用深度学习算法判断二者的人脸相似度。

图像采集模块识别人的身份可以基于图像识别，也可以基于指纹传感器采集的指纹信息实现，例如，采用光学指纹传感器、半导体电容传感器、半导体热敏传感器、半导体压感传感器、超声波传感器和射频rf传感器。光学指纹传感器的情况下，可以基于相关的目标函数与遗传算子，搜索两幅指纹间可能存在的平移、旋转等几何参数变化关系，在此基础上确定指纹数据库中的数据与实时采集指纹的匹配关系，从而判断两幅指纹匹配的程度，根据创建或引用已有的指纹数据库、并在该指纹数据库中查找指纹信息而确定该目标对象的身份。

加速度信息采集模块可以监测目标对象的加速度信息，例如，加速度信息采集模块可以包含加速度计，采集目标对象的加速度信息。加速度信息主要是步态加速度信息。有研究成果表明：步态加速度的绝对值小于等于0.2kg/m³，表示被测量者情绪平缓；步态加速度的值为负值，且绝对值大于0.2kg/m³时，表示被测量者情绪失落；步态加速度为正值，且绝对值大于0.2kg/m³时，表示被测量者情绪欢快。加速度信息采集模块也可以包含来自被监测者的其它运动或健康监测设备的加速度信息。加速度信息采集模块包括加速度分析模块，其基于监测的被监测者的加速度信息。例如，根据上述加速度研究成果的规则，可以将目标对象的情绪划分为“紧张”、“平静”、“消极”。

图像采集模块通过对人脸图像分析识别人的表情。可以基于深度卷积神经网络(deepcnn)算法来获取情绪识别特征向量，进而分析目标对象的实时情绪状态。利用深度卷积神经网络获取情绪识别特征向量的一般过程如下：

步骤一：启动摄像头和采集程序；

步骤二：利用摄像头采集人脸图像；

步骤三：利用人脸检测算法进行人脸检测；

步骤四：构建深度卷积神经网络模型；

步骤五：输入实时检测的人脸图像；

步骤六：得到实时的情绪状态输出值。

情绪状态输出值即代表了情绪识别特征向量。

根据上述实施例的方法，能够通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升情绪分类或预测的准确性。

根据本发明的具体实施例，情绪分析模块12在获取情绪识别特征向量后，可以基于svm算法获得情绪识别结果。基于svm算法的情绪识别过程如下：

步骤一：构建svm算法模型；

步骤二：输入实时情绪状态值；

步骤三：输出情绪识别结果。

svm网络模型有固定的，也可以根据实际情况进行参数变换等。

根据上述实施例的方法，能够在小样本数量的情况下，解决深度学习的问题，并使得情绪识别结果具有比较强的泛化能力。

根据上述实施例的方法，将表情信息和加速度信息相结合把目标对象的情绪划分为“紧张”、“平静”、“消极”，既简化了目标对象的情绪分类类型，又较为准确地反映了目标对象的情绪特征。

根据本发明的具体实施例，情绪健康管理系统还包括结果展示模块14，其可以实时展示报告目标对象的情绪健康状态数据。报告可以包括语音、图像、文本信息提示等多种形式。这方便及时发现被监测者的情绪状态。通过统计随时间积累的情绪健康数据，还可以发现被监测者情绪发生的规律，制定对策，提升心理健康或个人精神状态水平。该数据可以供被监测者自己参考，或者在医护情况下供医生或者患者家属参考。

根据本发明的具体实施例，结果展示模块14包括提醒模块，其被配置为当判断目标对象情绪异常时，向目标对象或者监测者发出提醒。这有利于提醒被监测者自身及时调整，或者监测者例如医生或患者家属防范意外发生。

第二方面，本发明还提供根据上述实施例的一种情绪健康管理方法，图2示出该情绪健康管理方法的流程图，包括以下步骤：

s100：采集目标对象的人脸图像或指纹信息和加速度信息；

s120：根据所述人脸图像或指纹信息识别目标对象的表情和身份；

s140：将上述表情信息和加速度信息相结合，分析目标对象的实时情绪状态。

根据本发明的具体实施例，上述情绪健康管理方法还包括：

在分析目标对象的实时情绪状态时通过基于deepcnn(深度卷积神经网络)算法，获取情绪识别特征向量，进而分析目标对象的实时情绪状态。

根据本发明的具体实施例，上述情绪健康分析方法还包括：在获取情绪识别特征向量后，基于svm算法获得情绪识别结果。

上述实时健康管理系统可以在手机、平板电脑、商务通等移动便携设备上应用。

本发明在第三方面提出另一种情绪健康管理系统2，图3示出根据本发明一个实施例的情绪健康管理系统的组成示意图，其包括：

多维信息采集模块20，被配置为采集目标对象的人脸图像、加速度信息以及多种生理信息；

情绪压力分析模块22，被配置为根据所述人脸图像识别目标对象的表情和身份，并结合加速度信息和多种生理信息综合分析目标对象的情绪压力状态；

结果展示模块24，被配置为展示目标对象的情绪压力状态。

根据本发明实施例的情绪健康管理系统，集成了人脸图像、加速度信息以及多种生理信息的采集和分析，并通过综合分析判断目标对象的情绪健康状态，克服了凭借单一因素进行情绪识别造成的误判，使得情绪健康分析和管理更加全面和准确。

根据本发明的具体实施例，在情绪健康管理系统中，多维信息采集模块20包括：心电采集模块200、脑电采集模块202、眼电采集模块204、语音采集模块206和人脸采集模块208，分别用于心电信号数据、脑电信号数据、眼电信号数据、语音信号数据、人脸图像数据和人脸表情数据的采集。

根据本发明的具体实施例，在情绪健康管理系统中，情绪压力分析模块22包括：心电-脑电-眼电情绪分析模块、语音情绪分析模块、人脸表情分析模块。其中，心电-脑电-眼电情绪分析模块包括：心电分析模块、心率变异性分析模块、脑电分析模块、眼电分析模块。

心电分析模块用于分析心电信号，利用p-t算法分析得出心电信号的特征点，包括心电信号的r点、qrs波群、q点、s点、p波、st波段、t波。

心率变异性分析模块利用心率频域的分析方法得出实时的心率变异性。心率变异性分析模块包括心率变异性情绪分析模块，其通过分析在不同情绪状态下，心率变异性的hf、lf和hf/lf，从而识别出不同的情绪状态，分类出不同的情绪。研究表明：紧张状态下，心率变异性的hf/lf的比值下降；快乐情绪下，心率变异性的hf功率增高，悲伤情绪下，心率变异性的hf功率减小；悲伤状态下lf功率增高，快乐状态下lf功率降低。心率变异性情绪分析模块，根据心率变异性的参数来分析不同的情绪状态，作为分析不同情绪状态的一种因子。

脑电分析模块通过分析脑电波的alpha节律、beta节律、theta节律获得脑电信号的特征。脑电分析模块进一步包括脑电波情绪分析模块，其利用lz复杂度和近似熵的参数法对脑电波信号进行提取，根据提取出的在不同状态下脑电波的alpha节律、beta节律和apen+lle特征，应用于支持向量机等算法进行情绪识别。

眼电分析模块通过分析不同情绪状态下眼电行为轨迹，得出被监测人的情绪状态。

心电-脑电-眼电情绪分析模块基于心电分析、脑电分析、眼电分析的分析结果综合地分析目标对象的情绪。语音情绪分析模块基于语音分析结果分析目标对象的情绪，人脸表情分析模块基于人脸表情识别的结果分析目标对象的情绪。

根据本发明的具体实施例，在情绪健康管理系统中，心电-脑电-眼电情绪分析模块被配置为将上述各分析模块分析得到的心电信号的心率变异性的lf、hf、hf/lf、alpha节律、beta节律、apen+lle特征、眼电行为轨迹输入到dtnb(朴素贝叶斯和决策表结合的方法)中，获取目标对象的情绪和心理压力状态，例如，将目标对象的情绪对应于“积极”、“中性”、“消极”，目标对象的心理压力状态对应于“过低压力”、“正常压力”、“过高压力”。心电-脑电-眼电情绪分析模块的一个操作过程如下：

步骤一：将测得的lf、hf、hf/lf值、alpha节律、beta节律、apen+lle的值分别进行归一化；

步骤二：将以上归一化的数据输入到dtnb(朴素贝叶斯和决策表结合的方法)进行训练得到适于决策的模型a；

步骤三：对再次测量得到的lf、hf、hf/lf值、alpha节律、beta节律、apen+lle进行归一化；

步骤四：将归一化的数据输入到模型a中，通过模型a判断出对应的情绪状态。

根据本发明的具体实施例，在情绪健康管理系统中，人脸表情分析模块包括人脸检测模块、人脸识别模块和情绪识别模块。

人脸检测模块使用人脸检测算法，采用基于小波变换的彩色图像快速人脸检测算法等，具体步骤如下：

步骤一：将人脸图像进行非线性变换；

步骤二：利用小波变换提取人脸高频分量；

步骤三：利用小波核函数替换多层神经网络的隐层函数；

步骤四：利用该多层神经网络进行人脸检测。

人脸识别模块使用人脸识别算法，采用lbp算法等，具体步骤如下：

步骤一：对原始人脸图像进行分块处理；

步骤二：对每一分块的图像进行局部差异值和中心像素灰度值分析；

步骤三：用和算子分别提取每一分块直方图统计特征；

步骤四：将所有分块的lbp直方图序列连接起来，得到人脸图像的lbp特征，将其作为鉴别人脸的特征；

步骤五：利用chi平方统计法计算直方图的不相似度，用最近邻准则进行分类。

情绪识别模块使用情绪识别算法，采用cnn(卷积神经网络)算法，具体步骤如下：

步骤一：对人脸表情图像进行归一化预处理；

步骤二：使用可训练的卷积核提取隐式特征；

步骤三：采用最大池化方法对提取的隐式特征进行降维处理；

步骤四：采用softmax分类器对测试样本图像的表情进行分类识别。

上述的人脸检测、人脸识别、情绪识别也可以应用于第一、二方面的实施例的表情和身份识别中。

根据本发明的具体实施例，在情绪健康管理系统中，综合情绪分析模块将根据心电-脑电-眼电情绪分析模块、面部表情分析模块和语音情绪分析模块分析的情绪心理压力状态结果输入到贝叶斯网络，获得综合评价结果，过程如下：

i.将采集的数据分为训练集和测试集；

ii.情绪的状态“积极-低心理压力”、“中性-正常心理压力”、“消极-高心理压力”的设定值分别为“1”、“2”、“3”；

iii.反复迭代次数>10次，训练情绪-心理压力的贝叶斯网络；

iv.得到误差最小的贝叶斯网络参数

其中，h是假设变量；e是证据变量，p(h|e,…,ei)是在e，…，ei等条件同时满足的条件下出现h这种情绪的概率。

根据上述实施例，本发明在第四方面还提供一种情绪健康管理方法，图5示出该情绪健康管理方法的流程图，包括以下步骤：

s200：采集目标对象的人脸图像、加速度信息以及多种生理信息；

s220：根据所述人脸图像识别目标对象的表情和身份，并结合加速度信息和多种生理信息综合分析目标对象的情绪状态；

s240：展示目标对象的情绪状态。

在第五方面，本申请还提供一种可以由计算机系统执行的计算机程序，图6示出执行根据本发明一个实施例的情绪健康管理方法的计算机系统600的组成示意图。该计算机系统600包括：中央处理单元(cpu)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram603中，还存储有系统操作所需的各种程序和数据。cpu601、rom602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。

以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明的实施例，上文参考流程图1描述的过程可以被实现为计算机软件程序。例如，本发明的图1的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行上述流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(cpu)601执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是—但不限于—电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的方法。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的情绪压力诊断方法。例如，所述电子设备可以实现如图2中所示的情绪健康管理方法，包括s200：采集目标对象的人脸图像、加速度信息以及多种生理信息；s220：根据所述人脸图像识别目标对象的表情和身份，并结合加速度信息和多种生理信息综合分析目标对象的情绪状态；s240：展示目标对象的情绪状态。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。