精神状态评估方法、设备及系统与流程

本发明涉及精神状态评估技术领域，特别涉及一种精神状态评估方法、设备及系统。

背景技术

现代社会中不管是企业单位或者是其他群体机构，都少不了开展内部会议、演讲、选职以及其他机构宣讲。目前开展这些不同场合活动的视频采集设备主要是基于多媒体技术的显示装置，属于多媒体设备技术领域。

而不管是会议、演讲、选职或者其他活动宣讲，在这些不同场合若能够监察场景人员的精神状态，较为真切反映他们的工作态度并及时对有紧急状况的人员采取预防措施成为一种必要。

但是现有技术中，用于上述这些不同场合的多媒体的终端显示设备主要是仅仅基于多媒体技术的显示装置，功能仅限于现场转播或远程交流等方式，可见功能十分有限，无法满足对不同场景中的人员进行实时在线评估其精神状态。

技术实现要素：

本发明的目的在于，针对上述现有技术中的不足，提供一种精神状态评估方法、设备及系统，旨在对不同场合中人员的精神状态进行评估。

为实现上述目的，本发明实施例所采用的技术方案如下：

第一方面，本发明实施例提供一种精神状态评估方法，所述方法包括：

在预设时间内采集待评估人员的音频数据和视频数据；

提取所述音频数据和视频数据中待评估人员的多模态生理特征，所述多模态生理特征包括：面部瞳孔数据特征、语音数据特征以及心率和心率变异性数据特征；

根据所述多模态生理特征和预设的关联模型，输出待评估人员的精神状态评估结果，所述关联模型为基于神经网络或svm支持向量机对不同精神状态下的个体数据进行分类的训练模型。

进一步地，所述方法还包括：在提取所述音频数据和视频数据中待评估人员的多模态生理特征之前，先对所述音频数据和视频数据进行滤波降噪预处理。

具体地，所述面部瞳孔数据特征包括：眼睑闭合时间、瞳孔直径比、眼睑盖住瞳孔的面积和眨眼频率中的至少一种。

具体地，所述语音数据特征包括：振动能量特征、基音频率特征、共振峰和信号持续时间中的至少一种。

具体地，所述心率和心率变异性数据特征通过基于远程成像光电容积脉搏波技术检测容积脉搏波而计算得出。

可选地，所述神经网络为bp神经网络或卷积神经网络。

第二方面，本发明实施例提供一种精神状态评估设备，包括：壳体、麦克风阵列、摄像头和主控器；所述麦克风阵列和所述摄像头穿设于所述壳体上，所述壳体内设有主控器，所述主控器分别与所述麦克风阵列和所述摄像头电连接；

所述麦克风阵列用于在预设时间内采集待评估人员的音频数据发送给所述主控器，所述摄像头用于在预设时间内采集待评估人员的视频数据发送给所述主控器；

所述主控器用于根据接收到的音频数据和视频数据，提取待评估人员的多模态生理特征，并通过所述多模态生理特征和预设的关联模型对待评估人员的精神状态进行评估，并输出精神状态评估结果；其中，所述多模态生理特征包括：面部瞳孔数据特征、语音数据特征以及心率和心率变异性数据特征。

进一步地，所述主控器还用于在提取所述多模态生理特征之前，对所述音频数据和视频数据进行滤波降噪预处理。

第三方面，本发明实施例还提供一种精神状态评估系统，包括：云平台和如第二方面所述的精神状态评估设备；

所述主控器上设有wi-fi单元，所述主控器通过所述wi-fi单元将所述多模态生理特征和所述精神状态评估结果以无线通信的方式发送至所述云平台；

所述云平台用于存储接收到的多模态生理特征和精神状态评估结果，并实现数据处理和分析。

可选地，所述wi-fi单元为串口wi-fi模块tln13ua06。

本发明的有益效果是：

第一方面，本发明实施例所提供的精神状态评估方法通过在预设时间内采集待评估人员的音频数据和视频数据，并提取音频数据和视频数据中待评估人员的多模态生理特征，进而根据多模态生理特征和预设的关联模型，输出待评估人员的精神状态评估结果。由于本发明实施例所提供的精神状态评估方法仅仅需要从音频数据和视频数据中获取待评估人员的多模态生理特征，且关联模型为预设好的训练模型，从而使得该精神状态评估方法能够灵活适用于多种场合和设备，对在场人员的精神状态进行评估。

第二方面，本发明实施例提供的精神状态评估设备，旨在对不同场合人员中的精神状态进行评估。该精神状态评估设备通过在预设时间内采集待评估人员的音频数据和视频数据，并提取音频数据和视频数据中待评估人员的多模态生理特征，进而通过将待评估人员多模态生理特征数据如面部瞳孔数据、语音数据和心率及心率变异性数据等特征数据融合来综合评估不同场合人员的精神状态，如判别疲劳、抑郁或其他情绪等等，能够适用于会议、演讲、选职以及其他机构宣讲活动等。另外，本发明实施例所提供的精神状态评估设备，从数据采集到数据处理均集成在一个简易壳体中，使得硬件设备简单，便于携带。

第三方面，本发明实施例提供的精神状态评估系统，包括如第二方面所述的精神状态评估设备，因此能达到第二方面所述的全部有益效果，在此不再赘述。另外，该精神状态评估系统通过设置所述精神状态评估设备与云平台无线连接，使得该精神状态评估系统能够在线实时评估不同场合人员的精神状态，并实现相关数据的存储、处理和分析，方便后期的数据管理和应用。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明第一实施例提供的精神状态评估方法流程示意图；

图2为本发明第一实施例提供的关联模型训练图；

图3为本发明第二实施例提供的精神状态评估设备示意图；

图4为本发明第二实施例提供的精神状态评估设备工作流程示意图；

图5为本发明第三实施例提供的精神状态评估系统工作流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

第一实施例：

如图1所示，本发明第一实施例提供一种精神状态评估方法，应用于精神状态评估设备，所述方法包括：

步骤s101.在预设时间内采集待评估人员的音频数据和视频数据。

具体的，该精神状态评估设备设置在待评估人员的正前方，可以根据不同的应用场景去采集待评估人员在一段时间内的音频数据和视频数据，该应用场景可以是会议、演讲或者宣讲等的场景，该音频数据和视频数据包括待评估人员的实时视频数据和实时音频数据。

步骤s102.提取所述音频数据和视频数据中待评估人员的多模态生理特征，所述多模态生理特征包括：面部瞳孔数据特征、语音数据特征以及心率和心率变异性数据特征。

具体的，该精神状态评估设备采集到上述音频数据和视频数据，可以对音频数据和视频数据进行特征提取，得到待评估人员的多模态生理特征，例如：根据视频数据中图像得到面部瞳孔数据特征、人脸数据特征、心率和心率变异性数据特征等，根据音频数据得到语音数据特征、声纹数据特征等。

步骤s103.根据所述多模态生理特征和预设的关联模型，输出待评估人员的精神状态评估结果，所述关联模型为基于神经网络或svm支持向量机对不同精神状态下的个体数据进行分类的训练模型。

具体的，根据得到的多模态生理特征和预设的关联模型，输出待评估人员的精神状态评估结果，例如：按照如下3种属性划分：1)疲劳程度：疲劳/正常；2)情绪：抑郁/正常；3)其他情绪：正常/正常除外的情绪如沮丧、无聊等等。其中，关联模型是基于神经网络或svm支持向量机对不同精神状态下的个体数据进行分类的训练模型。

本实施例通过在预设时间内采集待评估人员的音频数据和视频数据，直接从所述音频数据和视频数据中提取待评估人员的多模态生理特征，将得到待评估人员的多模态生理特征与关联模型结合，输出待评估人员的精神状态评估结果，从而可以对不同场景中的人员实时评估其精神状态。

进一步地，所述方法还包括：在步骤s102.提取所述音频数据和视频数据中待评估人员的多模态生理特征之前，先对所述音频数据和视频数据进行滤波降噪预处理。

具体地，上述对音频数据和视频数据进行预处理的方法包括：对声音信号添加自动增益单元以增加声音清晰度提出杂音；对面部视频图像数据分析图像光照强度，抑制噪声，突出面部轮廓，凸显明亮的瞳孔和面部肤色信息等等。

在本发明实施例中，面部瞳孔数据特征包括：眼睑闭合时间、瞳孔直径比、眼睑盖住瞳孔的面积和眨眼频率中的至少一种。

具体地，通过面部追踪和皮肤分割的算法能定位到待评估人员的眼部瞳孔部位的图像，分析每一帧眼部瞳孔图像数据特征及其对应的时刻。通常眼睑盖住瞳孔面积与完全睁开时瞳孔面积比达70％～80％时，即眼睑闭合程度为70％～80％时称为眼睑消失的时刻，当眼睑闭合程度为下降到20％以下时称为瞳孔复现时刻。若定义瞳孔复现时刻为tb，眼睑消失时刻为ta，眼睑闭合时间为t，则眼睑闭合时间t为：

t＝tb-ta；

若定义瞳孔复现时刻的瞳孔直径为d1，眼睑消失的时刻的瞳孔直径为d2，则瞳孔直径比d：

d＝d2/d1；

设眼睑闭合程度为0％时，也即眼镜完全睁开时瞳孔面积大小为so,当眼睛不完全睁开时被眼睑盖住的瞳孔面积为sc，则眼睑盖住瞳孔的相对面积s为：

s＝sc/so；

眼睑闭合程度从0％时到100％，再回到0％为一次完整的眨眼过程。若眼睑闭合程度为初始0％的时间为t1，眼睑闭合程度为100％的时间为t2，眼睑闭合程度再次回到0％的时间为t3，则眨眼频率f为：

f＝1/(t3-t1)。

在本发明实施例中，语音数据特征包括：声音的振动能量特征、基音频率特征以及共振峰和信号持续时间中的至少一种。

具体地，声音的传播也是能量的一种传播，声音振动的幅度大小也决定了声音信号能量大小，人在正常和比较疲劳或其他精神状态的时候，发出的音量语速均不同。声音的能量特征明显区分声音中包含的是否处于异常精神状况的信息。

振动能量en为：

其中sn(m)表示语音信号帧，en是瞬时能量。

所谓基音频率，就是反映声门相邻两次开闭之间的时间间隔或开闭的频率。本发明实施例中用自相关法提取基频，其函数公式如下：

其中，xn(m)为标准周期语音信号，rn(k)在k等于周期整数倍时会出现峰值，通常取第一最大峰值点作为基因周期点，即可算出基音频率f。

共振峰，本发明实施例中，对于共振峰的提取方法包括：谱包络法、倒谱法、lpc内插法、lpc求根法和希尔伯特变换法等，本申请在此不做限定。

语音信号持续的时间也具备区分语音信号的待评估人员精神状态特征的能力，可通过计算个体在t时间内发出n种语音信息段(或语音停顿次数)来算出该个体的平均连续时间t为：

在本发明实施例中，通过基于远程成像光电容积脉搏波技术检测容积脉搏波(ppg)，进而计算得出被测个体的心率和心率变异性。具体地，根据音频数据和视频数据，通过面部追踪和皮肤分割的算法能定位到待评估人员的面部皮肤目标区域。算法负责检测每帧图像内的最大脸部，分段成三个通道的ppg时变信号(处理成亮度色度luv格式或者rgb格式)。计算每一帧图像在luv三个通道内的像素强度空间平均值或者在rgb通道的像素强度空间平均值，将每一帧图像的平均像素作为容积脉搏波波形的振幅即可获得ppg时变信号。之后算法分别从时序和频域内的计算心率：时序上主要通过检测一定时间的峰值点；频域上通过fft的频谱分析来计算心率，同样也可在时序和频域计算出血容量脉搏和心率变异性。

可选地，本发明实施例中，上述关联模型所使用的神经网络为bp神经网络或卷积神经网络。

如图2所示，当关联模型为基于bp神经网络对不同精神状态下的个体数据进行分类的训练模型时，关联模型的训练包括：采样样本、特征提取、模型训练验证、模型测试和关联模型输出等过程。其中，采样样本为多名志愿者(如：约100名)的音频数据和视频数据及其对应的精神状态数据，每个人按照如下3种属性划分：1)疲劳程度：疲劳或非疲劳；2)情绪：抑郁或非抑郁；3)其他情绪：无其他情绪或沮丧(高兴、无聊等)，精神状态判断可通过设计相应的问卷调查和访问个人来综合评估。

模型训练验证依次包括：1)权值初始化；2)输入训练样本3)计算当下的输出；4)计算网络输出误差(当下的输出与精神状态3种属性输出的差值)；5)计算各网络层的误差值；6)调整各层权值和判断网络总误差是否达到精度要求；7)模型训练结束；8)模型验证调整模型参数，选出效果最佳的关联模型等步骤。

当关联模型训练结束后，进行模型测试，任意输入一个志愿者的面部图像数据特征集，判断选出的最佳关联模型输出的精神状态判断是否和其归属的精神状态属性一致，进行关联模型性能评价。并最终将训练好的关联模型代码移植入精神状态评估设备中，即可以实现对待评估人员进行精神状态评估功能。

可选地，当关联模型的训练神经网络为卷积神经网络(cnn)时，由于cnn模型的输入为图像数据，即不做各类数据特征库提取，跳过对采集视频图像的特征计算(瞳孔数据特征、语音数据特征和心率和心率变异性数据特征)。关联模型的输入直接为采样后的一帧帧面部视频图像集，输出也是为精神状态3种属性。设计cnn模型的卷积采样层、隐含层、分类器，进行模型训练，验证到测试，最终确认关联模型。

第二实施例：

如图3和图4所示，本发明第二实施例提供一种精神状态评估设备，壳体110、麦克风阵列120、摄像头130和主控器140；麦克风阵列120和摄像头130穿设于壳体110上，壳体110内设有主控器140，主控器140分别与麦克风阵列120和摄像头130电连接；麦克风阵列120用于在预设时间内采集待评估人员的音频数据发送给主控器140，摄像头130用于在预设时间内采集待评估人员的视频数据发送给主控器140；主控器140用于根据接收到的音频数据和视频数据，提取待评估人员的多模态生理特征，并通过多模态生理特征和预设的关联模型对待评估人员的精神状态进行评估，并输出精神状态评估结果；其中，多模态生理特征包括：面部瞳孔数据特征、语音数据特征以及心率和心率变异性数据特征。

本发明第二实施例提供的精神状态评估设备，能够对不同场合人员中的精神状态进行无创评估，通过将待评估人员多模态生理特征数据如面部瞳孔数据、语音数据和心率及心率变异性数据等特征数据融合来综合评估不同场合人员的精神状态，如判别疲劳、抑郁或其他情绪等等，能够适用于会议、演讲、选职以及其他机构宣讲活动等。另外，本发明第二实施例所提供的精神状态评估设备，从数据采集到数据处理均集成在一个简易壳体中，使得硬件设备简单，便于携带。

具体地，将上述精神状态评估设备安置于相应场合人员的正前方，通过穿设于壳体110上的麦克风阵列120和摄像头130在预设时间内采集待评估人员的音频数据和视频数据，并发送给主控器140。内置的主控器140根据接收到的音频数据和视频数据提取待评估人员的多模态生理特征，包括：面部瞳孔数据特征、语音数据特征以及心率和心率变异性数据特征，并将上述多模态生理特征输入预设的关联模型中对待评估人员的精神状态进行综合评估，最终输出精神状态评估结果。精神状态评估结果具体包括：疲劳或非疲劳、抑郁或非抑郁，以及其他情绪(高兴、沮丧、无聊等等)或无其他情绪。例如，通过上述精神状态评估设备对某一个体进行综合评估所得的结果为：疲劳、抑郁和无其他情绪。

需要特别说明的是，上述精神状态评估设备中的壳体110可以为单独为该精神状态评估设备所设置的壳体110，其形状可以根据具体需要或喜好进行设置，本申请在此不做限定。另外，该壳体110还可以是如：电脑、其他显示器和电视等其他任何可以实现上述壳体110功能的设备，仅仅需要将麦克风阵列120、摄像头130相应设置于能够采集待评估人员的音频数据和视频数据的位置，且将主控器140内置于该设备中即可，本申请在此同样不做任何限定。

在发明实施例中，主控器140还用于在提取多模态生理特征之前，对音频数据和视频数据进行滤波降噪预处理。

具体地，主控器140对待评估人员的音频数据和视频数据进行滤波降噪处理包括：对声音信号添加自动增益单元以增加声音清晰度提出杂音；对面部视频图像数据分析图像光照强度，抑制噪声，突出面部轮廓，凸显明亮的瞳孔和面部肤色信息等等。通过对音频数据和视频数据进行上述滤波降噪处理步骤，能够使得主控器140提取到的待评估人员多模态生理特征数据更加准确，能有效提高待评估人员精神状态评估结果的精确性。

可选地，主控器140可以是32位处理器内核的微控制器cc2640，可将上述音频数据和视频数据预处理、提取待评估人员多模态生理特征以及评估待评估人员精神状态等过程均通过可执行的程序代码读出并执行，以实现相应的控制和计算。

第三实施例：

如图5所示，本发明第三实施例提供一种精神状态评估系统，包括：云平台150和如本发明第二实施例所述的精神状态评估设备；主控器140上设有wi-fi单元，主控器140通过wi-fi单元将多模态生理特征和精神状态评估结果以无线通信的方式发送至云平台150；云平台150用于存储接收到的多模态生理特征和精神状态评估结果，并实现数据处理和分析。

具体地，本发明第三实施例提供的精神状态评估系统，包括本发明第二实施例所述的精神状态评估设备，因此能达到本发明第二实施例所述的全部有益效果，在此不再赘述。另外，该精神状态评估系统通过设置所述精神状态评估设备与云平台150无线连接，使得该精神状态评估系统能够在线实时评估不同场合人员的精神状态，预防出现的紧急情况，并实现相关数据的存储、处理和分析，方便后期的数据管理和应用。

可选地，所述wi-fi单元为串口wi-fi模块tln13ua06。

具体地，上述串口wi-fi模块tln13ua06具有体积小、功耗低的优点，能够满足不同场合下需要设置不同大小的该精神状态评估设备的具体需要。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。