一种基于信创环境的情绪常态化监测系统及方法与流程

1.本技术属于心理健康监测领域，具体涉及一种基于信创环境的情绪常态化监测系统及方法。


背景技术：

2.为了真实反映目标人员的日常情绪，最好的方法是对情绪进行常态化监测。目前采用的技术和方法主要是使用可穿戴设备，如佩戴电子手环；以及使用微表情识别技术进行非接触式情绪常态化监测。电子手环监测的情绪指标比较少，主要是基于心率变异性检测的压力等几个指标，并且需要佩戴人主动配合，佩戴人不主动配合的话监测的效果就比较差，会对常态化监测产生较大影响，导致常态化监测很难达到预期效果。
3.申请内容
4.本技术实施例的目的是提供一种基于信创环境的情绪常态化监测系统及方法，以解决现有技术监测效果较差的缺陷。
5.为了解决上述技术问题，本技术是这样实现的：
6.第一方面，提供了一种基于信创环境的情绪常态化监测系统，包括：
7.摄像头，用于采集人脸的视频流；
8.情感计算网关，用于根据所述视频流生成多个视频文件，从每个所述视频文件中获取多帧人脸图像，对所述多帧人脸图像进行处理，定位面部的多个肌肉群以及与头部相关的多个器官的轮廓，并获取面部肌肉群轮廓内的每个像素点的振幅和振动频率在预设时间内的第一时序变化数据，以及与头部相关的多个器官的轮廓内的每个像素点的振动频率；根据所述轮廓内的每个像素点的振动频率，计算与头部相关的共振频率在预设时间内的第二时序变化数据，并根据所述第一时序变化数据和第二时序变化数据，输出所述人脸对应的情绪状态数据；
9.情绪预警服务器，用于基于监测的情绪历史数据进行分析，对心理问题风险较大的人员进行分级预警；
10.其中，所述情感计算网关和所述情绪预警服务器均支持信创环境。
11.第二方面，提供了一种基于信创环境的情绪常态化监测方法，包括以下步骤：
12.采集人脸的视频流；
13.根据所述视频流生成多个视频文件，从每个所述视频文件中获取多帧人脸图像；
14.对所述多帧人脸图像进行处理，定位面部的多个肌肉群以及与头部相关的多个器官的轮廓，并获取面部肌肉群轮廓内的每个像素点的振幅和振动频率在预设时间内的第一时序变化数据，以及与头部相关的多个器官的轮廓内的每个像素点的振动频率；
15.根据所述轮廓内的每个像素点的振动频率，计算与头部相关的共振频率在预设时间内的第二时序变化数据，并根据所述第一时序变化数据和第二时序变化数据，输出所述人脸对应的情绪状态数据；
16.基于监测的情绪历史数据进行分析，对心理问题风险较大的人员进行分级预警。
17.本技术实施例通过对视频文件中的多帧人脸图像进行处理，输出人脸对应的情绪状态数据，能够准确、客观、安全地实现常态化情绪监测，真实反映目标人员的日常情绪。
附图说明
18.图1是本技术实施例提供的一种基于信创环境的情绪常态化监测系统的结构示意图；
19.图2是本技术实施例提供的基于信创环境的情绪常态化监测系统的一种具体实现方式示意图；
20.图3是本技术实施例提供的基于信创环境的情绪常态化监测系统的一种硬件架构示意图；
21.图4是本技术实施例提供的一种基于信创环境的情绪常态化监测方法流程图；
22.图5是本技术实施例提供的基于信创环境的情绪常态化监测方法的一种具体实现方式示意图。
具体实施方式
23.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
24.对人员情绪监测涉及到信息安全，情绪监测系统的软硬件应该实现自主可控。目前，国内基于信创环境开发的情绪监测系统少之又少。基于此，本技术实施例提供了一种基于信创环境的情绪常态化监测系统，如图1所示，包括：
25.摄像头110，用于采集人脸的视频流。
26.情感计算网关120，用于根据所述视频流生成多个视频文件，从每个所述视频文件中获取多帧人脸图像，对所述多帧人脸图像进行处理，定位面部的多个肌肉群以及与头部相关的多个器官的轮廓，并获取面部肌肉群轮廓内的每个像素点的振幅和振动频率在预设时间内的第一时序变化数据，以及与头部相关的多个器官的轮廓内的每个像素点的振动频率；根据所述轮廓内的每个像素点的振动频率，计算与头部相关的共振频率在预设时间内的第二时序变化数据，并根据所述第一时序变化数据和第二时序变化数据，输出所述人脸对应的情绪状态数据。
27.其中，情感计算网关120，包括：
28.情感计算引擎，用于基于肌肉群轮廓定义模型，在每帧人脸图像上定位面部肌肉群轮廓内的各个像素点；根据各个像素点在连续的人脸图像中发生的位移，计算各个像素点的振幅和频率，并获取所述振幅和所述频率在预设时间内的第一时序变化数据；
29.以及，基于人体生物学特征，在每帧人脸图像上定位瞳孔、眼睛、鼻子和头部的轮廓，以及所述轮廓内的各个像素点；根据各个像素点在连续的人脸图像中发生的位移，计算各个像素点的振动频率。
30.具体地，所述情感计算引擎，具体用于分别对所述每个像素点的振动频率进行加权平均计算，得到瞳孔共振频率、眼球共振频率、呼吸共振频率和头部共振频率在预设时间
内的第二时序变化数据。
31.情绪预警服务器130，用于基于监测的情绪历史数据进行分析，对心理问题风险较大的人员进行分级预警；
32.具体地，情绪预警服务器130，具体用于根据所述人脸对应的情绪状态数据，生成所述人脸对应的目标人员的情绪历史数据和情绪历史趋势；在所述情绪历史趋势触发情绪预警模型的情况下，对所述目标人员进行分级预警。
33.其中，情感计算网关120和情绪预警服务器130均支持信创环境，均支持在国产cpu和国产操作系统环境下运行。
34.本技术实施例通过对视频文件中的多帧人脸图像进行处理，输出人脸对应的情绪状态数据，能够准确、客观、安全地实现常态化情绪监测，真实反映目标人员的日常情绪。
35.在本技术实施例的一种具体实现方式中，基于信创环境的情绪常态化监测系统包括：30帧/秒的摄像头、情感计算网关、情绪预警服务器，如图2所示，情感计算网关和情绪预警服务器均支持国产cpu和国产操作系统。摄像头负责采集人体头部视频，通过usb口接入到情感计算网关，实现视频信号传输到情感计算网关。情感计算网关可以同时对四路摄像头传入的视频信号进行处理，首先把视频信号转录为视频文件，每个视频文件中只存储符合图像质量要求的人体头部视频，没有人脸出现或人脸模糊的视频则不进行转录；然后使用自研的情感计算技术对多个视频文件进行分布式快速处理，分析出视频文件中人员的情绪状况，包括各种情绪出现的次数、强烈程度和时长等，情感计算网关通过网络传输情绪状态数据到情绪预警服务器。情绪预警服务器基于监测的情绪历史数据进行分析，对多个摄像头监测的人员的情绪进行综合判断，对心理问题风险较大的人员进行分级预警。
36.具体地，情感计算网关由视频文件生成程序、情感计算引擎和并发计算调度程序组成，用于实现视频文件生成和并发情感计算。情绪预警服务器由情绪预警生成程序、情绪预警应用程序和对外接口api组成，用于实现情绪预警消息的生成和应用。其中，多个情感计算网关可以接入到同一台情绪预警服务器。
37.其中，情感计算网关和情绪预警服务器均支持信创环境，可以在国产cpu、国产操作系统等软硬件环境下运行。
38.本技术实施例能够对人们的日常情绪进行常态化监测，因而可以及早发现负面情绪累积容易出现心理问题的人员，可应用于对特殊岗位人员、窗口服务人员、学生、士兵等群体中心理问题人员的非接触式、无感筛查。
39.本实施例中，系统的硬件包括用作情感计算网关的小型电脑和用作情绪预警服务器的普通服务器，如图3所示，一个情感计算网关可以接入4个usb摄像头，同时对4个视频流进行并发情感计算处理。情感计算网关和情绪预警服务器通过有线网络进行连接，系统中可以有多个情感计算网关。情感计算网关和情绪预警服务器均运行于国产cpu和国产操作系统之上。现阶段做的适配是兆芯cpu和中科方德操作系统。
40.本系统使用usb摄像头对人脸进行近距离一对一监测可保证视频图像的质量。本系统采用非实时计算方法实现情绪常态化监测，通过特殊的视频文件处理和情感计算引擎调度来实现计算资源的最大利用，使用千元设备即可完成情感计算，使得系统可以大规模部署，从而可实现对一个团队内的所有人员进行情绪常态化监测。采用非接触、无感方式对人员进行长时间的情绪监测，可真实反映人员的日常情绪；整个系统基于信创环境运行，支
持国产cpu和国产操作系统；使用usb摄像头单人脸监测，可充分保证人脸图像的质量，使得情绪监测比较准确。
41.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的一种基于信创环境的情绪常态化监测方法进行详细地说明。
42.如图4所示，为本技术实施例提供的一种基于信创环境的情绪常态化监测方法流程图，该方法包括以下步骤：
43.步骤401，采集人脸的视频流。
44.步骤402，根据所述视频流生成多个视频文件，从每个所述视频文件中获取多帧人脸图像。
45.步骤403，对所述多帧人脸图像进行处理，定位面部的多个肌肉群以及与头部相关的多个器官的轮廓，并获取面部肌肉群轮廓内的每个像素点的振幅和振动频率在预设时间内的第一时序变化数据，以及与头部相关的多个器官的轮廓内的每个像素点的振动频率。
46.具体地，可以基于肌肉群轮廓定义模型，在每帧人脸图像上定位面部肌肉群轮廓内的各个像素点；根据各个像素点在连续的人脸图像中发生的位移，计算各个像素点的振幅和频率，并获取所述振幅和所述频率在预设时间内的第一时序变化数据；基于人体生物学特征，在每帧人脸图像上定位瞳孔、眼睛、鼻子和头部的轮廓，以及所述轮廓内的各个像素点；根据各个像素点在连续的人脸图像中发生的位移，计算各个像素点的振动频率。
47.步骤404，根据所述轮廓内的每个像素点的振动频率，计算与头部相关的共振频率在预设时间内的第二时序变化数据，并根据所述第一时序变化数据和第二时序变化数据，输出所述人脸对应的情绪状态数据。
48.具体地，可以分别对所述每个像素点的振动频率进行加权平均计算，得到瞳孔共振频率、眼球共振频率、呼吸共振频率和头部共振频率在预设时间内的第二时序变化数据。
49.步骤405，基于监测的情绪历史数据进行分析，对心理问题风险较大的人员进行分级预警。
50.本实施例中，在输出所述人脸对应的情绪状态数据之后，可以删除所述多个视频文件，还可以根据所述人脸对应的情绪状态数据，生成所述人脸对应的目标人员的情绪历史数据和情绪历史趋势；在所述情绪历史趋势触发情绪预警模型的情况下，对所述目标人员进行分级预警。
51.本技术实施例通过对视频文件中的多帧人脸图像进行处理，输出人脸对应的情绪状态数据，能够准确、客观、安全地实现常态化情绪监测，真实反映目标人员的日常情绪。
52.在本技术实施例中，基于信创环境的情绪常态化监测方法的一种具体实现方式，如图5所示，包括以下步骤：
53.(1)从30帧/秒的usb摄像头中持续获取视频流。
54.(2)对视频流进行逐帧处理，当视频中出现人脸时，对人脸所占像素大小、人脸的角度等进行判断，满足采集要求后逐帧转录为视频文件，人脸从视频中消失后则停止转录，这时生成一个人脸在摄像头中出现到离开的视频文件。人员在学习或工作中多次出现在摄像头中，会生成一系列的视频文件。多个摄像头同时采集，会并发生成多个视频文件。
55.(3)对每个视频文件进行处理，视频文件输入到自研的情感计算引擎中进行情感分析和统计，自研的情感计算引擎包括两个算法，基于面部肌肉微震颤情感识别算法和基
于头部器官多振动频率情感识别算法。因为视频文件是并发生成的，所以为了尽快处理，并发计算调度程序启动多个情感计算引擎，并自动调度视频文件的并发处理。一个视频文件处理完后，只生成一条视频中人员情绪的统计信息，视频文件自动删除。
56.(4)通过对人员情绪的持续监测，可生成人员大量的情绪历史数据，对于个人来说可以跟踪其情绪历史趋势，对于群体来说可以判断某个个人和群体中其他人的情绪差异性。当个人情绪趋势或和群体的情绪差异性触发了情绪预警模型时，则会对这个人进行分级预警。
57.(5)由于预警消息是在情绪日常的常态化监测中自动生成的，所以需要把预警消息显示给管理人员查看。通过在web服务器中发布预警消息，管理人员可以打开浏览器查看预警消息并且可以跟踪到常态化情绪监测数据，了解为什么发生了预警。
58.(6)情绪常态化监测经常用于为其他管理系统提供依据，如是否适合上岗等。通过api可发布情绪预警消息和情绪监测数据给第三方应用使用。
59.例如，对地铁列车驾驶员工作中、学生心理课或计算机课中、战士岗哨执勤中、服务窗口工作人员中应用本系统，可实现在不影响学习和工作的情况下达到情绪异常人员的发现，可自动、准确对心理风险较高的人员进行预警。而且本系统成本较低，便于大范围应用。
60.本技术实施例基于视频实现情绪常态化监测，具有非接触式、无感、客观、准确的特点，可真实反映人员的日常情绪，既可识别表情情绪如愤怒、悲伤、喜悦等，也可识别出深层情绪如压力、紧张、沮丧等。使用自研的情感计算技术，可分析20多种情绪，更容易发现情绪的异常；基于监测的情绪历史数据进行分析，自动进行情绪异常预警。
61.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
62.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
63.上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。