基于群体人面红外热像个体情绪即时监测系统和判断方法与流程

1.本发明涉及心理医学情绪监测，具体涉及情绪即时监测方法及其系统，尤其涉及一种基于群体人面红外热像个体情绪即时监测系统和判断方法。


背景技术：

2.目前对于情绪的即时监测方法大多采用自述性评价量表对被测者进行测评，即让被测量者回答设计好的情绪量表中的问题(如正性负性情绪量表)，以自述的方式反馈所感受到的情绪状况及程度。但这类方法存在主观性强、个体差异大、易受其他因素影响等缺点。另外，随着计算机和热成像技术的发展，其应用面逐渐扩大，除了应用较多的非接触方式准确测量皮肤表面温度之外，已经在心理咨询场合通过实时的红外技术观测，可以快速对被测者的情绪状态进行观测并将其分类。
3.公开号为cn111110256a的专利申请公开了一种基于人体面部红外热像的情绪测量方法，包括在被测试人员平静状态下、接受标准刺激以及接受目标刺激时，采集面部的基准红外热像、标准红外热像、目标红外热像，构建红外热像-情绪强度关系模型，获得被测试人员经目标刺激引起的情绪强度值。该方法主要借助红外热像-情绪强度关系模型，对人脸情绪进行判断。但是，该方法在室外的使用场景中，不宜于在人群短暂停留、尤其不能在需要快速检测的场景中实施，同时，红外技术热像会受到拍摄角度等限制，无法得到全面的有效值，存在一定的局限性。因而研究开发满足快速筛查、拍摄条件不充分情况下的大量人群中某个体的即时监测情绪分类有极其重要的意义。


技术实现要素：

4.本发明目的在于克服上述不足之处，研究设计运用红外热像，在群体情况时，能即时监测情绪和分类判断的方法。
5.本发明提供了一种基于群体人面红外热像个体情绪即时监测系统和判断方法。
6.本发明提供一种基于群体人面红外热像个体情绪即时监测系统，所述系统包括计算机、图像采集装置传感器模块、数据预处理模块、自适应环境补偿模型、卷积神经网络模块和红外图像点位情绪状态识别模型。
7.所述图像采集装置传感器模块包括红外图像采集装置和可见光图像采集装置。
8.所述数据预处理模块，用于将所述两个图像采集装置传感器模块采集到的红外图像数据与可见光图像数据进行规范化处理和角度校正，平滑连续图像中的环境干扰因素，形成坐标系一致的可见光图像与红外图像。
9.所述调用自适应环境补偿模型，为根据图像信息中的灰度、空间位置、环境温度取点平均值信息，估算出环境对人体表温度的影响，并根据该影响带来的偏离值得出补偿参数。
10.所述调用自适应环境补偿模型，为对每一人体面部对应的红外图像数据进行处理根据图像信息中的灰度、空间位置、环境温度取点平均值信息，估算出环境对人体表温度的
影响，并根据该影响带来的偏离值得出补偿参数。
11.所述使用卷积神经网络模块，用于对每一人体面部对应的可见光图像与红外图像数据包进行处理，对可见光图像数据分析，形成对应划分好类别的个人表情类别识别模型。
12.所述对每一人体面部对应的红外红外图像与可见光图像数据包，为采用补偿参数进行调整处理后，对人脸识别过程中的特征识别点对应的坐标，使用卷积神经网络对识别点进行逻辑判断，去除无效点位后，形成红外图像点位情绪状态识别模型。
13.本发明的另一目的是提供一种基于群体人面红外热像个体情绪即时监测的判断方法，该方法包括下列步骤：
14.(1)在工作区域设置图像采集装置，同时采集可见光图像与红外图像；所述图像采集装置包括红外图像采集装置与可见光图像采集装置；
15.(2)在数据预处理模块中，将所述图像采集装置传感器模块采集到的红外图像数据与可见光图像数据进行规范化处理和角度校正，平滑连续图像中的环境干扰因素，形成坐标系一致的红外图像与可见光图像；
16.(3)使用图像分割技术，对可见光图像中的多张人体面部进行有效区域分割；形成每一人体面部对应的可见光图像与红外图像数据包；
17.(4)自适应环境补偿模型对每一人体面部对应的红外图像数据进行处理，通过图像采集装置对红外图像进行自适应环境补偿；
18.(5)对每一人体面部对应的可见光图像与红外图像数据包进行处理，使用卷积神经网络模块对可见光图像数据分析，结合心理学对情绪的状态分类，形成对应划分好类别的个人表情类别识别模型；
19.(6)对每一人体面部对应的红外图像，通过图像采集装置对面部红外图像的补偿参数进行调整，以便于确定特征识别点及其对应的坐标；所述特征识别点的选取主要参考常见人体面部分区，眼睛、鼻尖、额头、双颊、下巴)，使用卷积神经网络对特征识别点的有效性进行逻辑判断；所述特征识别点的有效性指能够提取到该点所需温度值，去除无效点位后，形成红外图像点位情绪状态识别模型，即得到群体中每个人的情绪状态及其判断结果。
20.通过对图像内的群体各人脸进行分割处理，储存成为单独的人脸数据包。每一单独人脸数据包中，将红外热力图输入多信息融合网络，即红外图像点位-情绪状态识别模型，对比原始可见光图像中人脸的表情类别，在一致条件下，输出最终确定的正向、平静、负向状态，最后得到不同人员的即时监测情绪状态。
21.本发明克服了现有技术中红外图像在实验室外的使用条件下，容易受到采集角度的限制，导致有效采集点不够，无法使用回归分析法下的关系模型输出判断结果的缺陷。本发明是在被测试人员停留时间极短的情况下(约1-3秒)，使用红外热像技术进行即时情绪状态的监测和快速分类判别，使用人脸识别结果与红外识别结果交叉对比。不判断基础情绪，只做正向、平静、负向分类，从而能满足快速筛查、拍摄条件不全面情况下的大量人群即时情绪分类和判断。
附图说明
22.图1本发明方法在实测时的监测系统示意图
23.计算机1、图像采集装置传感器模块2、数据预处理模块3、自适应环境补偿模型4、
卷积神经网络模块5和红外图像点位情绪状态识别模型6
24.图2本发明方法在实测时的部署方式及其流程图
25.红外图像采集装置2-1、可见光图像采集装置2-2
具体实施方式
26.实施例1
27.结合图1，本发明的一种基于群体人面红外热像个体情绪即时监测系统和判断方法。
28.所述系统包括计算机1、图像采集装置传感器模块2、数据预处理模块3、自适应环境补偿模型4、卷积神经网络模块5和红外图像点位情绪状态识别模型6。
29.结合图2，本发明一种基于群体人面红外热像个体情绪即时监测系统和判断方法，现场监测时，准备好计算机1，另将可联网的图像采集装置传感器2，包括红外及可见光传感器部署在即将到达人群的1-5米处，同时在计算机1端输入设备ip号进行设备信号对接。当计算机1端的ui控制界面确认人员已经进入有效采集区域，红外及可见光传感器采集人员图像之后，就将图像传输至数据预处理模块3进行图像融合，融合后通过自适应环境补偿模型4、卷积神经网络模块5和红外图像点位情绪状态识别模型6的判断分析，对图像内的群体内各个人脸进行分割处理，储存成为单独的人脸数据包。每一单独人脸数据包中，将红外热力图输入多信息融合网络，即红外图像点位-情绪状态识别模型，对比原始可见光图像中人脸的表情类别，在一致条件下，输出最终确定的正向、平静、负向状态，最后得到不同人员的即时监测情绪状态。
30.具体步骤如下：
31.(1)在工作区域设置红外图像采集装置2-1与可见光图像采集装置2-2，同时采集可见光图像与红外图像；
32.(2)在数据预处理模块3中，将所述红外图像数据与可见光图像数据采集装置传感器模块采集到的红外图像数据与可见光图像数据进行规范化处理和角度校正，平滑连续图像中的环境干扰因素，形成坐标系一致的红外图像与可见光图像；
33.(3)使用图像分割技术，对可见光图像中的多张人体面部进行有效区域分割；所述有效区域指单一人体图像中的背景区域小于单一人体面部所占区域，将每一人体面部可见光图像的坐标系对应至红外图像后，形成每一人体面部对应的可见光图像与红外图像数据包；
34.(4)自适应环境补偿模型4对每一人体面部对应的红外图像数据进行处理，通过红外图像采集装置对红外图像进行自适应环境补偿，估算出环境对人体表温度的影响，并根据该影响带来的偏离值得出补偿参数；
35.(5)对每一人体面部对应的可见光图像与红外图像数据包进行处理，使用卷积神经网络模块对可见光图像数据分析；
36.(6)对每一人体面部对应的红外图像，通过图像采集装置对面部红外图像的补偿参数进行调整，以便于确定特征识别点及其对应的坐标，使用卷积神经网络对特征识别点的有效性进行逻辑判断，形成红外图像点位情绪状态识别模型，即得到群体中每个人的情绪状态及其判断结果。
37.通过对图像内的群体各人脸进行分割处理，储存成为单独的人脸数据包。每一单独人脸数据包中，将红外热力图输入多信息融合网络，即红外图像点位-情绪状态识别模型，对比原始可见光图像中人脸的表情类别，在一致条件下，输出最终确定的正向、平静、负向状态，最后得到不同人员的即时监测情绪状态。