基于低分辨率红外热成像深度感知的情绪识别装置及方法与流程

本发明涉及红外热成像技术、传感器技术、深度学习领域，尤其涉及一种基于低分辨率红外热成像深度感知的情绪识别装置及方法。

背景技术：

随着人工智能时代的到来，目前人工智能最成熟的应用之一就是图像和语音识别，其已经广泛应用到拍照识物、画面增强、人机交互等各种领域。情绪识别技术已经成为人机交互体验优化的研究方向之一。人工智能情绪识别的能力用处极大，在医疗业、服务业等都会发挥不小的作用。首先，人机交互的体现更加自然顺畅。这对于空巢老人、儿童的陪护将起到积极的作用。通过对人的情绪捕捉，它可以为老人儿童提供心理安慰。而在这个基础上，利用人工智能进行情绪识别也能更好地帮助解决心理疾病问题，分担心理医生的精力，成熟的人工智能会在对话的过程中照顾到患者的情绪，从而慢慢地缓解病情。另外，利用情绪识别来管理和控制情绪也可能会成为一些情绪易失控者的福音。

人的情绪体现通常表现出明显的冲动性和外部特征，包括：认知评估、身体反应、主观体验（如喜悦、愤怒，悲伤等）、外在表现（面部表情、身体姿态和动作等）和行动倾向（产生动机）。现有的情绪识别技术，主要是从人体的外在表现进行情绪识别，例如通过眼球转动评估性格特征，面部微表情分析，语言表现分析等，上述技术的研究只利用一种或两种识别技术进行情绪判断，或抓住某个微表情、某一个声音，尚未能对人进行全方位、立体式分析。但是，研究情绪识别并不是一定要令每种情绪都有对应的外在表现，情绪与心理相关的复杂性不仅导致其与人的动作、表情并不一定呈必然相关性。此外，情绪识别还有可能因为虚假的表象而增加难度。目前情绪识别技术很大程度上还是基于可见光图像或视频等外在表现的特征提取展开，当情绪由于个体的不同而展现出不同的表现形式时，想要透过表层的识别去进行深层的情绪认识和理解，进而优化人机交互的体验，尚存在瓶颈。

技术实现要素：

针对现有技术存在的空白和不足，本发明具体采用以下技术方案：

一种基于低分辨率红外热成像深度感知的情绪识别装置，其特征在于，包括：相连接的低分辨率红外热成像传感器、mcu最小系统和上位机；所述mcu最小系统和上位机通过无线通信模块连接。

优选地，所述低分辨率红外热成像传感器和mcu最小系统通过iic接口连接。

优选地，所述低分辨率红外热成像传感器和mcu最小系统设置在电源电路的上方；所述电源电路设置在无线通信模块上方；所述无线通信模块采用zigbee模块。

优选地，所述上位机通过深度学习方法对所述低分辨率红外热成像传感器探测获得的热成像温度矩阵进行识别判断。

优选地，所述深度学习通过以下步骤实现：

步骤s1：通过所述低分辨率红外热成像传感器采集多个人脸热成像数据，并对所述人脸热成像数据进行分类标记；

步骤s2：建立温度数据库；所述温度数据库包括数据文件和标签文件；

步骤s3：根据温度数据库建立训练集和验证集；

步骤s4：建立深度学习初始模型，进行情绪特征提取；

步骤s5：训练初始模型，获得目标模型；

步骤s6：固化模型用于实时检测。

优选地，在步骤s1中，在多种环境背景温度下进行多次采集，并通过人工判定的方式对每个人脸热成像数据的数据文件添加标签。

优选地，在步骤s3中，将所述温度数据库中的温度数据集以8:2的比例随机拆分为训练集和验证集。

优选地，在步骤s4中，情绪特征提取选用轻量级的cnn网络mobilenet，模型最大执行步数均为80000，初始学习率为0.001，学习率衰减参数为0.99，优化器采用rmsprop，参数的二次正则化超参数为0.0001，批次大小为32。

优选地，在步骤s5中，所述初始模型通过前向-反向传播算法分别在温度数据库训练集上进行训练，得到目标模型。

优选地，在步骤s6中，训练步数每隔1000步保存一次训练模型，并用验证集验证测试效果；当模型性能达到稳定时，将模型中所含的训练变量剔除，只保留前向传播的神经元权重与偏置的常量，得到固化后的目标模型。

本发明的创新点在于：利用人体在不同情绪状态下的生理反应不同，通过低分辨率红外传感器对人体面部本身进行感知，并通过深度学习网络模型对人的多种情绪实现识别，当面对情绪由于个体的不同而展现出不同的表现形式或情绪被刻意掩盖时，人体向外辐射的红外线并不会因此而受影响，克服了现有技术通过摄像头进行视觉感知捕捉到错误信息，或因外部因素如光线等的影响使捕捉到的信息不完全而无法准确识别的缺陷，相比现有的情绪识别技术，基于低分辨率红外热成像深度感知的情绪识别的准确性能得到大幅提高。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

图1是本发明实施例整体结构示意图；

图2是本发明实施例深度学习实现过程示意图；

图3是本发明实施例数据集标签标注示意图；

图4是本发明实施例验证集准确率示意图。

具体实施方式

为让本专利的特征和优点能更明显易懂，下文特举实施例，并配合附图，作详细说明如下：

考虑到目前大多数情绪识别与分析研究主要是基于可见光图像或视频展开，光照的变化会对基于可见图像或视频的表情识别带来一定程度的影响，而红外热成像技术对面部血液流动而产生的温度变化进行感知，不会受光照等成像因素的影响，也不会受到情绪被人体掩盖的影响，因此本发明的情绪识别技术采用低分辨率红外热成像传感器进行深度感知，能实时探测不同情绪所反映出的人体热成像数据，本发明中通过所述的低分辨率红外热成像传感器获得近距离（半米左右）人脸热成像数据。

如图1所示，本发明实施例装置部分包括：相连接的低分辨率红外热成像传感器、mcu最小系统和上位机；mcu最小系统和上位机通过无线通信模块连接。

其中，低分辨率红外热成像传感器和mcu最小系统通过mcu最小系统上的iic接口连接并进行通信。

该装置采用堆叠式设计，低分辨率红外热成像传感器和mcu最小系统设置在电源电路的上方作为第一层；电源电路设置在无线通信模块上方作为第二层，采用锂电池或纽扣电池进行供电；无线通信模块采用zigbee模块作为第三层。

上位机通过深度学习方法对低分辨率红外热成像传感器探测获得的热成像温度矩阵进行识别判断。其对应的识别程序可以通过是基于深度学习模型构建的gui来具体实现。

深度学习通过以下步骤实现：

步骤s1：通过低分辨率红外热成像传感器采集多个人脸热成像数据，并对人脸热成像数据进行分类标记；

步骤s2：建立温度数据库；温度数据库包括数据文件和标签文件；

步骤s3：根据温度数据库建立训练集和验证集；

步骤s4：建立深度学习初始模型，进行情绪特征提取；

步骤s5：训练初始模型，获得目标模型；

步骤s6：固化模型用于实时检测。

其中，在步骤s1中，在多种环境背景温度下进行多次采集，并通过人工判定的方式对每个人脸热成像数据的数据文件添加标签。通过低分辨率红外热成像传感器测量实时8*8温度数据，上传给上位机，上位机接收数据。根据数据收集对象的不同状态对数据文件分类为不同情绪项。数据集部分包括不同人不同性别不同年龄的不同情绪，并为不同情绪人工标注标签，可以以某个数字代表某种情绪。并且为了排除天气、温度对温度矩阵中背景温度的影响，从而影响模型准确性，因此数据集收集在不同天气和温度情况下进行。如图3所示，为数据集标签标注示意图。

在步骤s2中，通过数据格式转换将初始数据库转换为温度数据库。温度数据库包括数据文件和标签文件。数据文件为data文件，格式为：样本总数*64，标签文件包括label文件及one_hot独热标签文件。

在步骤s3中，将温度数据库中的温度数据集以8:2的比例随机拆分为训练集和验证集。

在步骤s4中，情绪特征提取选用轻量级的cnn网络mobilenet，模型最大执行步数均为80000，初始学习率为0.001，学习率衰减参数为0.99，优化器采用rmsprop，参数的二次正则化超参数为0.0001，批次大小为32。

在步骤s5中，初始模型通过前向-反向传播算法分别在温度数据库训练集上进行训练，得到目标模型。目标模型含有不同情绪下的温度特征知识。

在步骤s6中，模型性能随迭代次数上升，训练步数每隔1000步保存一次训练模型，并用验证集验证测试效果。如图4所示，模型作用于验证集上的准确率，观察模型性能变化，当模型性能达到稳定时，将模型中所含的训练变量剔除，只保留前向传播的神经元权重与偏置的常量，得到固化后的目标模型。将待检测的温度数据输入到固化目标模型中输出置信度得分。

本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于低分辨率红外热成像深度感知的情绪识别装置及方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。