本发明提出了一种基于ai人脸距离检测的温度误差补偿方法,属于计算机视觉技术领域。
背景技术:
受新冠状病毒的疫情影响,非接触性人脸测温是全世界目前最迫切的需求,各大摄像头厂商分别推出非接触性红外线测温与可见光双通道摄像头设备,但是这种设备的检测条件非常苛刻,尤其是检测范围。
基于ai人脸距离检测的温度误差补偿技术,以补偿技术为例,目前采用的解决方法有如下:使用非接触性红外线测温与可见光双通道摄像头设备,首先在设备上会设置两个参数(检测距离,人体发射率),通过这两个参数建立补偿模型,在摄像机上进行计算,在可见光的通道检测到人脸的位置信息,根据两个通道的位置的对应关系,转换为热成像上的位置,然后取人脸位置的热成像图像的最高值、平均值等等,最后根据之前建立的补偿模型修正温度值,但是补偿方式还是存在不少问题,比如说双光通道图像检测视角范围不一致导致的人脸位置偏差、检测温度的精度受距离影响等等。
技术实现要素:
本发明为了解决现有为题中人脸跟摄像机之间的距离(即人脸距离)的检测准确率低造成人脸温度检测的错误率较高的问题,提出了一种基于ai人脸距离检测的温度误差补偿方法,所采取的的技术方案如下,
所述温度误差补偿方法包括:
步骤1、环境配置准备:选择可见光与高精度的红外光双光谱设备,所述红外光双光谱设备将两个通道的视角最大的重合,从而扩大检测范围,配置基于深度学习的人脸检测算法、人脸距离计算模型和温度补偿算法所需要的计算机环境;其中,人脸距离是指人脸与所述双光谱摄像头之前的距离;
步骤2、建立位置对应关系:利用平移缩放方式调整可视化图像和热成像图像的位置,建立所述可视化图像与热成像图像的位置对应关系;
步骤3、在所述可视化图像中进行人脸检测:使用人脸检测数据集通过深度学习方法训练人脸检测模型,利用所述人脸检测模型以及所述人脸模型的权重文件检测出可视化图像中的人脸以及人脸的位置信息;
步骤4、计算人脸温度:根据步骤3获得的位置对应关系,计算得到热成像图像人脸以及人脸温度;
步骤5、采集数据:采集人脸距离数据,并利用所述人脸距离数据生成数据集;
步骤6、训练模型并计算人脸距离:利用步骤4中获得的所述热成像图像人脸作为输入,并以步骤5获得的人脸距离数据作为结果建立神经网络模型;并对所述神经网络模型进行训练获得人脸距离检测模型,并将步骤4获得的热成像图像人脸输入至所述人脸距离检测模型求得与所述热成像图像人脸对应的人脸距离;
步骤7、完善温度补偿算法:利用所述数据集中的人脸参数建立温度补偿函数。
进一步地,步骤1所述红外光双光谱设备的精度误差要求为±0.5℃范围内。
进一步地,步骤1所述人脸检测算法采用基于候选区域的人脸检测算法或多任务人脸检测算法;所述人脸距离计算模型采用基于关键点检测的距离转化模型、人脸属性识别模型或人脸大小转化距离模型;所述温度补偿算法采用线性回归算法或非线性回归算法。
进一步地,步骤2所述建立所述可视化图像与热成像图像的位置对应关系的具体过程为:
第一步、利用画中画方式对齐所述可视化图像和热成像图像;其中,热成像图像在最上层,并对所述热成像图像进行透明度、大小和位置设置;
第二步、所述可视化图像和热成像图像对齐后,保存热成像图像的位置位移(δx,δy)和比例转化scale;
第三步、确定可见光坐标为(x0,y0),热成像坐标为(x1,y1),坐标系采用opencv图片坐标系,则可见光坐标、热成像坐标与位置位移(δx,δy)和比例转化之间的关系为:
进一步地,步骤4所述计算得到热成像图像人脸以及人脸温度的过程为:
步骤一、利用所述可视化图像与热成像图像的位置对应关系,将所述所述可视化图像中的人脸框的位置信息转化为热成像图像人脸位置坐标
步骤二、从所述热成像图像中截取框内图像,人脸温度矩阵;
步骤三、利用人脸温度矩阵计算得出人脸温度值t,例如,利用人脸温度矩阵通过最大数、中位数和平均数等方式计算人脸温度值t。
进一步地,步骤5所述采集数据的数据过程为:采集样本数为20个人,分别采集所述20个人未戴口罩时的样本数据和戴口罩时的样本数据,其中,所述样本数据的要求为:样本体温满足36℃~39℃的公差为0.2℃的等差数列,采集距离满足1m~6m的公差为0.5m的等差数列,角度满足正对摄像头-60°~60°的公差为10°的等差数列;最终得到未戴口罩数据集2860,戴口罩数据集2860。
进一步地,步骤6所述利用数据集训练人脸距离计算模型的过程包括:
第1步、将所述数据集随机分为三个部分:训练集q1、验证集q2和测试集q3;
第2步、以所述热成像人脸为输入,以所述数据集中的人脸距离数据为结果建立神经网络模型;
第3步、利用所述训练集q1、验证集q2和测试集q3对所述神经网络模型进行训练、验证和测试,生成训练好的人脸距离计算模型;
第4步、将所述热成像图像人脸输入至所述人脸距离检测模型求得与所述热成像图像人脸对应的人脸距离。
进一步地,所述神经网络采用以数值和图片同时输入的多输入神经网络、以图片为输入的卷积神经网络或以人脸框和人脸关键点组成的全数值mlp多层感知网络。
进一步地,所述训练集q1、验证集q2和测试集q3的样本数比例为:7:1:2。
进一步地,步骤7所述利用所述数据集中的人脸参数建立线性函数的过程为:利用人脸参数与每个被测人的当前距离下需要补偿的温度值建立二维坐标系,并利用真实人脸温度建立三维坐标系,用线性回归、非线性回归或神经网络模型建立出温度补偿函数,所述温度补偿函数如下:
其中,
本发明的有益效果为:
本发明提出的一种基于ai人脸距离检测的温度误差补偿方法,能够有效提高双光谱摄像头的检测范围与精确度,从而放宽该设备的使用条件,增加监控闸口的人流量,方便人们出行,为公共卫生安全做出积极贡献。同时,提高了温度测量的准确性和精度,并且提高了人脸温度检测的效率。并且本发明提出的基于ai人脸距离检测的温度误差补偿方法能够有效提高双光谱摄像头的检测范围与精确度,从而放宽该设备的使用条件,增加监控闸口的人流量,方便人们出行,为公共卫生安全做出积极贡献。同时,提高了温度测量的准确性和精度,并且提高了人脸温度检测的效率。
附图说明
图1为本发明所述方法的原理图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明的实施例为了解决现有为题中人脸跟摄像机之间的距离(即人脸距离)的检测准确率低造成人脸温度检测的错误率较高的问题,提出了一种基于ai人脸距离检测的温度误差补偿方法,具体如下:
一种基于ai人脸距离检测的温度误差补偿方法,所述温度误差补偿方法包括:
步骤1、环境配置准备:选择可见光与高精度的红外光双光谱设备,所述红外光双光谱设备将两个通道的视角最大的重合,从而扩大检测范围,配置基于深度学习的人脸检测算法、人脸距离计算模型和温度补偿算法所需要的计算机环境;其中,人脸距离是指人脸与所述双光谱摄像头之前的距离;
步骤2、建立位置对应关系:利用平移缩放方式调整可视化图像和热成像图像的位置,建立所述可视化图像与热成像图像的位置对应关系;
步骤3、在所述可视化图像中进行人脸检测:使用人脸检测数据集通过深度学习方法训练人脸检测模型,利用所述人脸检测模型以及所述人脸模型的权重文件检测出可视化图像中的人脸以及人脸的位置信息;
步骤4、计算人脸温度:根据步骤3获得的位置对应关系,计算得到热成像图像人脸以及人脸温度;
步骤5、采集数据:采集人脸距离数据,并利用所述人脸距离数据生成数据集;
步骤6、训练模型并计算人脸距离:利用步骤4中获得的所述热成像图像人脸作为输入,并以步骤5获得的人脸距离数据作为结果建立神经网络模型;并对所述神经网络模型进行训练获得人脸距离检测模型,并将步骤4获得的热成像图像人脸输入至所述人脸距离检测模型求得与所述热成像图像人脸对应的人脸距离;
步骤7、完善温度补偿算法:利用所述数据集中的人脸参数建立温度补偿函数。
其中,步骤1所述红外光双光谱设备的精度误差要求为±0.5℃范围内。并且,步骤1所述人脸检测算法采用基于候选区域的人脸检测算法或多任务人脸检测算法;所述人脸距离计算模型采用基于关键点检测的距离转化模型、人脸属性识别模型或人脸大小转化距离模型;所述温度补偿算法采用线性回归算法或非线性回归算法。例如,人脸检测模型mtcnn、darknet等。
步骤2所述建立所述可视化图像与热成像图像的位置对应关系的具体过程为:
第一步、利用画中画方式对齐所述可视化图像和热成像图像;其中,热成像图像在最上层,并对所述热成像图像进行透明度、大小和位置设置;
第二步、所述可视化图像和热成像图像对齐后,保存热成像图像的位置位移(δx,δy)和比例转化scale;
第三步、确定可见光坐标为(x0,y0),热成像坐标为(x1,y1),坐标系采用opencv图片坐标系,则可见光坐标、热成像坐标与位置位移(δx,δy)和比例转化之间的关系为:
步骤4所述计算得到热成像图像人脸以及人脸温度的过程为:
步骤一、利用所述可视化图像与热成像图像的位置对应关系,将所述所述可视化图像中的人脸框的位置信息转化为热成像图像人脸位置坐标
步骤二、从所述热成像图像中截取框内图像,人脸温度矩阵;
步骤三、利用人脸温度矩阵计算得出人脸温度值t,例如,利用人脸温度矩阵通过最大数、中位数和平均数等方式计算人脸温度值t。
步骤5所述采集数据的数据过程为:采集样本数为20个人,分别采集所述20个人未戴口罩时的样本数据和戴口罩时的样本数据,其中,所述样本数据的要求为:样本体温满足36℃~39℃的公差为0.2℃的等差数列,采集距离满足1m~6m的公差为0.5m的等差数列,角度满足正对摄像头-60°~60°的公差为10°的等差数列;最终得到未戴口罩数据集2860,戴口罩数据集2860。
步骤6所述利用数据集训练人脸距离计算模型的过程包括:
第1步、将所述数据集随机分为三个部分:训练集q1、验证集q2和测试集q3;
第2步、以所述热成像人脸为输入,以所述数据集中的人脸距离数据为结果建立神经网络模型;
第3步、利用所述训练集q1、验证集q2和测试集q3对所述神经网络模型进行训练、验证和测试,生成训练好的人脸距离计算模型;
第4步、将所述热成像图像人脸输入至所述人脸距离检测模型求得与所述热成像图像人脸对应的人脸距离。
其中,所述训练集q1、验证集q2和测试集q3的样本数比例为:7:1:2。
步骤7所述利用所述数据集中的人脸参数建立线性函数的过程为:利用人脸参数与每个被测人的当前距离下需要补偿的温度值建立二维坐标系,并利用真实人脸温度建立三维坐标系,用线性回归、非线性回归或神经网络模型建立出温度补偿函数,所述温度补偿函数如下:
其中,
本发明实施例提出的一种基于ai人脸距离检测的温度误差补偿方法,能够有效提高双光谱摄像头的检测范围与精确度,从而放宽该设备的使用条件,增加监控闸口的人流量,方便人们出行,为公共卫生安全做出积极贡献。同时,提高了温度测量的准确性和精度,并且提高了人脸温度检测的效率。并且本发明提出的基于ai人脸距离检测的温度误差补偿方法能够有效提高双光谱摄像头的检测范围与精确度,从而放宽该设备的使用条件,增加监控闸口的人流量,方便人们出行,为公共卫生安全做出积极贡献。同时,提高了温度测量的准确性和精度,并且提高了人脸温度检测的效率。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。