一种基于图像像素点匹配的大范围行人体温精准检测方法与流程

本发明涉及行人体温精准检测技术，特别涉及一种采用光学镜头/热成像镜头的双目镜头摄像机进行图像采集的基于图像像素点匹配的大范围行人体温精准检测方法。

背景技术：

现代的行人检测方法不仅要获得行人的位置信息，更重要的是获得行人的体表温度，来为整个疫情防控系统提供技术支持。但是，传统使用单目热成像摄像头来检测行人温度，往往就会导致体温检测不准确，检测效果不佳。若采用体温枪和光学镜头的行人检测，又会使检测体温效率降低，给交通带来极大的压力。

技术实现要素：

为了解决上述技术问题，本技术方案提出一种新的行人温度检测方法以及系统，具体为：

一种基于图像像素点匹配的大范围行人体温精准检测方法，步骤是在行人经过的路径上部署具有光学镜头和热成像镜头的双目摄像机；基于摄像机获得的人像图像信息识别行人的体表温度。

摄像机的光学镜头和热成像镜头的双镜头图像像素点匹配步骤包括：

1)取相机和棋盘标定板，并固定二者的相对位置；

相机分别采用光学镜头和热成像镜头拍摄棋盘标定板，分别记录棋盘标定板中的各个黑格中心点的位置；得到热成像镜头的内参矩阵，采用热成像镜头的内参矩阵矫正热成像镜头的畸变；矫正的方法包括步骤：

1.1)将源图像像素坐标系通过内参矩阵转化为相机坐标系，通过畸变系数矫正图像的相机坐标；

1.2)矫正后的相机坐标系通过内参矩阵转化为图像像素坐标系，并根据源图像坐标的像素赋值给新的图像坐标；

2)相机采用光学镜头拍摄棋盘标定板，记录棋盘标定板的角点位置；得到光学镜头的内参矩阵，采用光学镜头的内参矩阵矫正光学镜头的畸变；

矫正的方法与步骤1.1)～1.2)相同；

3)固定光学镜头和热成像镜头；对处于位置d的棋盘标定板，依次对每一个电阻丝进行通电，获得得到该位置下的各个黑格中心点的光学坐标和红外坐标，得到仿射变换矩阵g；

4)变换棋盘的位置分别为d1、d2，...dn，采用步骤3)的方法，获得到相应位置下的光学镜头和热成像镜头得到图像之间的仿射变换矩阵g1、g2，...gn；

5)对步骤4)得到的仿射变换矩阵中的每个元素进行最小二乘法拟合，得到在各个位置下的图片像素对应的仿射变换矩阵g′。

本方案实现大范围检测的原理为：

现有技术存在的问题一：传统的测温枪及测温门方案覆盖范围有限且需专人值守，效率较低。

现有技术存在的问题二：对摄像机获取的可见光以及红外图像信息进行处理并获得相应温度信息，这个过程所用到的技术较为成熟。但光学镜头与红外镜头的像素点匹配是技术也是技术要点。原始图像是终端设备(如计算机等)处理数据的来源。如果原始图像信息较为准确，则处理过程所需系统资源较少，结果也更容易做到准确。

现有技术中，使用光学镜头+红外镜头的部署方式可实现大范围多目标检测，通过光学镜头可检测出覆盖范围内人员目标及需测温位置(如额头)，通过红外镜头可得到覆盖范围内物体温度信息，通过光学镜头图像及红外镜头图像的像素点匹配可得到每个人员目标的体温。但光学镜头与红外镜头的像素点匹配是技术难点。本发明提出了的光学镜头与红外镜头的自动标定及像素点匹配方法解决了这一技术难点，光学镜头图像及红外镜头图像可通过仿射变换矩阵g′进行匹配，

上述匹配，结合部署方案可实现宽度为5米以上大范围多目标精准测温。

基于本检测方法的系统，包括后台系统、终端设备和具有热成像镜头的摄像机；摄像机获取的图像信息送入终端设备进行处理，处理结果送给后台系统；后台系统发出控制信息给终端设备，由终端设备发出控制指令给摄像机；摄像机布设在行人通道内，同时在检测范围的最远端部署温度校准黑体；

摄像机的镜头安装高度h＝h+tanα×d，其中：d为监控距离，h为人头部以下的高度，α为镜头轴线的俯视角度；

摄像机的光学镜头和热成像镜头需依照本方法进行双镜头图像像素点匹配。

本系统中，摄像机获取的可见光以及红外图像信息送入终端设备进行处理，处理结果(根据图像信息得到的温度信息)送给后台系统；后台系统发出控制信息给终端设备，由终端设备发出控制指令给摄像机，这个过程所用到的技术较为成熟。但光学镜头与红外镜头的像素点匹配是技术也是技术要点。原始图像是终端设备(如计算机等)处理数据的来源。如果原始图像信息较为准确，则处理过程所需系统资源较少，结果也更容易做到准确。

摄像机布设在行人通道内，同时在检测范围的最远端部署温度校准黑体，这亦是热成像摄像机的必备技术。固定校准黑体，便于校准的即时性以及及时性。

附图说明

图1是本方法中光学镜头和热成像镜头的双镜头图像像素点匹配过程示意图；

图2是采用本方法的检测系统的部署示意图；

图3是检测系统的摄像机安装高度h计算示意图；

图4是检测系统的摄像机覆盖宽度w计算示意图；

图5是标定辅助设备示意图。

具体实施方式

一种基于图像像素点匹配的大范围行人体温精准检测方法，步骤是在行人经过的路径上部署具有光学镜头和热成像镜头的双目摄像机；基于摄像机获得的人像红外图像识别行人的体表温度。

下面以本方法在某行人体温精准检测系统中的应用为例，对本技术方案进行说明：

在采用热成像镜头的摄像机的系统建设中，由于热成像镜头的特殊性，首先，要对摄像机的镜头进行标定，进而得到摄像机的成像仿射变换矩阵，从而有效解决了在行人识别以及体温检测时的位置不匹配问题，保证行人识别准确性以及保证行人的体表温度的测量准确度以及效率。

该系统建设借助的设备有主要是镜头标定过程中用到的标定板移位装置。该装置采用七自由度机械臂连接标定板，通过棋盘格位置要求，按顺序通过机械臂将棋盘格移动到指定位置。棋盘格位置以其中心点坐标为准，由三维坐标d(x,y,z)确定，坐标原点为机械臂根部平面中心点。

本系统建设的过程主要有：

一、光学镜头和热成像镜头的标定：

1、选取由光学玻璃制成的8×8棋盘标定板，棋盘表面上设置有黑格和白格，在黑格中心处有一圆孔放置电阻丝。

2、在固定好光学相机并借助标定板移位装置把标定板定位，依次对每一个电阻丝进行通电并记录每个点的位置。记录完成后，将镜头换为热成像镜头，重复前面操作。此时，可分别得到光学镜头和红外镜头得到电阻丝所在黑格中心像素坐标点的位置(xg，yg)与(xi，yi)。

3、将步骤2中得到的坐标点，进行标定，可以得到热成像镜头的内参矩阵k1。

4、通过光学镜头拍摄标准8×8棋盘格，得到每个角点的位置，通过标定得到光学镜头的内参矩阵k2。

摄像机内参反映的是摄像机坐标系到图像坐标系之间的投影关系。摄像机内参的标定是通过不同角度的拍摄棋盘格图像，得到摄像机的内参fx，fy，cx，cy,以及畸变系数[k1，k2，p1，p2，k3]等。

通过热成像镜头的内参矩阵以及光学镜头的内参矩阵即可矫正镜头的畸变问题。

二、光学镜头及热成像镜头图像像素点匹配

1、通过标定板移位装置，固定光学镜头和热成像镜头的位置，依次对每一个电阻丝进行通电，可以得到该位置下32个点的光学坐标和红外坐标，此时可以得到仿射变换矩阵g。

2、借助标定板移位装置将棋盘格位置移动到d1、d2，...dn，可以得到不同位置下的两个镜头图像之间的仿射变换矩阵序列g1、g2，...gn。

3、对步骤六中得到的仿射变换矩阵中的每个元素进行最小二乘法拟合(无约束条件)，可以得到在多个位置下的图片像素对应的仿射变换矩阵。

上面提到的标定板移位装置，如图5所示，图中，1是标定板，2是机械臂。

三、通过设备部署实现大范围精准测温

通过部署测温设备以及温度校准黑体，实现覆盖宽度5米以上的精准测温。

1、摄像机安装高度h计算，参考图3

镜头架设高度为：h＝1.5+0.18×d(通用各个像素型号)

d为监控距离，

人头部以下高度取平均值1.5米，

α为摄像机俯视角度，

推荐俯视角度为10°，tan10°≈0.18

h约为2.58米。

2、摄像机覆盖宽度w计算，参考图4

以红外热成像摄像头45°水平视角,34°垂直视角为例计算：

摄像头安装水平俯角10°～13°，摄像头与温度校准黑体的标定距离为6m(与监控距离相同),

w＝tan22.5×l≈5.05m

l＝h-1.5米

根据上述计算，现场安装设备，参考图2(图中，3是摄像机，4是温度校准黑体)。

参看图1，作为技术关键点以及技术难点，光学镜头和热成像镜头的双镜头图像像素点匹配步骤包括：

1)取相机和棋盘标定板，并固定二者的相对位置；

相机分别采用光学镜头和热成像镜头拍摄棋盘标定板，分别记录棋盘标定板中的各个黑格中心点的位置；得到热成像镜头的内参矩阵k1，采用内参矩阵k1矫正热成像镜头的畸变；

图像的畸变包括：径向畸变和切向畸变。

径向畸变是因为透镜本身的工艺问题，切向畸变是由于安装问题带来的。

矫正的过程分为两步：

1、将源图像像素坐标系通过内参矩阵转化为相机坐标系，通过畸变系数矫正图像的相机坐标；

2、矫正后的相机坐标系通过内参矩阵转化为图像像素坐标系，并根据源图像坐标的像素赋值给新的图像坐标。

具体方法：

内参矩阵为：

已知摄像头的焦距为f(单位：毫米),像片的尺寸大小为m×n(单位：像素)，传感器尺寸为i×j(单位：微米)，像素大小为p×p。由上面已知条件可求得内参矩阵如下：

通常倾斜参数β＝1

即

内参矩阵可理解为矩阵内各值只与相机内部参数有关，且不随物体位置变化而变化。

fx,fy为表示焦距的参数(焦距就是真空与投影屏幕的距离，类似于人眼和视网膜，焦距的度量是针对像素的)，代表每个像素在图像平面x和y方向上的物理尺寸。

u0,v0代表的是图像坐标系原点在像素坐标系中的坐标，所以为m/2，n/2。

若图像像素坐标系下有无畸变坐标(u,v)，经过经向畸变和切向畸变后落在了uov坐标系的(ud，vd)上

有：

对于畸变有：

径向畸变：

切向畸变：

x’,y’是一个像素值在图像坐标系中归一化坐标，u,v是无畸变坐标。那畸变位置坐标为径向畸变坐标和切向畸变坐标的组合。

即ud＝u‘径+u‘切，vd＝v‘径+v‘切

其中

u‘径＝u‘＝u(1+k1r²+k2r⁴+k3r⁶)，

u‘切＝v‘＝v(1+k1r²+k2r⁴+k3r⁶)

k1,k2,k3,p1,p2是畸变参数，k1,k2,k3是径向畸变参数，p1,p是切向畸变参数。r²＝x²+y²

2)相机采用光学镜头拍摄棋盘标定板，记录棋盘标定板的角点位置；得到光学镜头的内参矩阵，采用内参矩阵矫正光学镜头的畸变；

3)基于步骤1)和2)，采用标定板移位装置；固定光学镜头和热成像镜头；对处于位置d的棋盘标定板，依次对每一个电阻丝进行通电，获得得到该位置下的各个黑格中心点的光学坐标和红外坐标，得到仿射变换矩阵g；

由光学坐标和红外坐标得到仿射变换矩阵g的过程为：

记光学坐标(x,y)，红外坐标(m,n)；则光学镜头到红外镜头图像的成像经历的平移和翻转：

其中a代表旋转矩阵，b代表平移矩阵，

例如，若图片旋转θ，则a为

当图片平移(x,y)时，则b为

仿射变换的方法为：

将其转化为齐次坐标矩阵，存在唯一解

此方程组有6个未知数，所以需要至少6个方程(3个方程组)，即需要至少3个点在光学和红外镜头的坐标。

4)变换棋盘的位置分别为d1、d2，...dn，获得到相应位置下的两个镜头图像之间的仿射变换矩阵g1、g2，...gn；

5)对步骤4)得到的仿射变换矩阵中的每个元素进行最小二乘法拟合(无约束条件)，得到在各个位置下的图片像素对应的仿射变换矩阵g′；

步骤5)的过程：

记录变换棋盘位置与初始棋盘相对位移(x,y,z)，则存在唯一的k1,k2,k3,b使得，变换任意位置后，仿射变换矩阵与初始位置的仿射变换矩阵的方差最小。

即：

所以，当求出b时，可g′使满足条件。

即

棋盘标定板是由光学玻璃制成的8×8棋盘标定板，棋盘表面上依次相间的黑格和白格；在黑格中心处设一圆孔，并在圆孔内放置电阻丝；

在光学镜头下以及热成像镜头下记录黑格中心点时候，是依次对每一个电阻丝通电，然后用相机采用不同镜头进行拍照，得到光学镜头和热成像镜头下电阻丝所在黑格中心像素坐标点的位置。

本技术方案克服现有技术的不足，能够更加准确的得到仿射变换矩阵，通过这种技术有效地解决了在行人识别以及体温检测时的位置不匹配问题，该方案既能保证行人识别准确性又能保证行人的体表温度的测量准确度以及效率。