一种基于VIS-IR图像的多源融合人体目标检测方法

一种基于vis-ir图像的多源融合人体目标检测方法
技术领域
1.本发明属于目标检测技术领域，特别是一种基于vis-ir图像的多源融合人体目标检测方法。


背景技术：

2.可见光图像具有成像分辨率高、目标细节信息丰富等特点，在非特殊情况下，会更受科研领域和民用关注。基于深度学习的目标检测是当前科学研究的一大热点。目前针对可见光的经典目标检测方法主要包括单阶段(yolo、ssd、retinanet等)和多阶段方法(fast rcnn、faster rcnn等)。其中，yolo系列方法中的yolov4方法是最为通用且效果最佳的目标检测方法。
3.红外成像技术具有工作距离远、抗干扰能力强、测量精度高、不受天气影响、能昼夜工作，以及穿透烟雾能力强等特点，因此红外成像技术一经提出便得到科研领域和民用的广泛关注，市场对红外目标的检测需求也随之增加。由于红外图像成像模糊、分辨率差、信噪比低、对比度低，以及图像灰度分布与目标反射特征无线性关系。因此难以使用主流的深度神经网络对红外图像进行目标检测。而传统的数字图像目标检测方法，无需事先获取大量的训练数据以训练出检测模型，且检测能力并不低，因此仍然是目前常用的检测方法。
4.依靠单一数据源实现对复杂环境中的人体目标进行高精度检测十分困难。一方面，可见光图像难以应用于雨雪多雾、障碍物密集等恶劣环境下的人体目标的检测。另一方面，红外热成像的边缘比较模糊，特征比较难以提取，其中的障碍目标，比如动物，路灯，车辆等热成像与人体目标类似，亮度都较高，与人体极易混淆；红外热成像的生成不仅仅只取决于物体的温度，还受物体的表面特性以及辐射波长等外界因素的影响。
5.为了提高对复杂环境的人体目标的检测能力，目前常用做法是融合可见光图像及红外图像的信息，以实现复杂环境的高精度人体识别。典型的多源图像融合方法包括特征级别融合及判别器级别融合。特征级别融合指先分别提取不同模态图像的特征，然后通过拼接特征等方式进行融合，最后在融合后的特征上训练预测器。特征级别融合的缺点是特征提取、特征变换、特征融合等操作需要消耗大量的训练计算资源及计算时间。判别器级别融合指在判别器预测分数上进行融合。其做法是训练多个判别器，每个判别器都有一个预测评分，对所有模型的结果进行加权求和融合。


技术实现要素：

6.本发明的目的在于针对上述现有技术存在的问题，提供一种基于vis-ir图像的多源融合人体目标检测方法。
7.实现本发明目的的技术解决方案为：一种基于vis-ir图像的多源融合人体目标检测方法，所述方法包括以下步骤：
8.步骤1，采集同一场景的红外图像即ir图像，以及可见光图像即vis图像；
9.步骤2，对ir图像进行人体目标检测，并记录框住目标的检测框的四点坐标；
10.步骤3，对vis图像进行人体目标检测，并记录框住目标的检测框的四点坐标；
11.步骤4，对ir图像与vis图像进行图像配准，将ir图像检测到的人体目标坐标映射到vis图像上；
12.步骤5，过滤重复检测框，将剩余的检测框添至vis图像中，完成整个目标检测过程。
13.进一步地，步骤2所述对ir图像进行人体目标检测，并记录框住目标的检测框的四点坐标，具体包括：
14.步骤2-1，使用基于最值归一化的方法对ir图像进行处理，以将ir图像映射到电子显示设备；
15.步骤2-2，对ir图像进行滤波处理；
16.步骤2-3，通过边缘检测算子分割人体目标；
17.步骤2-4，基于傅里叶描述子提取人体目标；
18.步骤2-5，基于adaboost算法对人体目标进行分类检测，并记录框住图像目标的检测框的四点坐标。
19.进一步地，步骤2-1具体包括：
20.记红外图像的像素值为f(x,y)，其中x、y分别为像素值横向和纵向的位置；
21.步骤2-1-1，统计ir图像的像素灰度值直方图p(k)，k＝0,1,2,3,...,l-1；
22.步骤2-1-2，从直方图的最小像素灰度值和最大像素灰度值分别向中间进行像素灰
23.度值个数累计统计，直至满足从最小像素灰度值累积的和大于预设阈值s1，从最大像素灰度值累计的和大于预设阈值s2，停止对像素灰度值累计，并记下最小累计像素灰度值为f
min
(x,y)，最大累计像素值为f
max
(x,y)；
24.步骤2-1-3，对ir图像像素值进行归一化：
[0025][0026]
进一步地，步骤4的具体过程包括：
[0027]
步骤4-1，轮廓提取
[0028]
采用sobel算子对ir图像进行边缘检测，再采用canny算子对处理后的vis图像进行边缘检测；
[0029]
步骤4-2，角点检测
[0030]
对步骤4-1边缘控制点进行角点控制，设置提取边缘控制点灰度值阈值，若步骤4-1获得的边缘控制点的灰度值大于该阈值，则认为该控制点为角点；
[0031]
步骤4-3，对角点进行聚类
[0032]
对步骤4-2所获得的角点进行聚类，首先从角点中任意选择三个角点分别作为第1类初始聚点、第2类初始聚点、第3类初始聚点，然后分别求其他角点与该三个初始聚点之间的欧氏距离，并将距离最小的角点设为同类聚点；接着求所有聚点的坐标平均值
其中(xi，yi)为第i个聚点的坐标，n为聚点的个数；由此分别求得红外图像的第1、2、3类聚点坐标(x
11
,y
11
)，(x
12
,y
12
)，(x
13
,y
13
)，可见光图像的第1、2、3类聚点坐标(x
21
,y
21
)，(x
22
,y
22
)，(x
23
,y
23
)；
[0033]
步骤4-4，图像自动配准
[0034]
将(x
11
,y
11
)、(x
12
,y
12
)、(x
13
,y
13
)作为配准数据集，(x
21
,y
21
)、(x
22
,y
22
)、(x
23
,y
23
)作为待配准数据集，然后利用matlab软件中的cp2tform函数对两组数据集进行配准。
[0035]
进一步地，步骤5具体通过iou过滤融合算法实现，包括：
[0036]
步骤5-1，计算步骤2和步骤3两个检测框的交并比iou，具体为：计算ir图像的检测框与vis图像的检测框的交集部分的面积与二者面积的并集部分的面积之比iou；
[0037]
步骤5-2，判断iou是否大于等于预设阈值，若大于，则认为两个检测框为同一目标的检测框，只保留其中一个检测框绘制于vis图像中，并将其对应的坐标信息及置信度信息融合入vis图像的检测信息；否则将两个检测框均绘制于vis图像中，并将其对应的坐标信息及置信度信息融合入vis图像的检测信息。
[0038]
基于vis-ir图像的多源融合人体目标检测系统，所述系统包括：
[0039]
采集模块，用于采集同一场景的红外图像即ir图像，以及可见光图像即vis图像；
[0040]
第一目标检测模块，用于对ir图像进行人体目标检测，并记录框住目标的检测框的四点坐标；
[0041]
第二目标检测模块，用于对vis图像进行人体目标检测，并记录框住目标的检测框的四点坐标；
[0042]
配准模块，用于对ir图像与vis图像进行图像配准，将ir图像检测到的人体目标坐标映射到vis图像上；
[0043]
过滤模块，过滤重复检测框，将剩余的检测框添至vis图像中，完成整个目标检测过程。
[0044]
本发明与现有技术相比，其显著优点为：1)红外图像能够检测丛林、黑暗等可见光图像难以检测到的遮挡环境下的人体目标，但由于其图像像素点较差，对光照条件较好且遮挡物较少情况下的人体目标检测效果明显弱于可见光图像。本发明将二者图像的优点进行融合，能够提升对同一场景下的人体目标的检测效果。2)本发明使用了图像配准技术，保证了即使红外图像采集位置点与可见光图像采集位置点有所差别，也能实现“iou过滤融合算法”，从而提高本发明的泛化性。3)本发明属于判别器级别融合方法，能够实现消耗少量计算资源及计算时间前提下，提升对复杂环境人体目标的识别精度。
[0045]
下面结合附图对本发明作进一步详细描述。
附图说明
[0046]
图1为本发明基于vis-ir图像的多源融合人体目标检测方法的原理框架图。
[0047]
图2为本发明ir图像处理框架图。
[0048]
图3为本发明vis图像处理框架图。
[0049]
图4为一个实施例中多源融合人体目标检测结果图。
具体实施方式
[0050]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0051]
在一个实施例中，结合图1至图3，本发明提供了一种基于vis-ir图像的多源融合人体目标检测方法，所述方法包括以下步骤：
[0052]
步骤1，采集同一场景的红外图像即ir图像，以及可见光图像即vis图像；
[0053]
步骤2，对ir图像进行人体目标检测，并记录框住目标的检测框的四点坐标；
[0054]
步骤3，对vis图像进行人体目标检测，并记录框住目标的检测框的四点坐标；
[0055]
步骤4，对ir图像与vis图像进行图像配准，将ir图像检测到的人体目标坐标映射到vis图像上；
[0056]
步骤5，过滤重复检测框，将剩余的检测框添至vis图像中，完成整个目标检测过程。
[0057]
进一步地，在其中一个实施例中，步骤2所述对ir图像进行人体目标检测，并记录框住目标的检测框的四点坐标，具体包括：
[0058]
步骤2-1，使用基于最值归一化的方法对ir图像进行处理，以将ir图像映射到电子显示设备；
[0059]
步骤2-2，对ir图像进行中值滤波处理，对于一幅图像的像素矩阵，取以目标像素为中心的一个子矩阵窗口(窗口大小通常为3*3或5*5区域)，对窗口内的像素灰度值进行排序，以排序后的中间值作为目标像素的新灰度值，依次迭代上述步骤直至完成所有图像数据的处理。例如，对于像素点(x，y)，假设f(x,y)、g(x,y)分别为原始图像像素灰度值和处理后图像像素灰度值；w为子矩阵窗口，k、l分别为窗口w内子窗口的横纵坐标。则其数学表达式为式如下所示：
[0060]
g(x,y)＝med(f(x-k,y-l)),(k,l∈w)
[0061]
其中，med()函数表示对以目标像素(x,y)为中心的k*l大小的子矩阵窗口内像素灰度值进行排序，并取中间值操作；
[0062]
步骤2-3，通过边缘检测算子分割人体目标；具体地，采用sobel算子分割人体目标，sobel算子是离散型差分算子，用来运算图像亮度函数的灰度近似值，其所采用的算法是先进行加权平均，再进行微分运算，算子的计算方法分别为：
[0063]
δ
x
f(x,y)＝[f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1)]-[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]
[0064]
δyf(x,y)＝[f(x-1,y-1)+2f(x-1,y)+f(x-1,y+1)]-[f(x+1,y-1)+2f(x+1,y)+f(x+1,y+1)]
[0065]
其中，(x,y)为红外热像图的像素点，f(x,y)为像素点(x,y)的像素灰度值。δ
x
f(x,y)，δyf(x,y)分别表示像素灰度值f(x,y)在x轴方向及y轴方向的微分运算；
[0066]
步骤2-4，基于傅里叶描述子提取人体目标，思想如下所示。假设人体目标边界有n个边界点，以(x0,y0)为起始点按照逆时针方向将边界曲线表示为坐标序列s(n)＝[x(n),y(n)],n＝0,1,...,n-1。为了将二维表达转换成一维表达，使用复数形式表示该目标边界曲线。上述逆时针旋转一周的周长可表示为复函数s(n)：
[0067]
s(n)＝x(n)+j*y(n)n＝0,1,2,...,n-1
[0068]
对连续信号进行离散傅里叶变换可得：
[0069][0070]
通过对s(n)进行复数序列的傅里叶描述子变换，变换结果为：
[0071][0072]
深入研究发现，在对红外热像图进行人体目标提取的时候，对s(n)进行归一化处理，可以明显地提高傅里叶描述子对人体目标的描述效果。最终傅里叶描述子描述d的特征向量表示为v(n)：
[0073][0074]
步骤2-5，基于adaboost算法对人体目标进行分类检测，并记录框住图像目标的检测框的四点坐标。adaboost算法实现步骤如下：
[0075]
step1：初始化。对每个训练样本给予相同的权重，如下式：
[0076][0077]
step2：迭代运算。对于t轮训练，for t＝1,2,...,t执行：
[0078]
step2-1：将弱学习算法在权值d
t
下训练，得到预测函数，如下式：
[0079]ht
＝x
→
{-1,1}
[0080]
step2-2：计算该预测函数的错误率，如下式：
[0081][0082]
step2-3：令a
t
为：
[0083][0084]
step2-4：根据上述错误率更新权值，如下式：
[0085][0086]
其中，z
t
是使的归一化因子。
[0087]
step3：t轮训练完毕，最终的预测函数为：
[0088][0089]
进一步地，在其中一个实施例中，步骤2-1具体包括：
[0090]
记红外图像的像素值为f(x,y)，其中x、y分别为像素值横向和纵向的位置；
[0091]
步骤2-1-1，统计ir图像的像素灰度值直方图p(k)，k＝0,1,2,3,...,l-1，其中k代表灰度值，l为灰度阶数；
[0092]
步骤2-1-2，从直方图的最小像素灰度值和最大像素灰度值分别向中间进行像素灰度值个数累计统计，直至满足从最小像素灰度值累积的和大于预设阈值s1，从最大像素灰度值累计的和大于预设阈值s2，停止对像素灰度值累计，并记下最小累计像素灰度值为f
min
(x,y)，最大累计像素值为f
max
(x,y)；
[0093]
步骤2-1-3，对ir图像像素值进行归一化：
[0094][0095]
进一步地，在其中一个实施例中，步骤4的具体过程包括：
[0096]
步骤4-1，轮廓提取
[0097]
采用sobel算子对ir图像进行边缘检测，再采用canny算子对处理后的vis图像进行边缘检测；
[0098]
步骤4-2，角点检测
[0099]
对步骤4-1边缘控制点进行角点控制，设置提取边缘控制点灰度值阈值，若步骤4-1获得的边缘控制点的灰度值大于该阈值，则认为该控制点为角点；
[0100]
步骤4-3，对角点进行聚类
[0101]
对步骤4-2所获得的角点进行聚类，首先从角点中任意选择三个角点分别作为第1类初始聚点、第2类初始聚点、第3类初始聚点，然后分别求其他角点与该三个初始聚点之间的欧氏距离，并将距离最小的角点设为同类聚点；接着求所有聚点的坐标平均值其中(xi，yi)为第i个聚点的坐标，n为聚点的个数；由此分别求得红外图像的第1、2、3类聚点坐标(x
11
,y
11
)，(x
12
,y
12
)，(x
13
,y
13
)，可见光图像的第1、2、3类聚点坐标(x
21
,y
21
)，(x
22
,y
22
)，(x
23
,y
23
)；
[0102]
步骤4-4，图像自动配准
[0103]
将(x
11
,y
11
)、(x
12
,y
12
)、(x
13
,y
13
)作为配准数据集，(x
21
,y
21
)、(x
22
,y
22
)、(x
23
,y
23
)作为待配准数据集，然后利用matlab软件中的cp2tform函数对两组数据集进行配准。
[0104]
进一步地，在其中一个实施例中，步骤5具体通过iou过滤融合算法实现，包括：
[0105]
步骤5-1，计算步骤2和步骤3两个检测框的交并比iou，具体为：计算ir图像的检测框与vis图像的检测框的交集部分的面积与二者面积的并集部分的面积之比iou；
[0106]
步骤5-2，判断iou是否大于等于预设阈值(优选地，阈值为0.75)，若大于，则认为两个检测框为同一目标的检测框，只保留其中一个检测框绘制于vis图像中，并将其对应的坐标信息及置信度信息融合入vis图像的检测信息；否则将两个检测框均绘制于vis图像中，并将其对应的坐标信息及置信度信息融合入vis图像的检测信息(如图4所示)。
[0107]
在一个实施例中，提供了一种基于vis-ir图像的多源融合人体目标检测系统，所
述系统包括：
[0108]
采集模块，用于采集同一场景的红外图像即ir图像，以及可见光图像即vis图像；
[0109]
第一目标检测模块，用于对ir图像进行人体目标检测，并记录框住目标的检测框的四点坐标；
[0110]
第二目标检测模块，用于对vis图像进行人体目标检测，并记录框住目标的检测框的四点坐标；
[0111]
配准模块，用于对ir图像与vis图像进行图像配准，将ir图像检测到的人体目标坐标映射到vis图像上；
[0112]
过滤模块，过滤重复检测框，将剩余的检测框添至vis图像中，完成整个目标检测过程。
[0113]
关于基于vis-ir图像的多源融合人体目标检测系统的具体限定可以参见上文中对于基于vis-ir图像的多源融合人体目标检测方法的限定，在此不再赘述。上述基于vis-ir图像的多源融合人体目标检测系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0114]
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
[0115]
步骤1，采集同一场景的红外图像即ir图像，以及可见光图像即vis图像；
[0116]
步骤2，对ir图像进行人体目标检测，并记录框住目标的检测框的四点坐标；
[0117]
步骤3，对vis图像进行人体目标检测，并记录框住目标的检测框的四点坐标；
[0118]
步骤4，对ir图像与vis图像进行图像配准，将ir图像检测到的人体目标坐标映射到vis图像上；
[0119]
步骤5，过滤重复检测框，将剩余的检测框添至vis图像中，完成整个目标检测过程。
[0120]
关于每一步的具体限定可以参见上文中对于基于vis-ir图像的多源融合人体目标检测方法的限定，在此不再赘述。
[0121]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0122]
步骤1，采集同一场景的红外图像即ir图像，以及可见光图像即vis图像；
[0123]
步骤2，对ir图像进行人体目标检测，并记录框住目标的检测框的四点坐标；
[0124]
步骤3，对vis图像进行人体目标检测，并记录框住目标的检测框的四点坐标；
[0125]
步骤4，对ir图像与vis图像进行图像配准，将ir图像检测到的人体目标坐标映射到vis图像上；
[0126]
步骤5，过滤重复检测框，将剩余的检测框添至vis图像中，完成整个目标检测过程。
[0127]
关于每一步的具体限定可以参见上文中对于基于vis-ir图像的多源融合人体目标检测方法的限定，在此不再赘述。
[0128]
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该
了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。