一种复杂场景下基于深度图的红外小目标检测方法与流程

本发明属于目标检测领域，特别涉及到一种复杂场景下基于深度图的红外小目标检测方法。

背景技术：

近几年来，随着军民探测器和红外热成像技术的发展，基于红外图像的目标检测已经在无人侦察、车辆避障、战场监测、野生动物保护方起着广泛的应用。然而在极为复杂的红外场景下，绝大多数目标检测算法将会失效。由于红外小目标成像面积小，携带的信息量少；目标与周围环境的热交换使得目标的对比度较低，缺乏形状纹理等信息；周围的背景中常常包含与小目标类似特征的物体的干扰(如树枝，墙壁等)使其容易湮没于复杂的背景中；而且随着目标和探测器距离变化，目标的尺寸也会发生变化，因此复杂场景下的红外小目标检测是一个难题。

目前，传统红外目标检测算法大致分为三种，一种是帧差法，一种是背景差分法，一种是光流法。其中帧差法基于像素的时间差分，通过二值化分割提取运动区域，不易受到光照的影响，但是对环境噪声很敏感，相邻帧之间目标重叠的部分不能检测出来，同时摄像头要求固定。背景差分法同样受限于摄像头固定的条件，且难以对背景的建模和更新，因为外界光照的改变、天气的变化和背景的运动等会造成背景图像的动态变化。光流法根据图像序列的时空梯度来估算运动场，通过分析运动场的变化检测出运动对象，检测精度高，但计算过程较为复杂，实时运行有待提高。运用均值漂移算法在边缘遮挡和背景运动不均的情况下，能很好地完成检测过程，是一种不需要先验知识的无参估计方法，但是需要对每个像素值的特征量进行迭代计算，计算量大，实时性和抗噪性能较差。

技术实现要素：

为了解决现有方法存在的问题，本发明提出了一种复杂场景下基于深度图的红外小目标检测的方法。深度图是是指将从图像传感器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。通过利用深度图信息以及静态和动态打分策略，该方法能在极为复杂的场景下实时地检测出静态或者动态的红外小目标。

本发明的技术方案：

一种复杂场景下基于深度图的红外小目标检测方法，包括以下步骤：

1)获取图像：获取双目红外相机拍摄的单帧或者多帧的红外图像i及其对应的深度图dis_i；

2)图像二值化：选定目标边缘梯度最大的像素值k，使用像素值法对图像进行二值化，得到二值化图像binary_i；

3)距离限制：设目标与红外相机的距离估计值为d，根据已知的深度信息，对于不在距离范围内的像素点p(x,y)，对应到二值化图像binary_i中，binary_i(x,y)为0；

4)形态学处理：对二值化图像进行形态学处理包括求连通区域、膨胀和腐蚀。该步骤的目的是从图像中提取出对于表达和描绘待检测目标形状有用处的图像信息；

5)制定静态和动态打分策略：使用静态和动态特征作为决策项。使用加权打分机制，分别对静态特征和动态特征按照一定的排序策略进行排序，最后加权得出图像上每个连通区域的得分；

6)筛选目标：根据每个连通区域的分数结果筛选出单目标或者多目标。

步骤5)中，制定静态和动态打分策略的具体过程包括：

5-1)根据目标的静态特征，使用矩形度、宽高比、区域灰度值、连通区域灰度值的变异系数、圆形度作为静态特征，制定静态打分策略。各个静态特征的计算公式为：

其中，sk为第k个连通区域的面积，srect为第k个连通区域的最小外接矩形的面积，widthk是第k个连通区域的宽，heightk是第k个连通区域的高，ii为连通区域内像素点i(x,y)的像素值，wi为该像素点i(x,y)的像素值对应的权重，n为第k个连通区域中像素点的个数，imean为第k个连通区域的平均灰度值，lk为第k个连通区域的周长，α，β，γ，δ和ε为静态特征对应的权重；ranksk表示第k个连通区域静态特征的得分。

5-2)根据目标的动态特征，使用面积和距离作为动态特征，制定动态打分策略。

速度不等式speed：θ1*speedmin≤speedk≤θ2*speedmax

面积不等式area：μ1*areamin≤areak≤μ2*areamax

其中，speedk表示第k个连通区域的运动速度，speedmin为已知的最小运动速度，speedmax为已知的最大运动速度，areak表示第k个连通区域的面积，areamin为已知的最小连通区域面积，areamax已知的最大连通区域面积。θ1，θ2为对应的速度权重，μ1，μ2为对应的面积权重，ζ，为动态特征对应的权重，rankdk表示第k个连通区域动态特征的得分。

本发明的有益效果：本发明设计了一种复杂场景下基于深度图的红外小目标检测方法。利用深度图信息和静态动态打分策略检测红外小目标，根据得分筛选出单目标或者多目标。该方法具有以下特点：(1)可以筛选出在特定范围内的目标，可靠性高。(2)具有很强的鲁棒性。(3)程序简单，易于实现，海陆空都可以用，在复杂的丛林背景下更加凸显其优势。

附图说明

图1为复杂场景下基于深度图的红外小目标检测方法主流程图；

图2为复杂场景下基于深度图的红外小目标检测的单帧图像；

图3为图2局部放大后的待检测目标；

具体实施方式

本发明提出了一种复杂场景下基于深度图的红外小目标检测方法，通过设定二值化阈值，距离限制，形态学处理，制定静态和动态打分策略四个步骤实现了复杂场景下红外小目标的检测。下面结合附图及实施例进一步阐述本发明。

如图1所示，一种复杂场景下基于深度图的红外小目标检测的方法，方法具体步骤如下:

1)获取双目红外相机拍摄的单帧或者多帧的红外图像i及其对应的深度图dis_i，图2为复杂场景下基于深度图的红外小目标检测的单帧图像；

2)图3为局部放大后的待检测目标。选定目标边缘梯度最大的像素值k，使用像素值法对图像进行二值化，值小于k的像素值设为0，值大于或者等于k的像素值设为255，得到二值化图像binary_i；

3)设目标与红外相机的距离估计值为d，根据已知的深度信息，对于不在距离范围内的像素点p(x,y)，对应到二值化图像binary_i中，binary_i(x,y)为0。

4)对二值化图像binary_i进行形态学处理，包括求连通区域、腐蚀和膨胀。设腐蚀结构元素为se1，膨胀结构元素为se2。设待检测目标所在连通区域的面积最大为areamax，面积最小为areamin。若连通区域的面积为areak，k为连通区域的编号，则只保留areamin≤areak≤areamax的连通区域；

5)制定静态和动态打分策略：使用静态和动态特征作为决策项。使用加权打分机制，分别对静态特征和动态特征按照一定的排序策略进行排序，最后加权得出图像上每个连通区域的得分；

6)根据分数结果可以筛选出单目标或者多目标。

步骤5)中，制定静态和动态打分策略的具体过程包括：

5-1)根据目标的静态特征，使用矩形度、宽高比、区域灰度值、连通区域灰度值的变异系数、圆形度作为静态特征，制定静态打分策略。各个静态特征的计算公式为：

其中，sk为第k个连通区域的面积，srect为第k个连通区域的最小外接矩形的面积，widthk是第k个连通区域的宽，heightk是第k个连通区域的高，ii为连通区域内像素点i(x,y)的像素值，wi为该像素点i(x,y)的像素值对应的权重，n为第k个连通区域中像素点的个数，imean为第k个连通区域的平均灰度值，lk为第k个连通区域的周长，α，β，γ，δ和ε为静态特征对应的权重；ranksk表示第k个连通区域静态特征的得分。

5-2)根据目标的动态特征，使用面积和距离作为动态特征，制定动态打分策略。

速度不等式speed：θ1*speedmin≤speedk≤θ2*speedmax

面积不等式area：μ1*areamin≤areak≤μ2*areamax

其中，speedk表示第k个连通区域的运动速度，speedmin为已知的最小运动速度，speedmax为已知的最大运动速度，areak表示第k个连通区域的面积，areamin为已知的最小连通区域面积，areamax已知的最大连通区域面积。θ1，θ2为对应的速度权重，μ1，μ2为对应的面积权重，ζ，为动态特征对应的权重，rankdk表示第k个连通区域动态特征的得分。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。