一种缓动背景下融合时空域信息的红外小目标检测方法

1.本发明属于红外弱小目标检测处理领域，特别是涉及一种缓动背景下融合时空域信息的红外小目标检测方法。


背景技术：

2.随着近年来民用无人机技术的发展，违规使用无人机进行非法拍摄，扰乱公共治安的现象愈发频繁，红外成像系统由于具有全天候工作，隐蔽性好的优点，在安防、远距离目标检测等任务中得到了广泛的应用，如何利用红外成像系统对无人机位置进行侦测，从而做到对相关不法行为有效监管，成为当前急需解决的问题。红外小目标检测是红外成像系统对无人机搜索发现过程中涉及的一个核心信息处理环节，其主要包括背景估计和阈值分割两个部分。目前典型的时域背景估计方法包括vibe，gmm等，该类型的算法在背景不动的条件下具有较好的背景估计性能。但是，在实际无人机目标的红外探测应用中，场景中通常包含缓动云层以及晃动树林等背景，此时仅通过时序信息无法获得准确的背景估计，导致背景抑制残差中存在大量缓动背景成分，阈值分割后检测结果中存在大量虚警，难以满足红外小目标的检测性能。


技术实现要素：

3.本发明的目的是提供一种缓动背景下融合时空域信息的红外小目标检测方法，以解决上述现有技术存在的问题。
4.为实现上述目的，本发明提供了一种缓动背景下融合时空域信息的红外小目标检测方法，包括：
5.获取输入图像，基于所述输入图像获取时空域加权融合背景估计图像；
6.基于所述时空域加权融合背景估计图像与所述输入图像获取残差图像；
7.计算所述残差图像中像元处的低阈值；
8.基于所述残差图像与所述低阈值，采用低阈值分割法构建时域背景更新图像；
9.计算所述残差图像中像元处的高阈值，将所述残差图像中大于所述高阈值的像元作为红外检测目标。
10.可选地，基于所述输入图像获取时空域加权融合背景估计图像的过程包括：
11.基于所述输入图像获取空域背景估计图像与时域背景估计图像，基于所述空域背景估计图像与所述时域背景估计图像进行计算，获取所述时空域加权融合背景估计图像。
12.可选地，基于所述输入图像获取空域背景估计图像与时域背景估计图像的过程包括：
13.基于最大中值滤波算法、局部对比度方法、低秩分解方法对所述输入图像进行处理，获得所述空域背景估计图像；
14.基于迭代加权背景估计算法、混合高斯背景估计算法获得所述时域背景估计图像。
15.可选地，基于所述空域背景估计图像与所述时域背景估计图像进行计算的方法为：
16.mi(x,y)＝bi(x,y)+ηi(x,y)
×
[pi(x,y)-bi(x,y)]
[0017][0018]
其中(x,y)表示像元位置，i为帧序号，ηi(x,y)为像元(x,y)处的背景估计调节因子，mi(x,y)为加权融合背景估计图像中(x,y)处的像元值，bi(x,y)为空域背景估计图像中(x,y)处的像元值，pi(x,y)为时域背景估计图像中(x,y)处的像元值；σ2为红外图像时域噪声方差，所述红外图像时域噪声方差为经过实测的固定值；si为时域起伏图像，si(x,y)为[i-n+1,i]的n帧范围内像元(x,y)处的n个像元值的均方差。
[0019]
可选地，基于所述时空域加权融合背景估计图像与所述输入图像获取残差图像的过程包括：
[0020]di
(x,y)＝ii(x,y)-m
i-1
(x,y)
[0021]
其中，(x,y)表示像元位置，i为帧序号，di(x，y)表示第i帧的残差图像，ii(x，y) 表示第i帧的输入图像，m
i-1
(x，y)表示第i-1帧的时空域加权融合背景估计图像。
[0022]
可选地，所述低阈值的计算方法为：
[0023][0024]
其中，k
low
为低阈值系数。
[0025]
可选地，采用低阈值分割法构建时域背景更新图像的方法包括：
[0026][0027]
r1(x,y)＝i1(x,y)
ꢀꢀꢀꢀꢀꢀ
i＝1
[0028]
其中，ri(x，y)表示时域背景更新图像在(x，y)处的像元值。
[0029]
可选地，所述高阈值的计算方法为：
[0030][0031]
其中，为高阈值，k
high
为高阈值系数，hi(x,y)为高阈值调节量， h
i-1
(x,y)表示上一帧的高阈值调节量。
[0032]
可选地，上一帧的高阈值调节量h
i-1
(x,y)的计算方法为：
[0033][0034]
式中，k
plus
为高阈值增益因子，k
dec
为高阈值衰减因子， relu(
·
)代表激活函数，li为邻域时域起伏图像，li(x,y)为像元(x,y)的 (2n+1)
×
(2n+1)邻域范围内时域起伏图像si(x,y)中大于阈值t的像元数量。
[0035]
可选地，时域起伏图像中大于阈值的像元数量li(x,y)的计算方法为：
[0036][0037]
式中n为设定值，t为固定阈值。
[0038]
本发明的技术效果为：
[0039]
(1)本发明针对缓动背景估计问题，提出了一种时空域加权融合的背景估计策略，能够适应时序缓动背景和时序稳定背景的背景估计，在背景估计过程中动态调节时域及空域信息的占比，具有更精确的背景估计效果。
[0040]
(2)本发明针对背景估计后的残差图像设计了一种双阈值分割策略，利用低阈值分割策略提取稳定的时域背景更新图像用于时域背景估计，利用高阈值分割策略对提高缓动背景区域残差图像的分割阈值，降低了缓动背景虚警；
[0041]
(3)本发明基于时域起伏图像给出了低阈值构建方法，结合低阈值分割结果形成了时域背景更新图像及时域背景估计图像构建方法。针对时域起伏图像中小于低阈值的像元进行更新和时域估计，体现了低阈值在时序稳定背景估计上的作用；
[0042]
(4)本发明基于时域起伏图像和高阈值调节量给出了高阈值构建方法，在高阈值构建的过程中对邻域像元的时序起伏图像进行统计，获取了高阈值调节量，自适应提高缓动背景区域的分割阈值，体现了高阈值在缓动背景抑制上的能力。
附图说明
[0043]
构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0044]
图1为本发明实施例中的红外图像红外小目标实时检测算法流程图；
[0045]
图2为本发明实施例中的时空域加权融合背景估计过程关键变量图，其中 (a1)、(a2)、(a3)、(a4)分别为第20帧、40帧、60帧、80帧的输入图像，(b1)、(b2)、(b3)、(b4)分别为第20帧、40帧、60帧、80帧输入图像对应的时域背景估计图像，(c1)、(c2)、(c3)、(c4)分别为第20帧、40帧、60帧、80帧输入图像对应的空域背景估计图像，(d1)、(d2)、 (d3)、(d4)分别为第20帧、40帧、60帧、80帧输入图像对应的时域起伏图像；
[0046]
图3为本发明实施例中的时空域加权融合背景估计的结果图，其中(a1)、 (a2)、(a3)、(a4)分别为第20帧、40帧、60帧、80帧的背景估计调节因子，(b1)、(b2)、(b3)、(b4)分别为第20帧、40帧、60帧、80帧背景估计调节因子对应的时空域加权融合背景估计图像；
[0047]
图4为本发明实施例在低阈值分割过程中的关键变量图，其中(a1)、(a2)、 (a3)、(a4)分别为第20帧、40帧、60帧、80帧时空域背景估计后的残差图像，(b1)、(b2)、(b3)、(b4)分别为第20帧、40帧、60帧、80帧的低阈值图，(c1)、(c2)、(c3)、(c4)分别为第20帧、40帧、60帧、80帧的时域背景更新图像；
[0048]
图5为本发明实施例在高阈值分割过程中的关键变量图，其中(a1)、(a2)、 (a3)、(a4)分别为第20帧、40帧、60帧、80帧的邻域时域起伏图像，(b1)、 (b2)、(b3)、(b4)分别为第20帧、40帧、60帧、80帧的高阈值调节量， (c1)、(c2)、(c3)、(c4)分别为第20帧、40帧、60帧、80帧的高阈值图；
[0049]
图6为本发明实施例中的目标检测结果图，其中(a1)、(a2)、(a3)、 (a4)分别为第20帧、40帧、60帧、80帧的输入图像，(b1)、(b2)、(b3)、 (b4)分别为第20帧、40帧、60帧、80帧的检测结果，(c1)、(c2)、(c3)、 (c4)分别为第20帧、40帧、60帧、80帧检测结果对应的目标检测结果区域局部放大图。
具体实施方式
[0050]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
[0051]
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0052]
实施例一
[0053]
如图1-6所示，本实施例中提供一种缓动背景下融合时空域信息的红外小目标检测方法。
[0054]
以下结合说明书附图对本实施例的技术方案进行详细的说明：
[0055]
图像采集采用短波红外凝视相机，固定指向方式，采集得到包含无人机目标以及晃动树林缓动背景的红外序列图像，图像尺寸为800
×
600，位深度为8bit，总帧数为80帧，树林的树梢区域在相邻帧的位移量在1～3个像元，运动方向不明显，属于典型的缓动背景。本发明的算法流程图如图1所示，本发明所用空域背景估计算法为最大中值滤波算法，时域背景估计算法为迭代加权背景估计算法，针对第i帧输入图像ii，算法处理步骤如下：
[0056]
步骤1、时空域加权融合背景估计。输入图像ii的加权融合背景估计图像mi通过第i帧的空域背景估计图像bi以及时域背景估计图像pi获得，
[0057]
空域背景估计图像bi通过最大中值滤波算法、局部对比度方法、或低秩分解方法对图像ii处理获得。时域背景估计图像pi通过迭代加权背景估计算法、混合高斯背景估计算法获得。
[0058]
时空域加权融合背景估计图像mi的计算公式为：
[0059]
mi(x,y)＝bi(x,y)+ηi(x,y)
×
[pi(x,y)-bi(x,y)]
[0060][0061]
其中(x,y)表示像元位置，i为帧序号，ηi(x,y)为像元(x,y)处的背景估计调节因子，mi(x,y)为加权融合背景估计图像中(x,y)处的像元值，bi(x,y)为空域背景估计图像中(x,y)处的像元值，pi(x,y)为时域背景估计图像中(x,y)处的像元值；σ2为红外图像时域噪声方差，通过实测得到，本实施例中数值为0.9；si为时域起伏图像，si(x,y)为[i-n+1,i]的n帧范围内像元(x,y)处的n个像元值的均方差。
[0062]
实际应用中，n值要满足一定的数量，才满足背景估计的条件，一般情况下设置n≥20。针对场景中时域稳定背景所在像元，其像元值的时域变化主要由红外图像时域噪声决定，与σ2相等，此时ηi(x,y)等于1，因此时域稳定背景下mi(x,y)等于pi(x,y)，即时域稳定背景所在像元的背景估计值可用时域背景估计值代替；针对场景中缓动背景对应的
像元，其像元值的时域起伏主要由场景中缓动背景决定，在缓动背景强度较强时可能出现的现象，此时ηi(x,y)≈0，因此缓动背景强度较强时下mi(x,y)约等于bi(x,y)，即较强缓动背景所在像元的背景估计值可用空域背景估计值代替。一般情况下，像元(x,y)处的背景估计调节因子0＜ηi(x,y)＜1，mi(x,y)由空域背景估计值bi(x,y)和时域背景估计值pi(x,y)加权融合得到，因此称该背景估计方法称为时空域加权融合背景估计方法。如图2和图3所示，本方法在背景估计过程中动态调节时域及空域信息的占比，具有更精确的背景估计效果。
[0063]
步骤1中的空域背景估计图像bi通过最大中值滤波算法对图像ii处理获得，时域背景估计图像pi通过迭代加权背景估计算法获得，计算公式为：
[0064][0065][0066]
其中n为最大中值滤波模板的半边长，数值为5，α为更新权重因子，数值为0.1，ri为时域背景更新图由步骤2获得。
[0067]
在实施过程中，若当前图像为序列首帧，则将输入图像ii作为本算法空域背景估计图像bi，时域背景估计图像pi，背景更新图ri，以及时空域加权融合背景估计图像mi，并跳过后续步骤，直接处理第二帧图像；
[0068]
步骤2、低阈值及时域背景更新图像计算。分割的对象为残差图像di，由第 i帧的输入图像ii与上一帧时空域加权融合背景估计图像m
i-1
相减获得：
[0069]di
(x,y)＝ii(x,y)-m
i-1
(x,y)
[0070]
像元(x,y)处的低阈值通过下式进行计算：
[0071][0072]
其中，k
low
为低阈值系数，本实施例中数值为3。
[0073]
针对第i帧的残差图像di，通过低阈值分割操作构建时域背景更新图像ri，该图像中(x,y)处的像元值为：
[0074][0075]
r1(x,y)＝i1(x,y)
ꢀꢀꢀꢀꢀꢀꢀ
i＝1
[0076]
时域背景估计图像pi中(x,y)处的像元值pi(x,y)为：
[0077]
pi(x,y)＝(1-α)
×
p
i-1
(x,y)+α
×ri
(x,y)
[0078]
其中α为更新权重因子，本实施例中数值为0.1，如图4所示，本方法针对时域起伏图像中小于低阈值的像元进行更新和时域估计，体现了低阈值在时序稳定背景估计上的作用。
[0079]
步骤3、高阈值计算及目标分割。分割的对象为第i帧的残差图像di。残差图像di中
大于高阈值的像元认为是疑似目标。像元(x,y)处的高阈值的计算方式如下：
[0080][0081]
其中，k
high
为高阈值系数，本实施例中数值为30，hi(x,y)为高阈值调节量， h
i-1
(x,y)代表上一帧的高阈值调节量，计算方式如下：
[0082][0083]
式中，k
plus
为高阈值增益因子，k
dec
为高阈值衰减因子，本实施例中数值为3和1，relu(
·
)代表激活函数，li为邻域时域起伏图像，li(x,y) 为像元(x,y)的(2n+1)
×
(2n+1)邻域范围内时域起伏图像si(x,y)中大于阈值t的像元数量，计算方式如下：
[0084][0085]
式中n和t为人为设定值，本实施例中数值为n为5，t 为2.7。
[0086]
可以看出，像元(x,y)处的高阈值直接由时域起伏值s
i-1
(x,y)以及高阈值调节量h
i-1
(x,y)决定，高阈值调节量与l
i-1
(x,y)呈单调关系。如图5，图6所示，在实际应用中，当缓动背景强度较强时，该像元邻域范围内存在一定数量的高时域起伏像元，此时该像元处的高阈值调节量h
i-1
(x,y)随之增加。这种策略自适应提高了缓动背景像元的分割阈值进而抑制残差图像中的缓动背景成分，进而抑制虚警，提高小目标检测性能。
[0087]
以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。