一种结合时空域的弱小目标能量累积增强方法与流程

本发明涉及一种弱小目标增强方法，特点是结合时空域的弱小目标能量累积增强方法，用于图像处理、计算机视觉和目标检测定位。属于光电捕获跟踪系统中目标探测技术领域。

背景技术：

成像系统获得的图像，由于成像距离远，加上各种背景杂波的干扰，目标的能量强度非常弱，即使经过抑制背景处理后对红外图像中弱小目标的有效分割提取仍然有不小的难度。

目前，许多学者在弱小目标能量增强方面做了大量的研究工作。单帧的目标增强方法在增强目标的同时往往会增强噪声，甚至噪声的增强幅度更为明显，反而会产生大量的虚警，不利于目标的后续检测。联合时空域的多帧目标能量累积增强的方法越来越受到重视，这类方法能够累积弱目标的时域能量，在增强目标的同时还能对噪声有一定的抑制作用，较好地适应当前工程应用需求。

技术实现要素：

本发明技术解决问题：针对现有技术的不足，提供一种结合时空域的弱小目标能量累积增强方法，该方法充分考虑了对目标运动邻域内能量的累积，取得较好的增强效果，显著提高图像的信噪比。

为实现这样的目的，本发明的技术方案：一种结合时空域的弱小目标能量累积增强方法包含以下步骤：

步骤一、各向异性背景预测：采用各向异性微分算法对待处理图像进行背景抑制，有效剔除背景杂波的干扰，本发明采用各向异性微分算法对背景进行抑制，背景抑制包括以下三个步骤：

(1.1)定义边缘停止函数：

(1.1.1)

其中u为灰度图像，为梯度，k为大于0的常数，为边缘停止函数。

(1.2)分别求取某个像素点四个方向的边缘停止函数值，并选择最小的两个作为平滑系数：

(1.2.1)

其中min₁和min₂分别为当前像素点四个方向的边缘停止函数值中最小的两个值。c(f(i,j))为中心像素点(i,j)灰度值对应的边缘停止函数值，c(f(i-step,j))为中心像素点(i,j)往纵轴负向移动步长为step的灰度值对应的边缘停止函数值，c(f(i+step,j))为中心像素点(i,j)往纵轴正向移动步长为step的灰度值对应的边缘停止函数值，c(f(i,j-step))为中心像素点(i,j)往横轴负向移动步长为step的灰度值对应的边缘停止函数值，c(f(i,j+step))为中心像素点(i,j)往横轴正向移动步长为step的灰度值对应的边缘停止函数值。

(1.3)构建滤波模板对图像进行滤波获得去背景图像：

(1.3.1)

其中，c(f(i-step,j))为中心像素点(i,j)往纵轴负向移动步长为step的灰度值对应的边缘停止函数值，c(f(i+step,j))为中心像素点(i,j)往纵轴正向移动步长为step的灰度值对应的边缘停止函数值，c(f(i,j-step))为中心像素点(i,j)往横轴负向移动步长为step的灰度值对应的边缘停止函数值，c(f(i,j+step))为中心像素点(i,j)往横轴正向移动步长为step的灰度值对应的边缘停止函数值，min₁和min₂分别为中心像素点(i,j)四个方向中最小的两个边缘停止函数值。

通过以上三步操作，就可获取去背景后的图像。

步骤二、对步骤一中得到的去背景图像，结合多帧图像邻域内目标运动特性，采用高阶累积增强法对弱小目标进行能量增强；

步骤三、采用步骤二中的高阶累积增强法获取多帧图像邻域内的能量极大值，实现运动目标能量的有效累积，达到增强的目的，得到增强后的系列图像；

步骤四、采用恒虚警假设检测验法对对步骤三中获取的增强后的系列图像进行分割提取，突显出目标，得到系列图像的目标点，恒虚警假设检测验法具体步骤如下：

(41)实际场景中序列图像中噪声视为高斯噪声，对于去背景图像采用如下假设：

式中，x为候选目标的横坐标值，y为候选目标纵坐标值，k为时刻数，F₀(x,y,k)表示去背景图像，N(x,y,k)表示图像中高斯噪声部分，F_T(x,y,k)表示图像中目标部分，H₀代表非目标所在像素，H₁代表目标所经过的像素；

(42)定义去背景后图像当前帧前后累积帧的均值的大小，具体表达式如下：

式中，x为候选目标的横坐标值，y为候选目标纵坐标值，M为前后累积帧数，为去背景后的当前帧图像，为去背景后的前一帧图像，为去背景后的后一帧图像，E{ }表示求取前后累积帧的均值，C_Mf去背景后图像当前帧前后累积帧的均值的大小，C_MT为目标前后累积帧的均值的大小，C_MN为噪声前后累积帧的均值的大小；

(43)采用(42)中定义的去背景后图像当前帧前后累积帧的均值的大小作为假设检测统计量，具体表达式如下：

式中，C_Mf表示去背景后图像当前帧前后累积帧的均值的大小，H₀为非目标像素，H₁为目标像素；

(44)定义假设检验判定法，具体公式如下：

式中，和分别为M帧图像的灰度均值和方差，N为视频总帧数，k为时刻数，由于有其中P{χ²(1)＞λ}＝P_fa，P_fa为设定的恒虚警概率，λ为阈值大小，通过查询χ²分布表获得。

步骤五、输出系列图像的目标点。

本发明与现有技术相比的有益效果在于：

(1)本发明采用各向异性的微分原理对背景进行抑制，与传统的背景抑制方法相比，本发明能有效剔除大部分背景杂波的干扰，突显出目标。

(2)本发明根据目标的运动特性在目标的运动邻域内对弱目标的能量进行累积，实现了比单帧增强方法更好地增强效果，有效抑制了图中的高斯噪声，显著提高了图像的信噪比。

附图说明

图1为本发明方法实现流程图；

图2为本发明对实际场景序列1的第1帧图像进行各项异性去背景后图像；

图3为本发明对实际场景序列1的第10帧图像采用恒虚警阈值法分割结果图及相应三维图,其中，图3(a)为对实际场景序列1的第10帧图像进行恒虚警阈值法分割结果图，图3(b)为对实际场景序列1的第10帧图像进行恒虚警阈值法分割结果图的相应三维图；

图4为本发明对实际场景序列1的第50帧图像采用恒虚警阈值法分割结果图及相应三维图,其中，图4(a)为对实际场景序列1的第50帧图像进行恒虚警阈值法分割结果图，图4(b)为对实际场景序列1的第50帧图像进行恒虚警阈值法分割结果图的相应三维图；

图5为本发明对实际场景序列2的第1帧图像进行各项异性去背景后图像；

图6为本发明对实际场景序列2的第10帧图像采用恒虚警阈值法分割结果图及相应三维图,其中，图6(a)为对实际场景序列2的第10帧图像进行恒虚警阈值法分割结果图，图6(b)为对实际场景序列2的第10帧图像进行恒虚警阈值法分割结果图的相应三维图；

图7为本发明对实际场景序列2的第50帧图像采用恒虚警阈值法分割结果图及相应三维图,其中，图7(a)为对实际场景序列2的第50帧图像进行恒虚警阈值法分割结果图，图7(b)为对实际场景序列2的第50帧图像进行恒虚警阈值法分割结果图的相应三维图。

具体实施方式

下面结合附图对本发明的实施例作详细说明。本实施例在以本发明技术方案为前提下进行实施，给出了详细实施方式和具体操作过程，但本发明的保护范围不限于以下的实施例。

由于图像序列中弱小目标大多存在一定运动，为了更好地累积其在时域上的能量，需要将目标的运动考虑其中。显然单帧增强方法没有将目标的运动特性考虑其中，势必影响运动弱目标的能量增强效果。而目标在相邻帧的运动往往表现为横向运动、竖向运动和对角方向的运动。无论目标的运动方向如何，在高帧频的成像系统中，它总是存在于相邻帧的连续邻域内，于是可根据目标的运动特性在目标的运动邻域内对弱目标的能量进行累积。

本发明基于弱小目标能量增强的实现，输入图像为实际场景空天背景下的弱小目标图像。

如图1所示，本发明一种结合时空域的弱小目标能量累积增强方法，包括如下步骤：

步骤一、各向异性背景预测：采用各向异性微分算法对待处理图像进行背景抑制，有效剔除背景杂波的干扰，本发明采用各向异性微分算法对背景进行抑制，背景抑制包括以下三个步骤：

(1.1)定义边缘停止函数：

(1.1.1)

其中u为灰度图像，为梯度，k为大于0的常数，为边缘停止函数。

(1.2)分别求取某个像素点四个方向的边缘停止函数值，并选择最小的两个作为平滑系数：

(1.2.1)

其中min₁和min₂分别为当前像素点四个方向的边缘停止函数值中最小的两个值。c(f(i,j))为中心像素点(i,j)灰度值对应的边缘停止函数值，c(f(i-step,j))为中心像素点(i,j)往纵轴负向移动步长为step的灰度值对应的边缘停止函数值，c(f(i+step,j))为中心像素点(i,j)往纵轴正向移动步长为step的灰度值对应的边缘停止函数值，c(f(i,j-step))为中心像素点(i,j)往横轴负向移动步长为step的灰度值对应的边缘停止函数值，c(f(i,j+step))为中心像素点(i,j)往横轴正向移动步长为step的灰度值对应的边缘停止函数值。

(1.3)构建滤波模板对图像进行滤波获得去背景图像：

(1.3.1)

其中，c(f(i-step,j))为中心像素点(i,j)往纵轴负向移动步长为step的灰度值对应的边缘停止函数值，c(f(i+step,j))为中心像素点(i,j)往纵轴正向移动步长为step的灰度值对应的边缘停止函数值，c(f(i,j-step))为中心像素点(i,j)往横轴负向移动步长为step的灰度值对应的边缘停止函数值，c(f(i,j+step))为中心像素点(i,j)往横轴正向移动步长为step的灰度值对应的边缘停止函数值，min₁和min₂分别为中心像素点(i,j)四个方向中最小的两个边缘停止函数值。

通过以上三步操作，就可获取去背景后的图像。

步骤二、对步骤一中得到的去背景图像，结合多帧图像邻域内目标运动特性，采用高阶累积增强法对弱小目标进行能量增强，多帧邻域内能量增强包括以下二个步骤：

(2.1)定义单帧目标的运动能量累积：

式中，式中，x为候选目标的横坐标值，y为候选目标纵坐标值，m为候选目标在邻域内的坐标序号，r为邻域范围大小，k为时刻数，p为候选目标的运动模式，t_p为目标邻域运动模板，F₀为去背景时域序列图像，f_p(x,y)代表横纵坐标处于(x,y)处的候选目标在某种运动模式下的邻域能量值，P₀(x,y)代表求取所有运动模式下的邻域能量的最大值。

(2.2)定义多帧(一般取M帧)高阶累积量。具体公式如下：

式中，M为前后累积帧数，为所有运动模式下当前帧邻域能量的最大值，为所有运动模式下前一帧邻域能量的最大值，为所有运动模式下后一帧邻域能量的最大值，E{}表示求取前后累积帧的均值，C表示多帧高阶累积量。

步骤三、采用步骤二中的高阶累积增强法获取多帧图像邻域内的能量极大值，实现运动目标能量的有效累积，达到增强的目的，得到增强后的系列图像。具体步骤如下：

(31)采用(2.2)中定义的多帧高阶累积量，求取前后累积帧的均值作为当前帧的运动能量累积值，依次循环遍历，直到处理往所有系列图像为止，以此获取增强后的系列图像；

步骤四、采用恒虚警假设检测验法对对步骤三中获取的增强后的系列图像进行分割提取，突显出目标，得到系列图像的目标点，恒虚警假设检测验法具体步骤如下：

(41)实际场景中序列图像中噪声视为高斯噪声，对于去背景图像采用如下假设：

式中，x为候选目标的横坐标值，y为候选目标纵坐标值，k为时刻数，F₀(x,y,k)表示去背景图像，N(x,y,k)表示图像中高斯噪声部分，F_T(x,y,k)表示图像中目标部分，H₀代表非目标所在像素，H₁代表目标所经过的像素；

(42)定义去背景后图像当前帧前后累积帧的均值的大小，具体表达式如下：

式中，x为候选目标的横坐标值，y为候选目标纵坐标值，M为前后累积帧数，为去背景后的当前帧图像，为去背景后的前一帧图像，为去背景后的后一帧图像，E{}表示求取前后累积帧的均值，C_Mf去背景后图像当前帧前后累积帧的均值的大小，C_MT为目标前后累积帧的均值的大小，C_MN为噪声前后累积帧的均值的大小；

(43)采用(42)中定义的去背景后图像当前帧前后累积帧的均值的大小作为假设检测统计量，具体表达式如下：

式中，C_Mf表示去背景后图像当前帧前后累积帧的均值的大小，H₀为非目标像素，H₁为目标像素；

(44)定义假设检验判定法，具体公式如下：

式中，和分别为M帧图像的灰度均值和方差，N为视频总帧数，k为时刻数，C_Mf表示去背景后图像当前帧前后累积帧的均值的大小，由于有其中P{χ²(1)＞λ}＝P_fa，P_fa为设定的恒虚警概率，λ为阈值大小，通过查询χ²分布表获得。

步骤五、输出系列图像的目标点。

为了定量评估本发明中背景抑制的有效性，采用均方误差EMS、结构相似性SST和局部信噪比增益GSNR三个指标来评价图像的去背景效果，分别截取实际场景中2个序列图像中的第1帧图像，对它们进行计算：序列1中第1帧图像结果为EMS＝8.18，SST＝0.969，GSNR＝8.35；序列2中第1帧图像结果为EMS＝7.43，SST＝0.978，GSNR＝9.25，去背景后的图像如图2、5所示，E_ms值越小，误差越小，说明背景预测效果越好；S_st值越趋近于1，说明预测背景与真实背景越逼近；G_SNR值越大，说明背景预测所得差分图像的目标增强效果越好。通过对比分析E_ms、S_st和G_SNR三个性能指标可以看出，本发明的背景抑制方法的预测效果较好。

为了验证本发明中采用恒虚警阈值法分割结果图分割的有效性，分别截取实际场景中2个序列图像中的第10、50帧图像，分割结果及对应的三维图如图3、4、6、7所示，本发明在背景预制基础上，采用恒虚警阈值分割法均能有效分割出目标，同时有效的抑制了背景杂波的干扰。

为了定量评估本发明增强效果的有效性，采用目标平均灰度值和图像平均信噪比增益2个指标来对比分析处理前后的增强效果，结合时空域的弱小目标能量累积增强处理后，目标的平均灰度和图像平均信噪比均得到有效增强，且噪声得到有效抑制，如下表所示：

表1对比分析增强前后的效果

本发明未详细阐述部分属于本领域技术人员的公知技术。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例变化,变型都将落在本发明权利要求书的范围内。