红外图像的小目标检测方法与系统与流程

本发明涉及图像处理领域，特别涉及一种红外图像的小目标检测方法与系统。

背景技术：

红外成像系统与可见光系统相比，其环境适应性优于可见光，尤其是在夜间和恶劣气候下更是如此；与雷达系统相比，红外的波长较短，可得到具有很高分辨率的目标图像。因此，利用红外探测器捕获和跟踪目标自身辐射的能量来实现精确的制导技术在现代国防科技中发挥着越来越重要的作用。而成功的红外成像制导系统必须配有高效、准确的红外小目标检测装置，这对于及时发现并追踪可疑的目标具有重大的意义。

红外小目标检测是指对由于成像系统距离目标的相对位置较远，成像面积仅为几个像素到十几个像素，在视场中表现为孤点或者斑点，并不能表现其自身形状、幅度分布等特征的小目标的检测。由于小目标自身的特点，再加上背景的复杂性，它的检测与跟踪相对于面目标和大目标要困难的多。

目前基于红外图像的小目标检测方法主要有两个重要的发展方向：先检测后跟踪(detectbeforetrack，简称dbt)以及先跟踪后检测(trackbeforedetect，简称tbd)。dbt是指在跟踪目标前先通过目标像素的强度检测出目标，进而通过一定的判定准则来修正检测结果，最终得到目标的位置及运动轨迹，实现对目标物体的实时检测与跟踪。其一般流程是：首先采用背景抑制技术消除原始图像中的背景信号及噪声杂波，得到潜在目标点；接着根据图像中目标的特性设定一个判决准则，并根据此准则对潜在目标点进行判断，剔除虚警点；最后将最终确认的目标的中心坐标输出，从而实现跟踪的效果。与tbd相比，dbt操作简单，易于实现，适用于信噪比较高的图像检测。

但是这几种检测方法，当空中存在云层干扰或者存在地物背景干扰时，无法剔除背景杂波并将目标凸显出来，进而干扰了真实目标的检测。

技术实现要素：

本发明的实施方式旨在至少解决现有技术中存在的技术问题之一。为此，本发明的实施方式需要提供一种红外图像的小目标检测方法与系统。

本发明实施方式的一种红外图像的小目标检测方法，其特征在于，包括：

步骤1，利用中值滤波技术对原始红外图像进行处理；

步骤2，利用背景差分技术对原始红外图像和中值滤波后的图像进行差分背景抑制处理；

步骤3，对差分背景抑制处理后的图像使用预设的阈值进行梯度锐化处理；

步骤4，提取梯度锐化后的图像中的红外小目标。

一种实施方式中，步骤1包括：

步骤11，将选取好的预设模板的中心与原始红外图像中被选中的像素点重合，并在该图像中依次滑过该模板；

步骤12，读取图像中模板滑过的对应像素点的灰度值；

步骤13，对读取的灰度值进行排序；

步骤14，依据中值滤波原理从排序结果选取最中间的灰度值；

步骤15，将取出的灰度值赋给图像中对应模板中心位置的像素，遍历整个图像完成中值滤波过程。

一种实施方式中，步骤2包括：

步骤21，获取原始红外图像和中值滤波后的图像中所有对应像素点的坐标和每一个像素点的当前帧图像；

步骤22，对当前帧图像进行平滑滤波，形成背景帧图像；

步骤23，根据以下公式对当前帧图像与背景帧图像进行差分背景抑制处理，获得残差图像：

dk(x,y)＝|fk(x,y)-bk(x,y)|

其中，(x,y)为像素点坐标，fk(x,y)为当前帧图像，bk(x,y)为当前帧的背景图像，dk(x,y)是当前帧与背景帧的差分结果；

步骤24，对残差图像进行二次滤波并输出二次滤波后的图像。

一种实施方式中，步骤3包括：

步骤31，按照以下公式进行梯度值的计算：

其中，f(x,y)表示图像函数，表示在像素点(x,y)处的梯度幅值；

步骤32，根据计算的梯度值选取预设的阈值对差分背景抑制处理后的图像进行锐化。

一种实施方式中，步骤3包括：

步骤31，按照以下公式进行梯度值的计算：

其中，f(x,y)表示图像函数，表示在像素点(x,y)处的梯度幅值；

步骤32，根据计算的梯度值选取预设的阈值对差分背景抑制处理后的图像进行锐化。

本实施方式还提出一种红外图像的小目标检测系统，其特征在于，包括：

中值滤波模块，用于利用中值滤波技术对原始红外图像进行处理；

背景差分模块，用于利用背景差分技术对原始红外图像和中值滤波后的图像进行差分背景抑制处理；

梯度锐化模块，用于对差分背景抑制处理后的图像使用预设的阈值进行梯度锐化处理；

小目标提取模块，用于提取梯度锐化后的图像中的红外小目标。

一种实施方式中，中值滤波模块包括：

重合单元，用于将选取好的预设模板的中心与原始红外图像中被选中的像素点重合，并在该图像中依次滑过该模板；

读取单元，用于读取图像中模板滑过的对应像素点的灰度值；

排序单元，用于对读取的灰度值进行排序；

中值单元，用于依据中值滤波原理从排序结果选取最中间的灰度值；

遍历单元，用于将取出的灰度值赋给图像中对应模板中心位置的像素，遍历整个图像完成中值滤波过程。

一种实施方式中，背景差分模块包括：

当前帧单元，用于获取原始红外图像和中值滤波后的图像中所有对应像素点的坐标和每一个像素点的当前帧图像；

背景帧单元，用于对当前帧图像进行平滑滤波，形成背景帧图像；

抑制单元，用于根据以下公式对当前帧图像与背景帧图像进行差分背景抑制处理，获得残差图像：

dk(x,y)＝|fk(x,y)-bk(x,y)|

其中，(x,y)为像素点坐标，fk(x,y)为当前帧图像，bk(x,y)为当前帧的背景图像，dk(x,y)是当前帧与背景帧的差分结果；

二次滤波单元，用于对残差图像进行二次滤波并输出二次滤波后的图像。

一种实施方式中，梯度锐化模块包括：

计算单元，用于按照以下公式进行梯度值的计算：

其中，f(x,y)表示图像函数，表示在像素点(x,y)处的梯度幅值；

锐化单元，用于根据计算的梯度值选取预设的阈值对差分背景抑制处理后的图像进行锐化。

一种实施方式中，梯度锐化模块包括：

计算单元，用于按照以下公式进行梯度值的计算：

其中，f(x,y)表示图像函数，表示在像素点(x,y)处的梯度幅值；

锐化单元，用于根据计算的梯度值选取预设的阈值对差分背景抑制处理后的图像进行锐化。

本发明实施方式的红外图像的小目标检测方法与系统，首先对原始红外图像进行中值滤波从而滤除部分噪声杂波，实现图像的平滑得到背景分量，然后将中值滤波后的图像与原始红外图像做差分背景抑制处理，最后采用梯度法锐化对残差图像进行阈值限制，从而最终检测出目标。本发明能够有效滤除红外图像中的背景杂波，凸显出目标，使得信噪比得到了明显增强，并且运算简单，易于实现。

本发明的附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明实施方式的红外图像的小目标检测方法的流程示意图；

图2是本发明实施方式的中值滤波的模板示意图；

图3是本发明实施方式中目标在云层外部时的图像梯度锐化处理中不同阈值的示意图；

图4是本发明实施方式中目标部分被云层遮挡时的图像梯度锐化处理中不同阈值的示意图；

图5是本发明实施方式的红外图像的小目标检测系统的组成示意图。

具体实施方式

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅可用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。

实施例1

请参阅图1，本发明实施方式的红外图像的小目标检测方法，包括：

步骤1，利用中值滤波技术对原始红外图像进行处理。

步骤2，利用背景差分技术对原始红外图像和中值滤波后的图像进行差分背景抑制处理。

步骤3，对差分背景抑制处理后的图像使用预设的阈值进行梯度锐化处理。

步骤4，提取梯度锐化后的图像中的红外小目标。

本实施例中，采用thermoprotmtp8红外热像仪获取红外图像，采集的红外图像大小均为288×348像素。

步骤1中，包括：

步骤11，将选取好的预设模板的中心与原始红外图像中被选中的像素点重合，并在该图像中依次滑过该模板。

步骤12，读取图像中模板滑过的对应像素点的灰度值。

步骤13，对读取的灰度值进行排序。

步骤14，依据中值滤波原理从排序结果选取最中间的灰度值。

步骤15，将取出的灰度值赋给图像中对应模板中心位置的像素，遍历整个图像完成中值滤波过程。

中值滤波技术是一种基于统计排序理论的非线性平滑滤波技术，它将每一像素点的灰度值设置为该点某领域内所有像素点的灰度值的中值。因为中值滤波器对异常值不敏感，所以中值滤波可以在不削弱图像对比度的情况下减小异常值对其的影响，并能保持红外图像部分边缘信息的完整性，保存信号的部分细节信息。

二维中值滤波是以领域中n个像素点的灰度中值来置换中心点像素灰度值的，设滤波邻域的大小为a＝n×n(n一般是奇数)，则有：

xij＝medianxij(m,n)≠i,j

其中，(i,j)为像素点坐标，xi,j(m,n)表示像素点(i,j)的中值滤波窗口内的像素点，median表示取中值运算。

中值滤波的流程是：设置一个滤波的模板，对输入的需要处理的图像信号进行采样，任意选取其中一个像素点当作设定的模板的中心，然后围绕该中心再设置一个确定的领域，在此领域内将各个像素点按照灰度值大小排序，选取最中间的灰度值作为该像素点的输出灰度值，遍历整个图像即可完成滤波过程。

二维中值滤波常用的模板有：十字形，菱形，方形和圆形等。

如图2所示，经过多次实验，本发明最终采用圆形模板。

由于中值滤波技术是一种典型的非线性滤波技术，所以在实际应用中，其滤波器模板与待处理图像的运算不再是模板卷积，而是模板排序。模板排序是指用模板来提取待处理图像中与模板尺寸相同的图像子集，并将其中的像素根据其幅值排序的运算过程。

步骤2中，包括：

步骤21，获取原始红外图像和中值滤波后的图像中所有对应像素点的坐标和每一个像素点的当前帧图像。

步骤22，对当前帧图像进行平滑滤波，形成背景帧图像。

步骤23，根据以下公式对当前帧图像与背景帧图像进行差分背景抑制处理，获得残差图像：

dk(x,y)＝|fk(x,y)-bk(x,y)|

其中，(x,y)为像素点坐标，fk(x,y)为当前帧图像，bk(x,y)为当前帧的背景图像，dk(x,y)是当前帧与背景帧的差分结果。

步骤24，对残差图像dk(x,y)再次进行中值滤波并输出滤波后的图像。

红外图像中的背景主要是大面积缓慢变化的低频部分，细节成分较少，背景中的像素点灰度值与其周围像素点的灰度值相关性很强，而弱小目标点上的灰度值与其周围像素点的灰度值相关性很弱，且目标点具有比背景较强的热辐射特性，其灰度值往往在局部区域中表现为极大值。

鉴于上述特性，获取原始红外图像和中值滤波后的图像中所有对应像素点的坐标和每一个像素点的当前帧图像后，对当前帧图像进行平滑滤波，形成背景帧图像，再根据上文中步骤23的公式将当前帧图像与背景帧图像进行差分背景抑制处理，使得背景像素点相减后残差较小，而目标像素点相减后残差较大，从而有效抑制背景信号，进一步提高图像的信杂比。同时，图像中的目标信号也受到了不同程度的限制，故需要对差分背景抑制处理后得到的残差图像进行二次中值滤波，以增强目标信号，从而检测出小目标。

步骤3中，图像锐化的目的是增强图像边缘，使目标物体的边缘鲜明，以便于提取目标物体。实质上，图像边缘的模糊是平均运算或是积分运算的结果，而其逆运算如微分运算(求解信号的变化率)则可以加强高频分量使得模糊的目标信号变清晰。

本实施例采用梯度法对图像进行锐化处理。

对于图像函数f(x,y)，它在(x,y)处的梯度是一个矢量，定位为：

梯度的幅值可以由下式计算：

由上式可知，梯度的数值就是在函数f(x,y)在其最大变化率方向上的单位距离上所增加的量。本实施例对于梯度值的计算包括两种情况：

一种情况中，对于离散图像处理而言，常用到梯度的大小，并用差分来近似一阶微分和从而步骤3包括：

步骤31，按照以下公式进行梯度值的计算：

其中，f(x,y)表示图像函数，表示在像素点(x,y)处的梯度幅值；

步骤32，根据计算的梯度值选取预设的阈值对差分背景抑制处理后的图像进行锐化。

另一种情况中，为了提高计算速度，简化计算方法，采用水平垂直差分法来计算，从而步骤3包括：

步骤31，按照以下公式进行梯度值的计算：

其中，f(x,y)表示图像函数，表示在像素点(x,y)处的梯度幅值；

步骤32，根据计算的梯度值选取预设的阈值对差分背景抑制处理后的图像进行锐化。

本实施例中，梯度锐化部分是通过设置两个灰度级来完成图像显示的，即用二值图像进行显示，这种方法可以很方便的对图像的边缘位置信息进行分析，其显示方法如下：

最优阈值t既应使得目标凸显出来，还应最大可能的降低虚警点的个数。若取值太小，图像会出现很多虚警点；若取值太大，目标则会被背景淹没，无法识别。

针对不同背景下的两种红外小目标图像序列进行了仿真实验，其中序列1是目标没有被云层遮挡的图像，序列2是含有目标部分被云层遮挡的图像。

如图3所示，在序列1的第27帧图像中，红外小目标处在云层外部，当阈值t小于24时不仅检测出了目标，也检测到了背景图像中较亮的点，即虚警点。如阈值t＝20时，可以看到原始图像中左侧的亮斑被检测出来，影响了检测效果。此时可以将阈值增加，即当t处于24和60之间时，可以有效的检测出目标并去除虚警点，但是若阈值选取过大，目标信息也会被消除掉，从而无法检测到目标。

如图4所示，选取序列2的第178帧图像，可以看出此时红外小目标即将进入云层，已被部分云层信息所遮盖。与第178帧的检测效果相比，此时阈值t的范围明显缩小，即t的取值在21和31之间时可检测到红外小目标，小于21时就会检测到图像中的冗余亮斑。

本实施例首先对原始红外图像进行中值滤波从而滤除部分噪声杂波，实现图像的平滑得到背景分量，然后将中值滤波后的图像与原始红外图像做差分背景抑制处理，最后采用梯度法锐化对残差图像进行阈值限制，从而最终检测出目标。本发明能够有效滤除红外图像中的背景杂波，凸显出目标，使得信噪比得到了明显增强，并且运算简单，易于实现。

实施例2

如图5所示，本实施例还提出一种红外图像的小目标检测系统，包括：

中值滤波模块，用于利用中值滤波技术对原始红外图像进行处理。

背景差分模块，用于利用背景差分技术对原始红外图像和中值滤波后的图像进行差分背景抑制处理。

梯度锐化模块，用于对差分背景抑制处理后的图像使用预设的阈值进行梯度锐化处理。

小目标提取模块，用于提取梯度锐化后的图像中的红外小目标。

本实施例中，采用thermoprotmtp8红外热像仪获取红外图像，采集的红外图像大小均为288×348像素。

具体地，中值滤波模块包括：

重合单元，用于将选取好的预设模板的中心与原始红外图像中被选中的像素点重合，并在该图像中依次滑过该模板。

读取单元，用于读取图像中模板滑过的对应像素点的灰度值。

排序单元，用于对读取的灰度值进行排序。

中值单元，用于依据中值滤波原理从排序结果选取最中间的灰度值。

遍历单元，用于将取出的灰度值赋给图像中对应模板中心位置的像素，遍历整个图像完成中值滤波过程。

本实施例也使用如图2的圆形模板。

中值滤波模块中各个单元的工作配合过程可以参考实施例1来进行，在此不再赘述。

具体地，背景差分模块包括：

当前帧单元，用于获取原始红外图像和中值滤波后的图像中所有对应像素点的坐标和每一个像素点的当前帧图像。

背景帧单元，用于对当前帧图像进行平滑滤波，形成背景帧图像。

抑制单元，用于根据以下公式对当前帧图像与背景帧图像进行差分背景抑制处理，获得残差图像：

dk(x,y)＝|fk(x,y)-bk(x,y)|

其中，(x,y)为像素点坐标，fk(x,y)为当前帧图像，bk(x,y)为当前帧的背景图像，dk(x,y)是当前帧与背景帧的差分结果。

二次滤波单元，用于对残差图像进行二次滤波并输出二次滤波后的图像。

即背景差分模块利用背景中的像素点灰度值与其周围像素点的灰度值相关性很强而弱小目标点上的灰度值与其周围像素点的灰度值相关性很弱这一特性，先通过当前帧单元获得当前帧图像，再由背景帧单元形成背景帧图像，然后由抑制单元进行差分背景抑制处理获得残差图像，最后由二次滤波单元对残差图像进行二次滤波，以增强目标信号，从而检测出小目标。

背景差分模块中各个单元的工作配合过程可以参考实施例1来进行，在此不再赘述。

梯度锐化模块进行图像锐化的目的是增强图像边缘，使目标物体的边缘鲜明，以便于提取目标物体。实质上，图像边缘的模糊是平均运算或是积分运算的结果，而其逆运算如微分运算(求解信号的变化率)则可以加强高频分量使得模糊的目标信号变清晰。

本实施例采用梯度法对图像进行锐化处理。

对于图像函数f(x,y)，它在(x,y)处的梯度是一个矢量，定位为：

梯度的幅值可以由下式计算：

由上式可知，梯度的数值就是在函数f(x,y)在其最大变化率方向上的单位距离上所增加的量。本实施例对于梯度值的计算包括两种情况：

一种情况中，对于离散图像处理而言，常用到梯度的大小，并用差分来近似一阶微分和从而梯度锐化模块包括：

计算单元，用于按照以下公式进行梯度值的计算：

其中，f(x,y)表示图像函数，表示在像素点(x,y)处的梯度幅值。

锐化单元，用于根据计算的梯度值选取预设的阈值对差分背景抑制处理后的图像进行锐化。

另一种情况中，为了提高计算速度，简化计算方法，采用水平垂直差分法来计算，从而梯度锐化模块包括：

计算单元，用于按照以下公式进行梯度值的计算：

其中，f(x,y)表示图像函数，表示在像素点(x,y)处的梯度幅值；

锐化单元，用于根据计算的梯度值选取预设的阈值对差分背景抑制处理后的图像进行锐化。

本实施例中，梯度锐化部分是通过设置两个灰度级来完成图像显示的，即用二值图像进行显示，这种方法可以很方便的对图像的边缘位置信息进行分析，其显示方法如下：

最优阈值t既应使得目标凸显出来，还应最大可能的降低虚警点的个数。若取值太小，图像会出现很多虚警点；若取值太大，目标则会被背景淹没，无法识别。

针对不同背景下的两种红外小目标图像序列进行了仿真实验，其中序列1是有目标没有被云层遮挡的图像，序列2是目标部分被云层遮挡的图像。

如图3所示，在序列1的第27帧图像中，红外小目标处在云层外部，当阈值t小于24时不仅检测出了目标，也检测到了背景图像中较亮的点，即虚警点。如阈值t＝20时，可以看到原始图像中左侧的亮斑被检测出来，影响了检测效果。此时可以将阈值增加，即当t处于24和60之间时，可以有效的检测出目标并去除虚警点，但是若阈值选取过大，目标信息也会被消除掉，从而无法检测到目标。

如图4所示，选取序列2的第178帧图像，可以看出此时红外小目标即将进入云层，部分已被云层信息所遮盖。与第27帧的检测效果相比，此时阈值t的范围明显缩小，即t的取值在21和31之间时可检测到红外小目标，小于21或大于31时就会检测到图像中的冗余亮斑。

本实施例首先对原始红外图像进行中值滤波从而滤除部分噪声杂波，实现图像的平滑得到背景分量，然后将中值滤波后的图像与原始红外图像做差分背景抑制处理，最后采用梯度法锐化对残差图像进行阈值限制，从而最终检测出目标。本发明能够有效滤除红外图像中的背景杂波，凸显出目标，使得信噪比得到了明显增强，并且运算简单，易于实现。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。