基于无人平台的多波段融合探测方法
【专利摘要】本发明公开了一种基于无人平台的多波段融合探测方法，将无人平台上获取的红外图像序列和可见光图像序列进行空间配准，再对配准好的红外图像序列和可见光图像序列进行预处理，将所述预处理后的红外图像序列和可见光图像序列进行图像融合，最后，对融合后的图像序列进行多弱小目标检测处理，输出目标的状态数据和数目信息。本发明采用红外和光学图像融合技术，实现对目标的精确检测。解决了无人机平台成像质量差，单一红外探测器分辨率低、不利于目标准确识别的缺点，且算法优于传统的目标检测算法，对目标的探测和识别更加容易，能够对防御系统和对抗系统提供目标的准确指示，可广泛应用于各类复杂背景的弱小目标准确检测系统中。
【专利说明】
基于无人平台的多波段融合探测方法
技术领域
[0001] 本发明属于红外和光学图像处理及目标融合探测技术领域，具体涉及一种基于无 人平台的多波段融合探测方法。
【背景技术】
[0002] 无人平台是指无人驾驶的、完全按遥控操作或者按预编程序自主运作的、携带武 器进行一定任务的一类平台，它包括无人作战机、无人水面艇、无人潜航器和无人地面平台 以及包括鱼雷、机动水雷、弹道导弹和巡航导弹等武器系统。因其具有风险小、低价低、适用 于侦查云层下或隐蔽的目标、适用于长时间"盯梢"监视、侦查、预警、稳瞄、火控和打击评估 等独特优势，一直备受关注。目前无人机成像传感器可以获取可见光图像、红外图像、多光 谱图像等类型图像。
[0003]由于目标辐射特性、光照、气候等条件的影响，单一波段传感器拍摄的图像会受到 一定的影响导致目标的误判，无法满足实际应用需求。伴随成像传感器技术的成熟，多波段 成像传感器应运而生，多波段成像传感器可以通过融合技术将复杂、多变的数据处理成更 可靠、更全面的数据。多波段传感器的成像原理有时不尽相同，如可见光成像与红外成像。 可见光成像传感器利用的是光反射原理，拍摄得到彩色的细节清晰的图像，但是在能见度 较低的条件下，获得的图像效果有局限性;红外成像传感器利用的是热辐射原理，获得的图 像红外目标亮度大，但是目标不清晰、边缘模糊。
【发明内容】
[0004] 有鉴于此，本发明的主要目的在于提供一种基于无人平台的多波段融合探测方 法。
[0005] 为达到上述目的，本发明的技术方案是这样实现的：
[0006] 本发明实施例提供一种基于无人平台的多波段融合探测方法，该方法为:将无人 平台上获取的红外图像序列和可见光图像序列进行空间配准，再对配准好的红外图像序列 和可见光图像序列进行预处理，将所述预处理后的红外图像序列和可见光图像序列进行图 像融合，最后，对融合后的图像序列进行多弱小目标检测处理，输出目标的状态数据和数目 信息。
[0007] 上述方案中，所述对配准好的红外图像序列和可见光图像序列进行预处理为：基 于统计滤波对配准好的红外图像序列和可见光图像序列进行平滑去噪。
[0008] 上述方案中，所述对配准好的红外图像序列和可见光图像序列进行预处理，具体 通过以下步骤实现：
[0009] 步骤2-1:在给定像素 x(i，j)的邻域窗S内，求出所有像素的平均值μ和方差σ2;
[0010] 步骤2-2:基于简单统计法的阈值选取，如（1)式所示。
[0012]其中e(x，y)为ex、ey中最大绝对值，g( x，y)为像素点的灰度值。ex7jC平方向的灰度 差值如⑵式:ex=g(x_l，y)_g(x+l，y)，ey为垂直方向的灰度差值如⑶式:e y = g(x，y-l)_g (x，y+l)，e(x，y)为水平和垂直方向最大的灰度差值；
[0013]步骤2-3:通过给定阈值T求出S窗口的像素 s(i，j)表达式，如(4)式所示。
[0015] 式中是像素 s(i，j)为邻域窗S内像素 x(i，j)的滤波后的数值，μ为邻域窗S内所有 像素的平均值，σ2为邻域窗S内所有像素的方差。
[0016] 上述方案中，将所述预处理后的红外图像序列和可见光图像序列进行图像融合， 具体为:将可见光图像序列由RGB空间变换到HSI空间，提取亮度分量I，即灰度图像序列;对 配准好的红外图像序列和灰度图像序列进行多尺度变换，获得边缘图像序列和不同尺度下 的纹理图像序列;根据不同的融合策略分别对所述边缘图像序列和纹理图像序列进行融合 处理，最后根据多尺度逆变换对融合后的图像进行图像重构，获得可见光图像序列和红外 图像序列融合后的图像序列，即为最终融合图像序列。
[0017] 上述方案中，所述边缘图像序列采用区域能量法进行融合，具体为:低频系数矩阵 中以某像素点P( i，j)为中心的区域大小为LX W的能量大小定义为
[0019]其中，f(i+m，j+η)为图像的亮度信息，4pn的变化在L和W之内，融合规则为
[0021]其中，CP(i，j)表示像素点p(i，j)处的低频变换系数，fA(i，j)表示灰度图像序列A 的边缘图像像素点P(i，j)处的亮度信息，fB(i，j)表示红外图像序列B的边缘图像像素点p (i，j)处的亮度信息，Ea( i，j)表示灰度图像序列A的边缘图像L X W区域能量，Eb(i，j)表示红 外图像序列B的边缘图像LXW区域能量，计算采用的区域大小为3X3。
[0022]上述方案中，所述纹理图像序列采用基于Canny算子的区域方差法进行图像融合， 具体为:对灰度图像序列A的纹理图像和红外图像序列B的纹理图像分别取一个RXS大小的 窗口，μ表示窗口区域方差均值;按照式(7)和式(8)计算两个窗口的局部方差，H Al(x，y)、HBl (x，y)分别表示灰度图像序列A的纹理图像和红外图像序列B的纹理图像的高频系数;i = l， 2,3分别表示水平方向、垂直方向及对角线方向的系数。灰度图像序列A的纹理图像和红外 图像序列B的纹理图像分解尺度为Q n，在各个方向上的局部方差仏必(U)、(U)可 表示为：
[0027]对于融合后图像的高频系数拖心，7)，当11>￥2，拖心，7)=取心，7);反之，版（1， y) = Hbi ( x , y) ο
[0028] 上述方案中，所述对融合后的图像序列进行多弱小目标检测处理，输出目标的状 态数据和数目信息，具体为:对融合后的图像序列进行改进的四阶偏微分处理，获得背景抑 制、目标增强后的图像序列；然后根据数理统计原理确定融合图像序列中的目标与背景的 决策边界、自适应决策边界系数和分块数目，最后对背景抑制、目标增强后的图像序列进行 分块自适应决策边界分割处理，以提取融合图像序列中候选目标的位置信息及数目信息。
[0029] 与现有技术相比，本发明的有益效果：
[0030] 本发明采用红外和光学图像融合技术，实现对目标的精确检测。解决了无人机平 台成像质量差，单一红外探测器分辨率低、不利于目标准确识别的缺点，且算法优于传统的 目标检测算法，对目标的探测和识别更加容易，能够对防御系统和对抗系统提供目标的准 确指示，可广泛应用于各类复杂背景的弱小目标准确检测系统中。
【附图说明】
[0031] 图1为本发明的总体流程示意图；
[0032] 图2为本发明的红外和光学图像序列基于多尺度变换的图像融合流程示意图； [0033]图3为本发明的基于融合图像序列的多弱小目标检测处理流程示意图。
【具体实施方式】
[0034]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。
[0035] 本发明实施例提供一种基于无人平台的多波段融合探测方法，如图1所示，该方法 通过以下步骤实现：
[0036] 步骤1:将无人平台上获取的红外图像序列和可见光图像序列进行空间配准。
[0037] 具体地，首先无人平台上，调整红外和光学探测系统的探测俯仰角及方位角，使两 种成像探测器所成的像为同一场景，保持两种探测器同时工作，并使其数据率相同，一般应 均大于等于25Hz;其次将无人平台上获取的红外图像序列和可见光图像序列进行空间配 准。
[0038] 步骤2:再对配准好的红外图像序列和可见光图像序列进行预处理。
[0039]具体地，基于统计滤波对配准好的红外图像序列和可见光图像序列进行平滑去 噪，通过以下步骤实现：
[0040]步骤2-1:在给定像素 x( i，j)的邻域窗S内，求出所有像素的平均值μ和方差σ2;
[0041 ]步骤2-2:基于简单统计法的阈值选取，如（1)式所示。
[0043] 其中e(x，y)为ex、ey中最大绝对值，g(x，y)为像素点的灰度值。平方向的灰度 差值如⑵式:ex=g(x_l，y)_g(x+l，y)，ey为垂直方向的灰度差值如⑶式:e y = g(x，y-l)_g (x，y+l)，e(x，y)为水平和垂直方向最大的灰度差值；
[0044] 步骤2-3:通过给定阈值T求出S窗口的像素 s (i，j)表达式，如(4)式所示。
[0046]式中是像素 s(i，j)为邻域窗S内像素 x(i，j)的滤波后的数值，μ为邻域窗S内所有 像素的平均值，σ2为邻域窗S内所有像素的方差。
[0047]步骤3:将所述预处理后的红外图像序列和可见光图像序列进行图像融合。
[0048]具体地，将所述预处理后的红外图像序列和可见光图像序列进行图像融合，如图2 所示，具体为:将可见光图像序列由RGB空间变换到HSI空间，提取亮度分量I，即灰度图像序 列；对配准好的红外图像序列和灰度图像序列进行多尺度变换，获得边缘图像序列和不同 尺度下的纹理图像序列，所述多尺度变换的层数不是任意的，而是由图像尺寸决定的，并且 经过多层分解后的图像序列最高层尺寸大小不能小于2X2;根据不同的融合策略分别对所 述边缘图像序列和纹理图像序列进行融合处理，最后根据多尺度逆变换对融合后的图像进 行图像重构，获得可见光图像序列和红外图像序列融合后的图像序列，即为最终融合图像 序列。
[0049]所述边缘图像序列采用区域能量法进行融合，具体为:低频系数矩阵中以某像素 点P (i，j)为中心的区域大小为L X W的能量大小定义为
[0051]其中，f(i+m，j+n)为图像的亮度信息，m和η的变化在L和W之内，融合规则为
[0053]其中，CP(i，j)表示像素点p(i，j)处的低频变换系数，fA(i，j)表示灰度图像序列A 的边缘图像像素点P(i，j)处的亮度信息，fB(i，j)表示红外图像序列B的边缘图像像素点P (i，j)处的亮度信息，Ea( i，j)表示灰度图像序列A的边缘图像L X W区域能量，Eb(i，j)表示红 外图像序列B的边缘图像LXW区域能量，计算采用的区域大小为3X3。
[0054]所述纹理图像序列采用基于Canny算子的区域方差法进行图像融合，具体为:对灰 度图像序列A的纹理图像和红外图像序列B的纹理图像分别取一个RXS大小的窗口，μ表示 窗口区域方差均值;按照式(7)和式(8)计算两个窗口的局部方差，取 1(1，7)、拖1(1，7)分别 表不灰度图像序列Α的纹理图像和红外图像序列Β的纹理图像的尚频系数；i = 1，2，3分别表 示水平方向、垂直方向及对角线方向的系数。所述灰度图像序列A的纹理图像和红外图像序 列B的纹理图像分解尺度为^，在各个方向上的局部方差D4,a(x，)〇、可表示为：
[0059]对于融合后图像的高频系数拖心，7)，当11>12，拖心，7)=取心，7);反之，版（1， y) = Hbi (X, y) 〇
[0060] 步骤4:对融合后的图像序列逐帧进行多弱小目标检测处理，输出目标的状态数据 和数目信息。
[0061] 具体地，对融合后的图像序列进行改进的四阶偏微分处理，获得背景抑制、目标增 强后的图像序列；然后根据数理统计原理确定融合图像序列中的目标与背景的决策边界、 自适应决策边界系数和分块数目，最后对背景抑制、目标增强后的图像序列进行分块自适 应决策边界分割处理，以提取融合图像中候选目标的位置信息及数目信息。
[0062]假设η为融合图像序列的帧数，所述对融合后的图像序列进行多弱小目标检测处 理，处理过程为逐帧对这η帧图像进行处理，如图3所示，具体步骤如下：
[0063]步骤3-1:根据改进的四阶偏微分方程方法对融合后的图像逐帧进行处理，直到η 帧图像全部处理完为止。
[0064] 获得背景抑制、目标增强后的图像序列。假设融合后的尺寸为ΜΧΝ，当读取的红外 图像为第k帧时，采用改进的四阶偏微分方程对其进行处理，将（10)式定义的扩散系数s (X'）带入式（11)，对原始的融合后的第k帧图像进行处理，获得背景抑制和目标增强后的第 k帧融合图像6。其中，V\是图像灰度值的二阶差分，可表示为（12)式，式中i，j表示像素在 图像中所处位置的横纵坐标。
[0065] s(x,)=KnX(l-(l+x，2/k2) -1) (10)
[0068] 其中，k为一个大于零的常量，1("为一个大于等于1的正整数，取值为1，2，···，扩散 系数的大小与图像在该点处的梯度有关，且梯度越大处的扩散系数应该越小。且不同图像 区域s(x'）的取值情况如下：
[0069] ①整个红外图像区域中，e [0,+_x)，则s(|V2m|)严格单调递增；
[0070] ②背景均勾或等梯度渐变区域中，|v2?卜〇,则- 0;
[0071 ]③灰度起伏较大或边缘轮廓区域，|v2w| ? 〇，则·?(|ν2Μ:|) 4 l":,Kne [0，+00 )。根据改 进的四阶偏微分方程实现背景抑制、目标增强后的图像序列中：
[0072] (1)当图像的某个区域灰度均匀分布或灰度等梯度分布，则该区域很可能是背景， 这时根据（12)式，有|v 2?|趋近于0,根据不同图像区域中s(x'）的取值情况，可知此时 s(|v2w|)=〇,进而由（id式可得?=ο,即可实现背景被抑制。
[0073] (2)当图像中某个小区域灰度变化剧烈，则该区域很可能存在感兴趣的目标，这时 根据（12)式，得出该区域|ν 2?| ? Θ，进而·?(|ν2?|)二:，Kn e[0，+ c?]，由（11)式可得 16卜& X 416χ心，因此在该区域的灰度值会被较大程度地增强。
[0074] ( 3 )在图像的边缘轮廓区域，|v2w| ? 0，因此= 5,进而由（11)式可得 x|v2(V2m)| 4 4x氡叫:/，由此可见，图像边缘轮廓的增强程度相对目标区域来说 较小。
[0075] 步骤3-2:分块自适应决策边界分割处理。
[0076]对背景抑制、目标增强后的图像序列逐帧进行分块自适应决策边界分割处理，以 提取融合图像中候选目标的位置信息及数目信息。
[0077] 具体处理是：
[0078] (1)将所述获得背景抑制和目标增强后的融合图像序列逐帧划分成m个小块(m可 取正整数，例如50)，当融合图像序列的高度和宽度不满足m的倍数时，对原始红外图像进行 扩展，直到可以均分成m个小块为止，即当M、N不能整除m时，设lu、k 2分别为M/m和N/m的整数 部分，则扩展后的图像每一帧的大小都为[mX (h+1)] X [mX (k2+l)];
[0079] (2)对于划分后的每一个小块，根据公式（13):T = a(y'+k。· σ'）确定分割决策边 界，其中τ为分块决策边界;α为自适应决策边界系数，取值为正;μ'为分块图像均值;σ '为分 块图像方差;k。为常数，可通过实验得到，通常其取值范围为3~10;
[0080] (3)确定好决策边界后，将灰度大于决策边界的像素赋值为255,而小于决策边界 的像素赋值为〇;
[0081] (4)截取扩展图像序列每一帧的前Μ行、前N列分别作为决策边界分割后图像序列 中的对应帧，根据分割后的图像序列确定候选目标的位置坐标和数目信息。
[0082] 以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
【主权项】
1. 一种基于无人平台的多波段融合探测方法，其特征在于，该方法为:将无人平台上获 取的红外图像序列和可见光图像序列进行空间配准，再对配准好的红外图像序列和可见光 图像序列进行预处理，将所述预处理后的红外图像序列和可见光图像序列进行图像融合， 最后，对融合后的图像序列进行多弱小目标检测处理，输出目标的状态数据和数目信息。2. 根据权利要求1所述的基于无人平台的多波段融合探测方法，其特征在于:所述对配 准好的红外图像序列和可见光图像序列进行预处理为:基于统计滤波对配准好的红外图像 序列和可见光图像序列进行平滑去噪。3. 根据权利要求1或2所述的基于无人平台的多波段融合探测方法，其特征在于:所述 对配准好的红外图像序列和可见光图像序列进行预处理，具体通过W下步骤实现： 步骤2-1:在给定像素 x(i，j)的邻域窗S内，求出所有像素的平均值μ和方差 步骤2-2:基于简单统计法的阔值选取，如（1)式所示。{1) 其中e(x，y)为ex、ey中最大绝对值，g(x，y)为像素点的灰度值。ex水平方向的灰度差值 如（2)式：ex = g(x-l，y)-g(x+l，y)，ey为垂直方向的灰度差值如（3)式：ey = g(x，;y-l)-g(x，y +1)，e(x，y)为水平和垂直方向最大的灰度差值； 步骤2-3:通过给定阔值T求出S窗口的像素 s(i，j)表达式，如(4)式所示。(4) 式中是像素 s(i，j)为邻域窗S内像素 x(i，j)的滤波后的数值，μ为邻域窗S内所有像素 的平均值，为邻域窗S内所有像素的方差。4. 根据权利要求3所述的基于无人平台的多波段融合探测方法，其特征在于:将所述预 处理后的红外图像序列和可见光图像序列进行图像融合，具体为:将可见光图像序列由RGB 空间变换到HSI空间，提取亮度分量I，即灰度图像序列;对配准好的红外图像序列和灰度图 像序列进行多尺度变换，获得边缘图像序列和不同尺度下的纹理图像序列；根据不同的融 合策略分别对所述边缘图像序列和纹理图像序列进行融合处理，最后根据多尺度逆变换对 融合后的图像进行图像重构，获得可见光图像序列和红外图像序列融合后的图像序列，即 为最终融合图像序列。5. 根据权利要求4所述的基于无人平台的多波段融合探测方法，其特征在于:所述边缘 图像序列采用区域能量法进行融合，具体为:低频系数矩阵中W某像素点P(i，j)为中屯、的 区域大小为LXW的能量大小定义为(5) 其中，f (i+m，j+n)为图像的亮度信息，m和η的变化在L和W之内，融合规则为(6) 其中，Cp(i，j)表示像素点p(i，j)处的低频变换系数，fA(i，j)表示灰度图像序列A的边 缘图像像素点P(i，j)处的亮度信息，表示红外图像序列B的边缘图像像素点p(i，j) 处的亮度信息，EA(i，j)表示灰度图像序列A的边缘图像LXW区域能量，EB(i，j)表示红外图 像序列B的边缘图像LXW区域能量，计算采用的区域大小为3X3。6.根据权利要求5所述的基于无人平台的多波段融合探测方法，其特征在于:所述纹理 图像序列采用基于化nny算子的区域方差法进行图像融合，具体为:对灰度图像序列A的纹 理图像和红外图像序列B的纹理图像分别取一个RXS大小的窗口，μ表示窗口区域方差均 值;按照式(7)和式(8)计算两个窗口的局部方差，HAi(x，y)、化i(x，y)分别表示灰度图像序 列A的纹理图像和红外图像序列B的纹理图像的高频系数；i = l，2,3分别表示水平方向、垂 直方向及对角线方向的系数。灰度图像序列A的纹理图像和红外图像序列B的纹理图像分解 尺度为Qn，在各个方向上的局部方差.!'）、〇?..?. (-V，_!')可表示为：对于融合后图像的高频系数化1^，7)，当胖1〉胖2，化1^，7)=齡1^，7);反之，化1^，7)= 曲i(x，y)。 7 .根据权利要求6所述的基于无人平台的多波段融合探测方法，其特征在于，所述对融 合后的图像序列进行多弱小目标检测处理，输出目标的状态数据和数目信息，具体为:对融 合后的图像序列进行改进的四阶偏微分处理，获得背景抑制、目标增强后的图像序列;然后 根据数理统计原理确定融合图像序列中的目标与背景的决策边界、自适应决策边界系数和 分块数目，最后对背景抑制、目标增强后的图像序列进行分块自适应决策边界分割处理，W 提取融合图像序列中候选目标的位置信息及数目信息。
【文档编号】G06K9/62GK106096604SQ201610387328
【公开日】2016年11月9日
【申请日】2016年6月2日 公开号201610387328.2, CN 106096604 A, CN 106096604A, CN 201610387328, CN-A-106096604, CN106096604 A, CN106096604A, CN201610387328, CN201610387328.2
【发明人】周慧鑫, 杜娟, 庞英名, 秦翰林, 荣生辉, 赖睿, 王炳健, 金浩文, 成宽洪, 宋尚真
【申请人】西安电子科技大学昆山创新研究院