一种基于背景特征的红外目标远距离追踪方法与流程

本发明属于图像处理目标跟踪领域，涉及一种红外成像目标识别与追踪的方法，尤其涉及一种基于背景特征的红外目标远距离追踪方法。

背景技术：

目前，红外制导是飞行器制导的主要方式之一，可以有效地在不同气候条件下引导攻击，抗干扰性强。红外目标的识别在导航和精确制导中具有重要意义，如何提高红外目标识别的精准度一直是制导研究的难题。其中主要的难点在于，一方面，在飞行器制导过程中逐步接近目标，需要在一个很大的距离范围内都能够可靠地识别和追踪目标，然而远距离时目标显示的面积很小，甚至只有仅仅的几个像素，难以进行可靠地识别。另一方面，红外制导相对于可见光信号，红外信号的纹理特征较弱，难于应用自然场景分析中的高效率纹理图像检测算子，在复杂的地面环境背景中，打击目标难以被准确地识别，此外目标还有可能进行红外伪装，造成识别效率低下。

现有的制导飞行和瞄准方案中，基于模式识别的目标自动识别和飞行中人工介入识别都是可用的技术手段。但远距离时目标微弱和目标伪装的问题依然存在，是红外目标成像制导中亟需解决的关键理论和技术问题的关键。

在对红外目标通过算法自动识别的同时，为进一步提高目标识别与追踪精度，现有红外目标的自动化识别系统通常引入人工介入识别，即人在回路，由操作员通过电视屏幕远程观察，在自动识别的基础上通过指令实时引导修正飞行器姿态，实现更精准的红外目标识别。然而，人工介入识别精度严重依赖于操作员的观察能力和决策水平。

因此，红外目标识别中的远距离、成像形态多变目标的自动识别以及目标选择和导航优化等是提高末端自动制导精确性的关键研究问题，尚未有较为完善的解决方案提出。

技术实现要素：

本发明的目的在于提供一种基于背景特征的红外目标远距离追踪方法，针对红外成像中远距离、成像形态多变目标的自动识别问题，进行精细目标检测，提升目标识别追踪精度，解决现有远距离红外目标自动识别问题中目标像素过小，形态变化复杂模糊难以识别的问题。

本发明的技术方案如下：一种基于背景特征的红外目标远距离追踪方法，包括以下步骤：

s1，对目标周围环境红外辐射强度建模和复杂自然环境建模，事先对目标周围环境进行侦察，利用测量手段获取目标和背景的绝对和相对位置关系信息，利用摄像手段获取自然环境的可见光成像；根据可见光成像描述的目标和环境背景信息，确定飞行器红外成像的导航信息；从而令飞行器在飞行制导过程中实时对其周围环境拍摄采集红外成像；

s2，对s1所采集自然环境的可见光成像以及红外成像进行特征表达，实现可见光成像以及红外成像从图像域到参量空间的转换；即实现红外成像和自然环境的可见光成像的特征表达；

s3，将s2完成的红外成像的特征表达与自然环境的可见光成像的特征表达结合提取共现性特征；选择共现性特征作为匹配特征点，通过仿射变换和关系传递，将可见光成像中背景候选参考点和目标坐标及相对位置关系传递到红外成像中来，计算获得红外成像各帧背景候选参考点和目标点的估计坐标；

s4，基于远距离运动的红外成像配准，在采用s3所述的特征描述方法得到稳定特征点的基础上，在连续相邻红外成像帧中，获得共同存在的特征点作为稳定参考点，根据稳定参考点求解前后相邻红外成像帧的坐标对应关系，对相邻红外成像帧进行仿射变换，将红外成像上一帧中的稳定参考点坐标传递到当前帧，得到红外成像当前帧中候选参考点的估计坐标；

s5，在s1已经采集获得的自然环境的可见光成像中获取到背景特征和目标的绝对和相对位置关系基础上，以及飞行器制导实时获取红外成像的视频帧；通过s3所述方法，将红外成像与可见光成像匹配将可见光成像中背景候选参考点目标坐标及相对位置关系传递红外成像中来，计算获得红外成像各帧背景候选参考点和目标点的估计坐标；将s3和s4对于候选参考点和目标点的估计坐标进行联合判决，如果相邻帧传递与可见光成像传递输出结果一致，则所述输出结果为目标位置，如果相邻帧传递与可见光成像传递输出结果不一致，则将更新候选参考点，重新估计目标位置，直至输出结果一致，则完成基于背景特征的红外目标远距离识别与追踪。

s1中在自然环境中侦察记录，从而完成自然环境建模和红外场景模拟，辅以摄像或测量情报来源的基础上，获得目标与环境背景的关系信息。

s1中，事先对目标周围环境进行侦察，利用摄像手段获取所需信息，然后对目标周围环境进行侦察，在不同时间、拍摄距离、风力、阴雨天气下，通过拍摄、测量或地图获取目标周围环境信息，然后对目标周围环境进行三维场景建模或红外场景模拟，从而获取先验知识；并依据先验将环境背景变化范围简化为简单有效的运动参量；

s2中，通过对红外成像进行特征表达初步提取红外成像和可见光成像中大尺度特征，即局部范围内的纹理，通过高斯梯度、log特征、haar特征、mser特征、sift特征、mser特征或lbp特征对红外成像和可见光成像进行特征表达。

s3中，对红外成像和可见光成像进行纹理特征匹配，通过仿射变换和关系传递得到目标位置所在区域的估计，具体如下：

s31，对红外和可见光成像通过稳定的匹配特征点进行配准，获得仿射关系矩阵；

s32，确定采集的自然环境中环境背景中候选参考点，构造所述候选参考点与目标的位置关系函数；

s33，红外成像和可见光成像中候选参考点的匹配进行仿射变换后，可见光成像下候选参考点与目标点经过仿射变换传递到红外成像中，对候选参考点经过位置关系函数计算，获得红外成像各帧背景候选参考点和目标点的估计坐标。

s3中，在参量空间中用高斯梯度特征、log特征、haar特征、mser特征、sift特征、lbp特征或mser纹理检测算子寻找用于红外和可见光成像中共同存在的共现性特征，将其作为用于红外与可见光成像的匹配特征点。

s3中，对自然环境的可见光成像提取组合描述特征，先通过mser多区域中心坐标关系的粗匹配后，在每个对应mser区域块中，识别其相同参数配置下的sift特征描述算子，与红外成像中抽取特征构成关系对，将可见光成像中背景候选参考点和目标坐标及相对位置关系传递到红外成像中来，计算获得红外成像各帧背景候选参考点和目标点的估计坐标。

s3中，计算场景实时采集的红外成像中mser区域特征，对红外成像进行二值化，在mser筛选区域中提取sift特征，利用不同的参数高斯核与图像做卷积运算，生成不同尺度的影像，

利用多尺度影像的差分得到高斯金字塔，

d(x,y,σ)＝[g(x,y,kσ)-g(x,y,σ)]*img(x,y)

在临近的两层金字塔以及所在层局部就近的比较，搜索出极值点，并去掉其中低对比度和不稳定的边缘特征点，再利用梯度方向直方图计算出关键点主方向，关键点主方向只保留180°，对称方向视为相同方向，得到mser区域内提取的sift组合特征，从而进一步获取关键点位置信息，即实现共现性特征提取。

s4具体包括：

1)通过使用稳定的纹理描述算子，检测红外成像相邻帧稳定参考点，获取仿射变换矩阵，对红外成像相邻帧仿射变换，实现相邻帧的配准；

2)通过红外成像相邻帧关系，通过可见光成像中获取的候选参考点与目标点位置关系函数，对前帧红外成像通过与可见光成像仿射传递所得的候选参考点获取目标点估计坐标。

与现有技术相比，本发明至少具有以下有益效果：

本发明获取自然场景下目标环境三维场景信息，通过实时采集红外成像，对红外成像和可见光成像背景纹理的共现性特征识别并提取，对红外成像和可见光成像进行纹理特征匹配，通过仿射变换和关系传递得到目标位置所在区域的估计；根据目标背景场景特征信息，精细识别目标所在位置；目标远距离追踪任务中红外成像面积很小，但环境背景特征在大尺度上具有显著性；将目标周围环境信息、以及与目标的绝对和相对位置关系引入到红外目标远距离追踪中，形成基于红外目标把环境背景特征融合的追踪方法；一方面，即使飞行器拍摄目标区域很小，也能够通过环境背景对目标进行准确的识别和定位；另一方面，如果红外目标进行红外伪装，其特征被杂波所掩盖，但其环境背景特征难以被掩盖，故通过背景特征进行红外识别定位能够有效对其实现定位和跟踪；此外，基于将自然环境可见光成像与红外成像特征的结合，从而对目标进行识别和跟踪，可以进一步提升远距离红外目标的识别精度。

附图说明：

图1为本发明方法的主要框架图。

图2为采集的自然场景与红外成像差异对比图。

图3为红外与可见光成像共现性特征中匹配特征点提取示意图。

图4为本发明方法的红外与可见光成像匹配示意图。

图5为相邻帧红外成像稳定参考点提取及相邻帧配准示意图。

图6为本发明方法的红外目标远距离识别结果图。

具体实施方式：

为了使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的具体实施方案和附图做进一步详细描述。另显然，所描述的实施例仅是本发明的部分实施例，而不是全部的应用场景。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明的保护范围。

参考图1，本发明提供了一种基于背景特征的红外目标远距离追踪方法，该方法包括：

s1，对目标周围环境红外辐射强度建模和复杂自然环境建模，事先对目标周围环境进行侦察，利用测量手段获取目标和背景的绝对和相对位置关系信息，利用摄像手段获取自然环境的可见光成像；飞行器在飞行制导过程中，实时对其周围环境采集红外成像；具体的，事先对目标周围环境进行侦察，在不同时间、拍摄距离、风力、阴雨天气下，通过拍摄、测量或地图获取目标周围环境信息，然后对目标周围环境进行三维场景建模或红外场景模拟，从而获取先验知识；并依据先验将环境背景变化范围简化为简单有效的运动参量；此外，飞行器在飞行知道过程中，根据可见光成像描述的目标和环境背景信息，确定红外成像的导航信息，并同步对周围环境拍摄采集红外成像；在本实施例中，自然场景的可见光成像由飞行器同步集采，其与红外成像位置以及角度关系近似，具体对比示意图如图2所示。

s2，对s1所采集自然环境的可见光成像以及红外成像进行特征表达，实现可见光成像以及红外成像从图像域到参量域的转换；通过对红外成像进行特征表达，初步提取红外成像中大尺度特征，即周围环境局部范围内的纹理；通过对红外成像进行特征表达初步提取红外成像和可见光成像中大尺度特征，即局部范围内的纹理，通过高斯梯度、log特征、haar特征、mser特征、sift特征、mser特征或lbp特征对红外成像和可见光成像进行特征表达；本发明通过高斯梯度或高斯拉普拉斯梯度特征对红外成像进行特征表达，实现红外成像从图像域到参量空间的转换；

其中，高斯梯度算子如下：

高斯拉普拉斯梯度算子如下：

其中，d∈{x,y}分别代表水平和垂直方向，为卷积算子，g(x,y|σ)为标准差σ的高斯函数；

s3，将s2完成的红外成像特征表达与自然环境的可见光成像的特征表达结合提取共现性特征；选择共现性特征作为匹配特征点，对红外成像和可见光成像进行纹理特征匹配，从而通过仿射变换和关系传递，将可见光成像中背景候选参考点和目标坐标及相对位置关系传递到红外成像中来，计算获得红外成像各帧背景候选参考点和目标点的估计坐标；

本发明使用mser和sift组合特征作为红外和可见光成像的共现性特征描述算子；计算场景实时采集的红外成像中mser区域特征，对红外成像进行二值化，在阈值选取从0到255，经历从全黑到全白的过程；其中部分连通区域面积随阈值上升变化很小的区域为：

其中，qi表示第i个连通区域的面积，δ为微小阈值变化，当v(i)小于阈值ti时即视为候选目标区域，记录多个候选区域位置特征为(xi,yi,ai,bi,θi)，其中，ai和bi分别为mser区域椭圆的长半轴和短半轴，θi为长半轴与x轴顺时针夹角；在mser筛选区域中提取sift特征，利用不同的参数高斯核与图像做卷积运算，生成不同尺度的影像，

利用多尺度影像的差分得到高斯金字塔，

d(x,y,σ)＝[g(x,y,kσ)-g(x,y,σ)]*img(x,y)

在临近的两层金字塔以及所在层局部就近的比较，搜索出极值点，并去掉其中低对比度和不稳定的边缘特征点，再利用梯度方向直方图计算出关键点主方向，由于红外和可见光成像原理差异，其边界相同但方向可能对称相反，因此关键点主方向只保留180°，对称方向视为相同方向，这样记录所在mser区域内提取的sift组合特征为(xij,yij,mij,αij)，其中，i表示第i个mser区域，j表示第j个特征点，mij表示特征点梯度模值，αij表示特征点的方向特征；从而进一步获取关键点位置信息，即实现共现性特征提取；

对s1中采集的自然环境的可见光成像提取组合描述特征，先通过mser多区域中心坐标关系的粗匹配后，在每个对应mser区域块中，识别其相同参数配置下的sift特征描述算子，与红外成像中抽取特征构成关系对，记为其中，表示红外成像候选参考点坐标，表示自然环境可见光成像候选参考点坐标；在红外和可见光成像中的连续多帧中，其共同存在特征点即作为红外与可见光成像关联的匹配特征点，将可见光成像中背景候选参考点和目标坐标及相对位置关系传递到红外成像中来，计算获得红外成像各帧背景候选参考点和目标点的估计坐标，如图3所示；通过匹配特征点对红外和可见光成像匹配，如图4所示，获得红外成像与可见光成像的对应关系。

s3中，在参量空间中采用用高斯梯度特征、log特征、haar特征、mser特征、sift特征、lbp特征或mser纹理检测算子寻找用于红外和可见光成像中共同存在的共现性特征，将其作为用于红外与可见光成像的匹配特征点。

s4，基于远距离运动的红外成像配准，在检测得到mser和sift组合特征作为稳定特征点的基础上，在连续相邻红外成像帧中，获得共同存在的特征点作为稳定参考点，根据稳定参考点求解前后相邻红外成像帧的坐标对应关系，对相邻红外成像帧进行仿射变换，将红外成像上一帧中的稳定参考点坐标传递到当前帧，得到红外成像当前帧中的估计坐标；

在s3检测得到的特征点的基础上，对连续相邻红外成像帧中，获得共同存在的特征点作为稳定参考点，其中第j对为其中表示为上一帧红外成像稳定参考点坐标，表示为当前帧红外成像稳定参考点坐标；根据稳定参考点求解前后相邻红外成像帧的坐标对应关系，对相邻红外成像帧进行仿射变换；

仿射变换是通过对原坐标轴缩放和旋转实现线性变换和平移的一种特殊的映射；其变换矩阵如下：

其中，λ为尺度变换参数，θ为旋转角度，tx和ty分别为x和y方向的偏移量；特征点到特征点的映射关系如下：

可以将上式化简为：

如图5所示，对8个稳定参考点求解6个未知参数的过程，通过最小二乘法，构造计算式：

构造上式的均方误差为：

通过获取仿射矩阵，实现运动视野红外视频到静止视野红外视频的转换；仿射变换可重新表示与变换矩阵m相乘形式，即u'＝mu，获得用于匹配的稳定参考点之后任一匹配坐标对(u',u)便是已知的，由于在自然环境中，稳定参考点坐标对(u',u)都对应于同一真实位置v，通过仿射变换使得前后相邻的红外成像得到同一视角，其相邻帧仿射示意图如图5所示；

s5，参考图6，在s4完成候选参考点在红外成像相邻帧传递到同一视角下之后，在s1已经采集获得的自然环境可见光成像中获取到背景特征和目标的绝对和相对位置关系基础上，以及s2中飞行器制导实时获取红外成像视频帧；通过s3所述方法，将红外成像与可见光成像匹配将可见光成像中背景候选参考点目标坐标及相对位置关系传递红外成像中来，计算获得红外成像各帧背景候选参考点和目标点的估计坐标；将s3和s4对于候选参考点和目标点的估计坐标进行联合判决，如果输出结果一致，则目标检测的可靠性高；否则将更新候选参考点，重新估计目标位置，直至输出结果一致，则完成基于背景特征的红外目标远距离识别与追踪；

具体的，在s1中已经获取了自然场景中目标与环境背景的相关位置关系，在s3共现性特征选取过程中，将红外成像与自然环境下采集的可见光成像以匹配特征点进行匹配，之后，获取匹配参考点对将可见光成像中背景的候选参考点{a^(l),b^(l),c^(l),d^(l)}的绝对位置坐标和与目标{e^(l),f^(l)}的相对位置关系e^(l)＝f¹(a^(l),b^(l),c^(l),d^(l))，f^(l)＝f²(a^(l),b^(l),c^(l),d^(l))；通过s4所述仿射变换将候选参考点传递到红外成像中来对应个点{a^(r),b^(r),c^(r),d^(r)}，如下：

其中，mr2l是红外成像与可见光成像通过匹配特征点求解的变换矩阵，k取值为{a,b,c,d,e,f}等六个坐标，通过函数f¹(·)和f²(·)估计目标点e^(r)和f^(r)坐标。

另外，通过红外成像相邻帧关系，计算相邻帧候选参考点{a^(t),b^(t),c^(t),d^(t)}和目标点{e^(t),f^(t)}传递坐标，通过仿射变换传递红外成像下一相邻帧得到第二组坐标关系：

获得{e^(t+1),f^(t+1)}第二组估计坐标；将两组估计结果共同构成目标融合判决；判决结果如图6所示，如果相邻帧传递与可见光成像传递输出结果一致，则所述输出结果为目标位置，如果相邻帧传递与可见光成像传递输出结果不一致，则将更新候选参考点，重新估计目标位置，直至输出结果一致，则完成基于背景特征的红外目标远距离识别与追踪。

以上所述为本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所包含的内容，仍应属本发明的保护范围。