一种基于地理同名点配准的机载红外运动目标检测方法
【专利摘要】一种基于地理同名点配准的机载红外光电运动目标检测方法。其包括将像面成像点映射到地面目标点；对参考图像和待匹配图像进行区域配准；对参考图像和待匹配图像的运动进行补偿而获得运动补偿后的图像；对运动补偿后的参考图像与待匹配图像进行帧间差分运算以获取疑似运动目标；对疑似运动区域进行运动特征反向验证以获得最终的运动目标检测结果等步骤。本发明方法涉及的计算量小，耗用时间少，硬件延迟时间和软件处理负担都大为降低，提高了系统检测效率。
【专利说明】
一种基于地理同名点配准的机载红外运动目标检测方法
技术领域
[0001] 本发明属于模式识别技术领域，特别是涉及一种基于地理同名点配准的机载红外 光电运动目标检测方法。
【背景技术】
[0002] 在飞行器移动载体条件下的红外光电系统中，由于场景条件复杂，目标特征不明 显，因此在这种应用场合下，弱小移动目标检测是自动目标检测领域的一大难点。利用传统 基于图像内容的图像配准方法提取小目标，当背景是沙漠、海面、田野、草原等无明显纹理 特征的场景时，则无特征点对可提取，导致无法开展配准工作。
【发明内容】
[0003] 为了解决上述问题，本发明的目的在于提供一种基于地理同名点配准的机载红外 光电运动目标检测方法。
[0004] 为了达到上述目的，本发明提供的基于地理同名点配准的机载红外运动目标检测 方法包括按顺序进行的下列步骤：
[0005] 1、将像面成像点映射到地面目标点；
[0006] 2、对参考图像和待匹配图像进行区域配准；
[0007] 3、对参考图像和待匹配图像的运动进行补偿而获得运动补偿后的图像；
[0008] 4、对运动补偿后的参考图像与待匹配图像进行帧间差分运算以获取疑似运动目 标；
[0009] 5、对疑似运动区域进行运动特征反向验证以获得最终的运动目标检测结果。
[0010] 在步骤1中，所述的将像面成像点映射到地面目标点的方法是：
[0011] 对于任务载荷观察场景中的任意目标T，设任务载荷摄像机坐标系与像平面坐标 系重合，任务载荷摄像机像面中心位置为飞行器飞行高度;设大地坐标系原点为(〇,〇，H)， 任务载荷成像焦距为f，任务载荷的方位角为Θ，任务载荷相对于飞行器平台的俯仰角为α; 对于视场中的任意目标Τ，像面成像点坐标(x，y)与地面目标点(Χ，Υ)的成像解算模型为：
[0012]
[0013]
[0014]
[0015]上式中，Dx，Dy，H为任务载荷摄像机的GPS7K平方位信息和测高值;f为任务载荷成 像光学系统焦距;X，y为像面成像点坐标，X，Y为地面目标点的方位值。
[0016] 在步骤2中，所述的参考图像和待匹配图像进行区域配准的方法是：
[0017] 首先将参考图像均分成若干方形图像子块，并按行依次对每个图像子块进行编 号，然后利用步骤1中的式（1)和式(2)计算每个图像子块区域在地面的坐标，之后在参考图 像中选取位移位置较大的若干图像子块作为匹配区域，并分别将这些匹配区域在待匹配图 像中进行匹配，之后在待匹配图像中将这些匹配图像子块依次编号；相关匹配完成后即获 得参考图像和待匹配图像中相关匹配点对系列PdPP 2,共获得匹配点对数为N。
[0018] 在步骤3中，所述的对参考图像和待匹配图像的运动进行补偿而获得运动补偿后 的图像的方法是：
[0019] 设定仿射变换矩阵1=[￡11，￡12，￡13;￡14，￡ 15，￡16]，设参考图像中成像点坐标(乂1，￥1)在待 匹配图像中对应的成像点坐标为(Χ 2，γ2)，则满足关系式(3)和关系式(4):
[0020] X2 = aiXXi+a2XYi+a3； (3)
[0021] Y2 = a4XXi+a5 XYi+a6； (4)
[0022] 对仿射变换矩阵I的求解，相当于在N个成像点坐标(X1, Y1^U2, Y2)匹配点对条件 下解一个超定方程组;对于该方程组的求解采用最小二乘法，首次计算获得仿射变换矩阵I 后，计算Pl X I以获得新的匹配点对序列P2_New，同时计算P2与P2_ New的误差，若误差在要求范 围内则完成迭代过程，若超出误差范围则对每个成像点的点误差进行单独计算，若该成像 点的点误差较大则将此点剔除，并进行下次迭代过程，直至符合误差条件要求;获得仿射变 换矩阵I后，即可由式(3)和式(4)对参考图像进行图像变换，变换后的图像即为运动补偿后 的图像。
[0023] 在步骤4中，所述的对运动补偿后的参考图像与待匹配图像进行帧间差分运算以 获取疑似运动目标的方法是：
[0024] 对待匹配图像和运动补偿后的参考图像进行帧间差分运算，获得帧间差分图像； 在进行帧间差分运算时，选择差值点的邻域最小值作为该点的帧间差值;对上述帧间差分 图像进行分割处理，获得较为明显的运动目标。
[0025] 在步骤5中，所述的对疑似运动区域进行运动特征反向验证以获得最终的运动目 标检测结果的方法是：
[0026] 在步骤4获取的疑似运动区域图像帧基础上，分别利用传统归一化积相关算法和 仿射矩阵算法得到前一帧图像中疑似运动区域坐标，然后比较两个计算结果的差异，若误 差超过两个像素点则判断为背景，否则判断为目标。
[0027] 本发明提供的基于地理同名点配准的机载红外光电运动目标检测方法是利用数 字图像处理技术，提取机载红外光电系统拍摄的两帧或多帧相隔时间较短的图像作为源数 据，并综合飞行器信息对地理同名点在视场中位置的对应关系实现配准，再利用目标的移 动特征对复杂场景下的移动目标进行检测。本发明方法涉及的计算量小，耗用时间少，硬件 延迟时间和软件处理负担都大为降低，提高了系统检测效率。
【附图说明】
[0028] 图1为两幅相邻帧红外图像，图1(a)为作为参考图像的前帧图像，图1(b)为作为待 匹配图像的后帧图像。
[0029]图2(a)为将图1(a)均分成的若干方形图像子块；图2(b)为图1(b)中与图2(a)中若 干方形图像子块相匹配的图像子块。
[0030] 图3为仿射变换矩阵计算流程图。
[0031] 图4为将图1(a)变换后的图像。
[0032]图5为图1(b)和图4的帧间差分图像。
[0033]图6为对运动目标进行反向验证的过程流程图。
[0034]图7~图10为本发明方法的四组验证过程图像。其中（a)为前帧图像、（c)为后帧图 像、（e)为运动补偿后图像、（b)为运动补偿后的差分图像、（d)为疑似目标提取图像、（f)为 目标检测结果图像。
【具体实施方式】
[0035]下面结合附图和具体实施例对本发明提供的基于地理同名点配准的机载红外运 动目标检测方法进行详细说明。
[0036]本发明提供的基于地理同名点配准的机载红外运动目标检测方法包括按顺序进 行的下列步骤：
[0037] 1、将像面成像点映射到地面目标点
[0038] 对于任务载荷观察场景中的任意目标T，设任务载荷摄像机坐标系与像平面坐标 系重合，任务载荷摄像机像面中心位置为飞行器飞行高度;设大地坐标系原点为(〇,〇，H)， 任务载荷成像焦距为f，任务载荷的方位角为Θ，任务载荷相对于飞行器平台的俯仰角为α; 对于视场中的任意目标Τ，像面成像点坐标(x，y)与地面目标点(Χ，Υ)的成像解算模型为：
[0039]
[0040]
[0041]
[0042]上式中，Dx，Dy，H为任务载荷摄像机的GPS水平方位信息和测高值;f为任务载荷成 像光学系统焦距;X，y为像面成像点坐标，X，Y为地面目标点的方位值。
[0043] 2、对参考图像和待匹配图像进行区域配准
[0044] 图像配准是指依据某一相似性测度来确定图像间的变换参数，使从不同传感器、 不同视角、不同时间获取的同一场景的两幅或多幅图像变换到同一坐标系下，在像素层上 得到最佳匹配的过程。本发明与传统的基于图像特征配准算法不同，使用基于地理同名点 对的方法，在相邻的两帧作为参考图像和待匹配图像中寻找地理坐标位置点相同的点对， 将其作为标志位，然后提取出来，之后再找到两幅图像中标志位之间的匹配关系，继而完成 空间对位。基于地理同名点对的配准方法，由于无需提取图像显著特征，因此可大大压缩图 像信息数据量，配准时计算量小，速度较快，所以应用前景必然更加广阔。
[0045] 图1为两幅相邻的红外图像，其中图1(a)为作为参考图像的前帧图像，图1(b)为作 为待匹配图像的后帧图像，其中背景道路中存在运动的车辆目标。背景在两幅图中存在位 移。
[0046] 在对上述两幅图像进行配准时，首先将图1(a)均分成若干方形图像子块，如图2 (a)所示，并按行依次对每个图像子块进行编号，然后利用步骤1中的式（1)和式(2)计算每 个图像子块区域在地面的坐标，之后在图1(a)中选取位移位置较大的若干图像子块作为匹 配区域，并分别将这些匹配区域在图1(b)中进行匹配，之后在图1(b)中将这些匹配图像子 块依次编号，如图2(b)所示;相关匹配完成后即可获得图1(a)和图1(b)中相关匹配点对系 列PjPP2，共获得匹配点对数为N。
[0047] 3、对参考图像和待匹配图像的运动进行补偿而获得运动补偿后的图像
[0048] 利用在步骤2中获得的图1(a)和图1(b)中的相关匹配点对系列？1和内，通过如下运 算获得一个仿射变换矩阵I，使得P2 = Pi*I。
[0049] 设定仿射变换矩阵1 = [&1，&2，&3;&4，&5， &6]，设图1(&)中成像点坐标(乂1，￥1)在图1 (b)中对应的成像点坐标为(X2，Y2)，则满足关系式(3)和关系式(4):
[0050] X2 = aiXXi+a2XYi+a3； (3)
[0051] Y2 = a4XXi+a5 XYi+a6； (4)
[0052] 对仿射变换矩阵I的求解，相当于在N个成像点坐标(X1, Y1^U2, Y2)匹配点对条件 下解一个超定方程组。对于该方程组的求解采用最小二乘法，首次计算获得仿射变换矩阵I 后，计算Pl X I以获得新的匹配点对序列P2_New，同时计算P2与P2_ New的误差，若误差在要求范 围内则完成迭代过程，若超出误差范围则对每个成像点的点误差进行单独计算，若该成像 点的点误差较大则将此点剔除，并进行下次迭代过程，直至符合误差条件要求。流程如图3 所示。
[0053]获得仿射变换矩阵I后，即可由式(3)和式(4)对图1(a)进行图像变换，变换后的图 像即为运动补偿后的图像，如图4所示。
[0054] 4、对运动补偿后的图像与待匹配图像进行帧间差分运算以获取疑似运动目标
[0055]对图I (b)和图4进行帧间差分运算，可获得帧间差分图像。在进行帧间差分运算 时，选择差值点的邻域最小值作为该点的帧间差值。通过此处理，可以进一步减少由于匹配 误差带来的异常差分值。图5为图1(b)和图4的帧间差分图像。
[0056]对上述帧间差分图像进行分割处理，可以获得较为明显的运动目标，背景被有效 地抑制，从帧间差分图像中可以较为容易地将图像中明显的运动目标分割出来。
[0057] 5、对疑似运动区域进行运动特征反向验证以获得最终的运动目标检测结果
[0058]在分割出疑似运动目标后，为了进一步验证运动信息的有效性，提高对运动目标 检测的准确程度，需对检测到的疑似运动目标进行反向验证。在步骤4获取的疑似运动区域 图像帧基础上，分别利用传统归一化积相关算法和仿射矩阵算法得到前一帧图像中疑似运 动区域坐标，然后比较两个计算结果的差异，若误差超过两个像素点则判断为背景，否则判 断为目标。验证过程流程如图6。
[0059] 经过疑似运动目标反向验证，可以去除一部分背景中的虚假目标和因为匹配差分 误差导致的背景目标。反向验证完成后可获得最终的运动目标检测结果。
[0060] 本发明人选择了四组不同复杂程度的场景，根据上述本发明方法进行了运动目标 检测，具体过程如图7~图10所示。从以上四组图像的检测效果来看，本发明对复杂背景下 移动小目标具有较强的检测能力。传统的配准方法依赖于参考配准点的数量，简单背景下 参考配准点较少，从而使得配准精度较低甚至错误，这样获得的差分图像比较混乱。由于本 发明方法采用无关图像内容进行配准，这样即使图像中存在固定重复模式或者图像无纹理 时，都能保持较好的精度，达到较好的配准效果。
【主权项】
1. 一种基于地理同名点配准的机载红外运动目标检测方法，其特征在于:所述的机载 红外运动目标检测方法包括按顺序进行的下列步骤： 1) 将像面成像点映射到地面目标点； 2) 对参考图像和待匹配图像进行区域配准； 3) 对参考图像和待匹配图像的运动进行补偿而获得运动补偿后的图像； 4) 对运动补偿后的参考图像与待匹配图像进行帧间差分运算以获取疑似运动目标； 5) 对疑似运动区域进行运动特征反向验证以获得最终的运动目标检测结果。2. 根据权利要求1所述的基于地理同名点配准的机载红外运动目标检测方法，其特征 在于:在步骤1中，所述的将像面成像点映射到地面目标点的方法是： 对于任务载荷观察场景中的任意目标T，设任务载荷摄像机坐标系与像平面坐标系重 合，任务载荷摄像机像面中心位置为飞行器飞行高度;设大地坐标系原点为(〇,〇，H)，任务 载荷成像焦距为f，任务载荷的方位角为Θ，任务载荷相对于飞行器平台的俯仰角为α;对于 视场中的任意目标Τ，像面成像点坐标(x，y)与地面目标点(Χ，Υ)的成像解算模型为：其中，Ki = Hcosa+f 上式中，Dx，Dy，Η为任务载荷摄像机的GPS水平方位信息和测高值;f为任务载荷成像光 学系统焦距;X，y为像面成像点坐标，X，Y为地面目标点的方位值。3. 根据权利要求1所述的基于地理同名点配准的机载红外运动目标检测方法，其特征 在于:在步骤2中，所述的参考图像和待匹配图像进行区域配准的方法是： 首先将参考图像均分成若干方形图像子块，并按行依次对每个图像子块进行编号，然 后利用步骤1中的式（1)和式(2)计算每个图像子块区域在地面的坐标，之后在参考图像中 选取位移位置较大的若干图像子块作为匹配区域，并分别将这些匹配区域在待匹配图像中 进行匹配，之后在待匹配图像中将这些匹配图像子块依次编号；相关匹配完成后即获得参 考图像和待匹配图像中相关匹配点对系列P#PP 2,共获得匹配点对数为N。4. 根据权利要求1所述的基于地理同名点配准的机载红外运动目标检测方法，其特征 在于:在步骤3中，所述的对参考图像和待匹配图像的运动进行补偿而获得运动补偿后的图 像的方法是： 设定仿射变换矩阵1 = [31，32,33;34,35,36]，设参考图像中成像点坐标(乂1，￥1)在待匹配 图像中对应的成像点坐标为(X2，Y2)，则满足关系式(3)和关系式(4): X2 = ai XXi+a2 X Yi+a3； (3) Y2 = a4XXi+a5 X Yi+a6； (4) 对仿射变换矩阵I的求解，相当于在N个成像点坐标(心^^^心^:^匹配点对条件下解 一个超定方程组;对于该方程组的求解采用最小二乘法，首次计算获得仿射变换矩阵I后， 计算P1XI以获得新的匹配点对序列P 2_New，同时计算PAP2_New的误差，若误差在要求范围内 则完成迭代过程，若超出误差范围则对每个成像点的点误差进行单独计算，若该成像点的 点误差较大则将此点剔除，并进行下次迭代过程，直至符合误差条件要求;获得仿射变换 矩阵I后，即可由式(3)和式(4)对参考图像进行图像变换，变换后的图像即为运动补偿后的 图像。5. 根据权利要求1所述的基于地理同名点配准的机载红外运动目标检测方法，其特征 在于:在步骤4中，所述的对运动补偿后的参考图像与待匹配图像进行帧间差分运算以获取 疑似运动目标的方法是： 对待匹配图像和运动补偿后的参考图像进行帧间差分运算，获得帧间差分图像;在进 行帧间差分运算时，选择差值点的邻域最小值作为该点的帧间差值;对上述帧间差分图像 进行分割处理，获得较为明显的运动目标。6. 根据权利要求1所述的基于地理同名点配准的机载红外运动目标检测方法，其特征 在于:在步骤5中，所述的对疑似运动区域进行运动特征反向验证以获得最终的运动目标检 测结果的方法是： 在步骤4获取的疑似运动区域图像帧基础上，分别利用传统归一化积相关算法和仿射 矩阵算法得到前一帧图像中疑似运动区域坐标，然后比较两个计算结果的差异，若误差超 过两个像素点则判断为背景，否则判断为目标。
【文档编号】G06T7/20GK106056625SQ201610352450
【公开日】2016年10月26日
【申请日】2016年5月25日
【发明人】贾桂敏, 路玉君, 张世海, 卢薇冰, 杨金锋
【申请人】中国民航大学