对地运动目标光电检测系统及其数据处理方法和图像处理方法
【专利摘要】本发明提供了对地运动目标光电检测系统及其数据处理方法和图像处理方法，该系统包括依次连接的摄像机、图像采集卡、工控机和主控计算机，其中工控机和主控计算机分别开有控制与数据信号端口和视频信号端口，工控机和主控计算机两端口之间通过交换机连接。本发明能实现对地光电检测图像的实时采集，能利用图像处理的方法实时检测出图像中的运动目标，计算量较小，能将目标检测结果通过局域网从工控机传输至主控计算机，并实时显示结果图像，实现了运动背景条件下的运动目标检测，并且支持多运动目标检测。
【专利说明】对地运动目标光电检测系统及其数据处理方法和图像处理方法
【技术领域】
[0001]本发明涉及图像处理【技术领域】，具体是一种对地运动目标光电检测系统及其图像处理方法。
【背景技术】
[0002]地面运动目标(如火车、汽车、装甲目标等)具有重要的军事价值，对地面运动目标的侦查以及精确打击是空军的主要任务之一，需要尽早发现、重点侦查，以便后续完成跟踪、猫准及打击等任务。
[0003]通过对地光电检测图像可以获取丰富的地面目标与环境情报的图像信息，对地运动目标光电检测系统对图像信息进行处理，从地面背景中分离并标记出运动目标。其中需要解决的问题主要有两个:一是由于载机的运动，光电检测图像中的地面背景会呈现出持续的逆向运动，因而图像处理中需要实现从运动背景中检测出相对背景运动的目标；另一为出于对地侦查任务的要求，全部图像处理流程需要达到实时处理条件。
[0004]目前基于图像处理的运动目标检测方法一般有四种:(I)为根据两帧连续图像相同位置上像素点之间的灰度差来确定发生运动的像素点集合，以此描述检测结果；(2)为先预设场景图像背景，通过对检测图像与预设背景作差，获得目标图像区域；(3)为先计算图像光流场，再通过对图像光流场信息的处理检测运动目标；(4)为先通过大量的样本对识别滤波器进行训练，再由识别滤波器从图像中滤出训练类的目标。其中方法(I) (2)难以运用于运动背景条件下的运动目标检测，方法(3)计算量大，需要改进算法以达到实时性要求，方法(4)由于识别有效性的限制，一般仅适用于特定角度的特定类目标的检测，距离机载光电检测系统的对地运动目标检测应用还有较大差距。
【发明内容】
[0005]本发明为了解决现有对地运动目标光电检测的缺陷，提供了 一种对地运动目标光电检测系统及其数据处理方法和图像处理方法，实现了运动背景条件下的运动目标检测，与传统图像光流场算法相比，计算量大大减小，实时性高，可扩展性好，并且支持多运动目标检测。
[0006]一种对地运动目标光电检测系统，包括依次连接的摄像机、图像米集卡、工控机和主控计算机，其中工控机和主控计算机分别开有控制与数据信号端口和视频信号端口，工控机和主控计算机两端口之间通过交换机连接。
[0007]本发明还提供了一种对地运动目标光电检测系统的数据处理方法，包括以下步骤:
[0008]I)主控计算机向工控机发送控制命令，开始对地运动目标检测程序；
[0009]2)工控机每隔一定时间，向主控计算机回报工控机本地状态数据，并在主控计算机上显示；[0010]3)摄像机拍摄对地检测图像，视频图像信号经过图像采集卡实时采集，输入到工控机中；
[0011]4)当工控机对每一帧输入图像处理完成后，通过交换机向主控计算机传输图像处理状态数据与检测结果图像并进行显示；
[0012]5)主控计算机向工控机发送控制命令，终止对地运动目标检测程序。
[0013]所述步骤4)中，工控机将一帧图像分为若干数据包后通过交换机向主控计算机传输数据包，主控计算机对属于同一帧图像的分包图像像素数据进行拼接，获得完整的图像数据并进行显示。
[0014]所述的若干数据包包括以整型数据记录的当前图像采集帧号、图像宽度、图像高度、本数据包校验号和以字符型数组数据记录的分包图像像素点像素值。
[0015]步骤I)和步骤5)中所述的控制命令包括以BOOL型数据记录的工控机工作/非工作状态，采集卡工作/非工作状态和检测程序工作/非工作状态；步骤2)所述的工控机本地状态数据，包括以BOOL型数据记录的工控机工作/非工作状态、采集卡工作/非工作状态、检测程序工作/非工作状态和以整型数据记录的当前图像采集帧号、当前图像检测处理帧号、图像宽度、图像高度、载机高度、摄像机视场角；步骤3)中所述的视频图像信号包括以整型数据记录的当前图像采集帧号，图像宽度，图像高度和以字符型数组数据记录的图像各像素点像素值。
[0016]本发明还提供了一种对地运动目标光电检测系统的图像处理方法，包括以下步骤:
[0017]I)将当前输入图像数据复制至输出图像数据，初始化检测结果图像；
[0018]2)在当前输入图像上提取图像Harris特征点，在每个特征点处，基于当前输入图像与前一巾贞输入图像，使用金字塔Lucas-Kanade光流算法计算图像的特征点稀疏光流场；
[0019]3)根据步骤2)中得到的特征点稀疏光流场，估计背景中心运动矢量，逐一将特征点光流矢量与背景中心运动矢量进行比较，筛选出运动目标特征点；
[0020]4)对输出图像进行分块，统计步骤3)中筛选出运动目标特征点在各个图像分块中的分布数量，在输出图像上将高于运动目标特征点分布数量阈值的图像分块标记为运动目标所在分块。
[0021]其中，步骤2)具体包括以下步骤:
[0022]2.1)定义特征点数据结构，包括以整型数据记录的特征点数量和以双精度型二维数组数据记录的点坐标值数据，使用Sh1-Tomasi方法提取当前输入图像的Harris特征点，将特征点提取结果记入点数据结构I ;
[0023]2.2)定义一个BOOL型数组，其长度为特征点数量，作为光流计算状态数据空间，在点数据结构I中的每个特征点处，基于当前输入图像与前一帧输入图像像素数据，使用金字塔Lucas光流算法计算该点光流在前一帧输入图像上的对应点坐标，将对应点坐标记入点数据结构2中相应位置，若对应点坐标未溢出图像区域，对应光流计算状态数据置1，否则对应光流计算状态数据置O ;
[0024]2.3)根据点数据结构I与点数据结构2计算图像的特征点稀疏光流场，特征点光流矢量数据记入点数据结构3，特征点光流矢量具体计算公式为:
【权利要求】
1.一种对地运动目标光电检测系统，其特征在于:包括依次连接的摄像机、图像采集卡、工控机和主控计算机，其中工控机和主控计算机分别开有控制与数据信号端口和视频信号端口，工控机和主控计算机两端口之间通过交换机连接。
2.—种权利要求1所述对地运动目标光电检测系统的数据处理方法，其特征在于包括以下步骤: 1)主控计算机向工控机发送控制命令，开始对地运动目标检测程序； 2)工控机每隔一定时间，向主控计算机回报工控机本地状态数据，并在主控计算机上显示； 3)摄像机拍摄对地检测图像，视频图像信号经过图像采集卡实时采集，输入到工控机中； 4)当工控机对每一帧输入图像处理完成后，通过交换机向主控计算机传输图像处理状态数据与检测结果图像并进行显示； 5)主控计算机向工控机发送控制命令，终止对地运动目标检测程序。
3.根据权利要求2所述的对地运动目标光电检测系统的数据处理方法，其特征在于:所述步骤4)中，工控机将一帧图像分为若干数据包后通过交换机向主控计算机传输数据包，主控计算机对属于同一帧图像的分包图像像素数据进行拼接，获得完整的图像数据并进行显示。
4.根据权利要求3所述的对地运动目标光电检测系统的数据处理方法，其特征在于:所述的若干数据包包括以整型数据记录的当前图像采集帧号、图像宽度、图像高度、本数据包校验号和以字符型数组数据记录的分包图像像素点像素值。
5.根据权利要求2或3或4所述的对地运动目标光电检测系统的数据处理方法，其特征在于:步骤I)和步骤5)中所述的控制命令包括以BOOL型数据记录的工控机工作/非工作状态，采集卡工作/非工作状态和检测程序工作/非工作状态；步骤2)所述的工控机本地状态数据，包括以BOOL型数据记录的工控机工作/非工作状态、采集卡工作/非工作状态、检测程序工作/非工作状态和以整型数据记录的当前图像采集帧号、当前图像检测处理帧号、图像宽度、图像高度、载机高度、摄像机视场角；步骤3)中所述的视频图像信号包括以整型数据记录的当前图像采集帧号，图像宽度，图像高度和以字符型数组数据记录的图像各像素点像素值。
6.一种权利要求1所述对地运动目标光电检测系统的图像处理方法，其特征在于包括以下步骤: 1)将当前输入图像数据复制至输出图像数据，初始化检测结果图像； 2)在当前输入图像上提取图像Harris特征点，在每个特征点处，基于当前输入图像与前一帧输入图像，使用金字塔Lucas-Kanade光流算法计算图像的特征点稀疏光流场； 3)根据步骤2)中得到的特征点稀疏光流场，估计背景中心运动矢量，逐一将特征点光流矢量与背景中心运动矢量进行比较，筛选出运动目标特征点； 4)对输出图像进行分块，统计步骤3)中筛选出运动目标特征点在各个图像分块中的分布数量，在输出图像上将高于运动目标特征点分布数量阈值的图像分块标记为运动目标所在分块。
7.根据权利要求6所述的对地运动目标光电检测系统的图像处理方法，其特征在于步骤2)具体包括以下步骤: .2.1)定义特征点数据结构，包括以整型数据记录的特征点数量和以双精度型二维数组数据记录的点坐标值数据，使用Sh1-Tomasi方法提取当前输入图像的Harris特征点,将特征点提取结果记入点数据结构1 ; . 2.2)定义一个BOOL型数组，其长度为特征点数量，作为光流计算状态数据空间，在点数据结构I中的每个特征点处，基于当前输入图像与前一帧输入图像像素数据，使用金字塔Lucas光流算法计算该点光流在前一帧输入图像上的对应点坐标,将对应点坐标记入点数据结构2中相应位置，若对应点坐标未溢出图像区域，对应光流计算状态数据置1，否则对应光流计算状态数据置O ; . 2.3)根据点数据结构I与点数据结构2计算图像的特征点稀疏光流场，特征点光流矢量数据记入点数据结构3，特征点光流矢量具体计算公式为:
8.根据权利要求7所述的对地运动目标光电检测系统的图像处理方法，其特征在于步骤3)具体包括以下步骤: .3.1)在连续两帧的时间间隔内，图像中背景的旋转运动可以近似用一个二维运动矢量Vbackgromd = [Vx,backgromd) \—d]T表示，对步骤2.3)的点数据结构3中全体特征点光流矢量求平均，以此作为背景中心运动矢量，
9.根据权利要求8所述的对地运动目标光电检测系统的图像处理方法，其特征在于步骤4)具体包括以下步骤: .4.1)根据图像宽度，载机高度，摄像机水平视场角计算分块图像边长，对输出图像进行分块，定义一个整型数组，其长度为图像分块数量，作为图像分块目标特征点统计表单； . 4.2)根据步骤2.1)的点数据结构I与步骤3.2)的特征点筛选状态数据，计算目标特征点所属图像分块坐标，并在步骤4.1)定义的图像分块备选目标特征点统计表单中记录各图像分块备选目标特征点数量； .4.3)将步骤4.2)统计得到的各图像分块备选目标特征点数量与运动目标特征点分布数量阈值相比较，将高于运动目标特征点分布数量阈值的图像分块集合的外边缘绘制在输出图像上，作为运动目标检测结果。
10.根据权利要求7所述的对地运动目标光电检测系统的图像处理方法，其特征在于步骤2.1)所述的Sh1-Tomasi方法包括以下步骤: 1)分别计算图像像素点I(x，y)在水平和垂直方向上的梯度Ix与Iy，并且计算
【文档编号】G06T7/00GK103996187SQ201410179068
【公开日】2014年8月20日 申请日期:2014年4月29日 优先权日:2014年4月29日
【发明者】闫钧华, 储林臻, 姜惠华, 段贺, 杭谊青, 许俊峰, 王志刚 申请人:南京航空航天大学