专利名称：一种无人机视频数据处理方法
技术领域：
本发明涉及一种无人机视频数据处理方法，可以用于无人机特别是微小型无人机平台，用于提高无人机视频数据与遥测数据同步精度与数据处理精度。
背景技术：
目前，无人机平台作为侦查、打击的空中平台。其数据处理与相关决策由地面操作人员进行。处理的主要是无人机侦查目标、打击目标的具体位置，可能是地理位置或相对于打击火力的相对位置；这就需要通过数据处理算法获得无人机侦查目标的位置信息。而通过处理算法获得的目标位置精度决定了侦查、打击的效果。提高无人机侦查目标的定位解算精度是地面数据处理的关键。现有技术中对无人机视频数据处理通常采用两种处理方式 I非同帧数据方式，也即是视频数据与遥测数据采用不同的信道传输到地面进行处理；这种方式完全没有考虑数据的同步问题，地面数据处理也是按照视频数据与遥测数据的获得时刻进行同步化处理；这种处理方式会产生较大误差，因为没有考虑视频产生、压缩、解压、链路传输延时等因素。2同帧数据方式，也即是在机载端根据视频数据与遥测数据发送给机载处理机的时刻进行打包处理；比非同帧方法其同步性有较大改善。地面数据处理是按照同步包内的视频数据与遥测数据进行同步匹配；但是该方法没有考虑视频解压所需要的时间，也没有充分利用视频数据信息。
发明内容
本发明的技术解决问题是克服现有技术的不足，提供了一种无人机视频数据处理方法，使得无人机视频数据与遥测数据的同步性、精度都有所提高，提升了数据质量。本发明的技术解决方案是一种无人机视频数据处理方法，无人机下传的数据包括视频数据和遥测数据，遥测数据包括无人机姿态数据和载荷姿态数据，所述无人机视频数据处理方法的步骤如下(I)对无人机下传的视频数据进行解压得到影像数据，对每一帧影像数据进行特征点提取；(2)对前后帧影像数据提取出来的特征点进行匹配；(3)根据匹配之后的特征点解算前后帧影像的相对姿态；(4)对无人机下传遥测数据中的无人机姿态数据和载荷姿态数据进行复合；(5)对步骤(4)中得到的复合之后的数据进行滤波，(6)将步骤(3)中得到的相对姿态和步骤(5)中滤波之后的数据进行相关配准；(7)根据相关配准之后的结果，通过步骤(3)中得到的相对姿态对步骤(5)中滤波之后的数据进行更新处理。所述步骤(2)中对前后帧影像数据提取出来的特征点进行匹配具体为将前后帧影像数据中的表示同一个目标的特征点匹配组成特征点对，剔除匹配错误的特征点对。剔除匹配错误的特征点对可以通过最小二乘估计法或者随机采样一致性估计法实现。所述步骤(3)中根据匹配之后的特征点解算前后帧影像的相对姿态通过相对定向算法实现。所述步骤(4)中对无人机下传遥测数据中的无人机姿态数据和载荷姿态数据进行复合具体为采用三维空间坐标变换的方式，将无人机姿态数据表示为旋转矩阵，将载荷姿态数据也表示为旋转矩阵，再将无人机旋转矩阵左乘载荷旋转矩阵得到的结果矩阵即为无人 机姿态数据和载荷姿态数据的复合结果。所述步骤￠)中将相对姿态和滤波之后的数据进行相关配准具体为先将步骤(5)中滤波之后的数据进行差分处理，之后根据相关系数法对所述差分处理之后的结果和步骤(3)中的相对姿态进行相关配准。所述步骤(7)进行更新处理即为通过步骤(6)中相关配准的结果，根据相对姿态对步骤(5)中滤波之后的数据进行平差处理。本发明与现有技术相比的有益效果是本发明方法完全采用地面处理的方式对相关数据进行处理，对无人机特别是微小型无人机提高数据处理精度有极大的改善作用。其从图像处理出发进行处理并对遥测数据进行改善，提高影像与遥测同步性以及遥测数据的观测精度；相比较与不采用同步处理或者采用简单同步处理方式数据质量有着明显的改善；也凸显了本发明的特点与优势。
图I为本发明数据处理流程图；图2为平差处理示意图。
具体实施例方式本发明提供了一种无人机视频数据处理方法，无人机下传的数据包括视频数据和遥测数据，遥测数据包括无人机姿态数据和载荷姿态数据，如图I所示，本发明无人机视频数据处理方法的步骤如下(I)对无人机下传的视频数据进行解压得到影像数据，对每一帧影像数据进行特征点提取；数字影像采用一系列的数字表示影像上每个像素点颜色的深浅。影像上的明暗、纹理不同都是由不同的数字值表示出的。而像素值变化剧烈的地方在影像上表现为边缘或角点；这些影像特征由目标本身的几何或色彩属性决定。所以同一个目标在临近几张视频影像中的表现是相近的，只是由于成像角度不同而导致的目标的几何形变不同。所以边缘或角点是对影像的一种描述，用于描述影像的特征。(2)对前后帧影像数据提取出来的特征点进行匹配，具体为将前后帧影像数据中的表示同一个目标的特征点匹配组成特征点对，在组成特征点对的过程既是特征点对匹配的过程，按照特征点特征值进行两两比较，如果特征值的差值小于给定阈值可以认为特征点配对成功，否则匹配失败。在匹配的过程中会出现错误的匹配，剔除匹配错误的特征点为粗差剔除过程。剔除匹配错误的特征点对可以通过最小二乘估计法或者随机采样一致性估计法实现。(3)根据匹配之后的特征点解算前后帧影像的相对姿态，通过相对定向算法实现。相对定向算法是摄影测量中的基本算法，其思想为通过匹配后的特征点对反算影像成像时刻姿态的变化量，也即是相对的姿态变化。整个过程称为相对定向。(4)对无人机下传遥测数据中的无人 机姿态数据和载荷姿态数据进行复合采用三维空间坐标变换的方式，将无人机姿态数据表示为旋转矩阵，将载荷姿态数据也表示为旋转矩阵，再将无人机旋转矩阵左乘载荷旋转矩阵得到的结果矩阵即为无人机姿态数据和载荷姿态数据的复合结果。整个过程也即是空间坐标转换的过程，将无人机平台姿态数据与载荷姿态数据对成像影像复合成一个姿态数据，也即是说复合后的数据既是影像成像时刻的姿态数据。(5)对步骤(4)中得到的复合之后的数据进行滤波，采用卡尔曼滤波将出现的随机误差滤除。(6)将步骤(3)中得到的相对姿态和步骤(5)中滤波之后的数据进行相关配准先将步骤(5)中滤波之后的数据进行差分处理，之后根据相关系数法对所述差分处理之后的结果和步骤⑶中的相对姿态进行相关配准。相关系数法为评判两个数据之间相关性或相识性的度量方法，最简单的可以采用两个数据相减，求取相减所得差值的和，对差值的和设定一个阈值，当大于给定阈值可以认为两个数据是相关的否则认为数据不相关。(7)根据相关配准之后的结果，通过步骤(3)中得到的相对姿态对步骤(5)中滤波之后的数据进行更新处理，即为通过步骤出)中相关配准的结果，根据相对姿态对步骤
(5)中滤波之后的数据进行平差处理。平差处理是系统误差平均化的过程，也即是说将测量过程中引入的系统误差和偶然误差由各个观测值均匀分担的过程。该过程常见于测量学中，通过平差处理提高数据整体的观测精度。具体平差过程为复合数据滤波结果为绝对数据值，也即是说复合数据表示了具体的数据值，如复合数据为0. 8度既是姿态数据为0. 8度。相对定向数据为相对数据值，即是说影像之间的相对姿态值，如相对定向为0. 2度表示后一帧影像与前一帧影像的差为0. 2度。平差结果数据为绝对数据值，如平差结果为0. 9度即是说姿态数据为0. 8度。相对定向姿态数据由相对定向解算获取精度较高；复合数据精度较低，通过将复合数据间的差值数据与相对定向数据进行误差平均，对误差较大的复合数据进行修改，以取得复合数据间的差值与相对定向数据间的高度相关。这样也即是说复合数据间的相对值与相对定向数据值具有一致性，这样就是把复合数据间的误差进行平均，提高了复合数据的整体观测精度。通过图2可以看出复合数据滤波结果为数据序列(1)0. 5,0. 6,0. 8，I. 1,0. 8,0. 6,0. 8，I. 1，I. 0相对定向姿态数据序列为(2)0. 1,0. 1,0. 2,0. 1,0. 2，-0. 2，-0. 1,0. 1,0. 2平差过程为复合数据进行差分处理得到结果如下
(3)0. 1,0. 2,0. 3，_0. 3，_0. 2,0. 2,0. 3，_0. I相对定向姿态数据与复合数据差分结果进行相关配准如下(4)0. 1,0. 1,0. 2,0. 1,0. 2，-0. 2，-0. 1,0. 1,0. 20. 1,0. 2,0. 3，-0. 3，-0. 2,0. 2,0. 3，-0. I相关配准后用相对定向数据更新复合数据滤波结果如下(5)0. 5,0. 6,0. 8，I. 1,0. 8,0. 6,0. 8，I. I0. 1,0. 2,0. 3，-0. 3，-0. 2,0. 2,0. 3，-0. I (6)0. 5,0. 6,0. 7,0. 9，I. 0,0. 7,0. 5,0. 7。
权利要求
1.一种无人机视频数据处理方法，其特征在于无人机下传的数据包括视频数据和遥测数据，遥测数据包括无人机姿态数据和载荷姿态数据，所述无人机视频数据处理方法的步骤如下 (1)对无人机下传的视频数据进行解压得到影像数据，对每一帧影像数据进行特征点提取； (2)对前后帧影像数据提取出来的特征点进行匹配； (3)根据匹配之后的特征点解算前后帧影像的相对姿态； (4)对无人机下传遥测数据中的无人机姿态数据和载荷姿态数据进行复合； (5)对步骤(4)中得到的复合之后的数据进行滤波， (6)将步骤(3)中得到的相对姿态和步骤(5)中滤波之后的数据进行相关配准； (7)根据相关配准之后的结果，通过步骤(3)中得到的相对姿态对步骤(5)中滤波之后的数据进行更新处理。
2.根据权利要求I所述的一种无人机视频数据处理方法，其特征在于所述步骤(2)中对前后帧影像数据提取出来的特征点进行匹配具体为将前后帧影像数据中的表示同一个目标的特征点匹配组成特征点对，剔除匹配错误的特征点对。
3.根据权利要求2所述的一种无人机视频数据处理方法，其特征在于剔除匹配错误的特征点对可以通过最小二乘估计法或者随机采样一致性估计法实现。
4.根据权利要求I所述的一种无人机视频数据处理方法，其特征在于所述步骤(3)中根据匹配之后的特征点解算前后帧影像的相对姿态通过相对定向算法实现。
5.根据权利要求I所述的一种无人机视频数据处理方法，其特征在于所述步骤(4)中对无人机下传遥测数据中的无人机姿态数据和载荷姿态数据进行复合具体为 采用三维空间坐标变换的方式，将无人机姿态数据表示为旋转矩阵，将载荷姿态数据也表示为旋转矩阵，再将无人机旋转矩阵左乘载荷旋转矩阵得到的结果矩阵即为无人机姿态数据和载荷姿态数据的复合结果。
6.根据权利要求I所述的一种无人机视频数据处理方法，其特征在于所述步骤(6)中将相对姿态和滤波之后的数据进行相关配准具体为 先将步骤(5)中滤波之后的数据进行差分处理，之后根据相关系数法对所述差分处理之后的结果和步骤(3)中的相对姿态进行相关配准。
7.根据权利要求I所述的一种无人机视频数据处理方法，其特征在于所述步骤(7)进行更新处理即为通过步骤出)中相关配准的结果，根据相对姿态对步骤(5)中滤波之后的数据进行平差处理。
全文摘要
一种无人机视频数据处理方法，通过对无人机视频数据与遥测数据分别处理，并对分别处理的结果进行匹配与融合的方法。该方法能够在无人机特别是微小型无人机平台上解决地面视频数据与遥测数据同步问题、通过匹配相关处理提高视频数据与遥测数据同步精度及观测精度；使用该方法有效改善了由于视频与遥测数据不同步造成后期处理误差。
文档编号G06F17/30GK102799665SQ20121024329
公开日2012年11月28日 申请日期2012年7月13日 优先权日2012年7月13日
发明者周乃恩, 樊自伟 申请人:中国航天空气动力技术研究院